Ce pavillon du XIVème siècle, au début du règne d’Henri II, est édifié par la famille Colas-des-Francs, une des plus vieilles familles aristocratiques d’Orléans, et servait de coffre-fort, de salle de stockage et d’archivage.
Les petites Sœurs Dominicaines se sont installé en 1866 dans la maison dite de Jeanne d'Arc. Elles ont géré un "garde-malades des pauvres" jusqu'en juin 1940, date de la destruction de la maison. A l’arrière du pavillon on aperçoit le cloitre du couvent.
C’est dans ce pavillon que Jeanne d’Arc aurait séjourné en 1429. On le trouve maintenant toujours à son emplacement d’origine, dans le Jardin Jacques Boucher, derrière la maison de Jeanne d'Arc reconstruite.