Le lycée de garçon est construit à l’emplacement de l’ancien prieuré Saint Sanson. Grâce aux lettres patentes d’Henri IV, les Jésuites fondèrent le Collège d’Orléans en 1617. Le 1er Brumaire An III (22 octobre 1794) l’établissement prend le nom de Collège Central puis d’Ecole Centrale. Le 16 Floréal An XI (6 mai 1803) il devient Lycée Impérial. Après de nombreux travaux le lycée rouvre ses classes en 1804.
De 1846 à 1851, la 2ème République y ajoute deux étages et une chapelle. De 1863 à 1866 le second empire l’agrandit avec le Petit Lycée. Il prendra le nom de Lycée Pothier en 1924. Jean Zay et Maurice Genevoix y ont effectué une partie de leurs études.
En 1962 le lycée déménage dans ses locaux actuels, rue Marcel Proust, et devient lycée d’état. Le bâtiment abrite ensuite un CES, qui prendra le nom de Collège Anatole Bailly en 1972, et fermera en 2008.