Située au n° 181 de la rue de Bourgogne, en face de la rue Pothier, la préfecture est un ancien prieuré appartenant aux Bénédictins de la Congrégation de Saint-Maur construit en 1670. En 1789 les biens du clergé sont mis à la disposition de la Nation et les moines abandonnent leur couvent.
L'administration prend le contrôle des bâtiments en 1790 qui sont affectés à la préfecture et le premier préfet s'y installe en 1800. En 1807 la chapelle du couvent est détruite pour prolonger l’aile Est jusqu’à la rue de Bourgogne. En 1861 un pavillon qui abrite la police et les services du télégraphe sont construit le long de la rue de Bourgogne et l’aile Est est prolongée le long du jardin. Les bâtiments sont inscrits à l’inventaire des Monuments Historiques depuis 2005.