Cet ancien couvent est englobé avec le fort dans de nouvelles fortifications. La communauté est reconnue en juillet 1855. La première pierre de la chapelle est posée le 15 mai 1862 par Mgr Plantier et l'édifice est consacré le 22 septembre 1864. Elle est l'oeuvre de l'architecte diocésain Henry Révoil.