L'asile départemental est l'héritier direct du dépôt de mendicité établi en 1768 dans les anciens bâtiments de l'abbaye Saint-Fulgent et destiné à recevoir mendiants, vagabonds, épileptiques et autres « indésirables ». Le dépôt fait également office de prison à partir de 1788. Un arrêté préfectoral du 29 mars 1817 transforme l'établissement en asile départemental, qui accueille les vieillards et infirmes, puis les aliénés à partir de juin 1838. Le bâtiment est alors transformé pour pouvoir séparer les deux catégories de pensionnaires.

Face à l'étroitesse et à l'insalubrité des locaux, le département décide en 1871 de transférer les aliénés dans un asile spécifique, dont la construction est projetée sur la parcelle dite des Beaux-Regards. Le nouvel asile départemental de Beauregard, construit sur les plans de l'architecte Tarlier, accueille les aliénés de Saint-Fulgent au fur et à mesure de l'achèvement des travaux, entre 1882 et 1894.

L'asile de Saint-Fulgent reprend sa fonction première d'établissement d'accueil pour vieillards et infirmes et reste en activité jusqu'à sa destruction par un incendie à l'été 1925. Les pensionnaires sont transférés dans l'ancienne caserne du Vieil-Castel en attendant l'achèvement des travaux entrepris par le département depuis 1909 pour transformer l'ancien petit séminaire Saint-Célestin en asile destiné à les accueillir.

Ces travaux sont définitivement abandonnés en 1927 après que l'ancien petit séminaire a été affecté à l'école nationale professionnelle de jeunes filles. Le 24 août 1927 le Conseil général décide la construction d'un nouvel asile départemental d'incurables sur le terrain du Lautier. Celle-ci est envisagée depuis 1924, alors que la perspective de la cession à l'Etat de l'immeuble Saint-Célestin prend corps. Le terrain du Lautier est acheté à cet effet en 1925 et une commission est nommée la même année pour étudier les différents projets de construction présentés. Un concours entre entrepreneurs est organisé en novembre 1926 pour la construction d'un asile d'incurables au Lautier, sur un projet dressé par l'architecte départemental Robert Gauchery. Dix-sept dossiers sont remis au préfet et c'est celui de l'entreprise Métivier, « le plus économique », qui est sélectionné par la commission en novembre 1927. Le projet final, établi par Gauchery, est approuvé par le ministère un mois plus tard.

Les travaux commencent en 1928 et s'achèvent en 1932, date à laquelle les anciens pensionnaires de Saint-Fulgent sont transférés à la nouvelle maison départementale de Bellevue.