D'abord située dans les locaux de la justice du comté d'Olonne avec le tribunal (place du Minage), la prison est reconstruite rue du Boulet Rouge, près du remblai, en 1824-1825. Elle est reconstruite dans les dunes (1887-1890), près de la gendarmerie, pour répondre aux exigences des lois sur l'emprisonnement cellulaire.