Les Carmes furent introduits à Albi en 1311 sur l'initiative de l'évêque d'Albi Géraud. L'ancien couvent était situé au faubourg du Vigan vers l'actuel Jardin-National. La maison était importante et deux chapitres généraux de l'ordre s'y réunirent le 31 mai 1327 et le 25 mai 1393. Réformé par l'évêque Louis 1er d'Amboise en 1499, ce couvent devint tête d'une congrégation qui dura un peu plus d'un siècle et qui comprit les couvents de Paris, Rouen, Melun et Toulouse, qui adoptèrent cette réforme. Les bâtiments et la chapelle furent détruits en 1568 (perte d'archives) pour faciliter la défense de la ville d'Albi contre les entreprises des protestants, et reconstruits plus tard à l'intérieur des murs, quartier de Verdusse, à l'emplacement du palais de justice actuel qui conserve le cloître, bâti en 1637-1639. Le nombre des religieux était d'une soixantaine au milieu du XVIe, d'une quinzaine en 1725.