Le séminaire Saint-Charles de la Croix a été fondé en 1690 et il fut affecté aux séminaristes du diocèse en 1704. À la Révolution, les bâtiments furent saisis comme biens nationaux, et ils servirent tour à tour de caserne et d'hôpital avant d'être occupés par les Autrichiens. Un décret du 31 août 1820 affecta Saint-Charles à la succursale des invalides d'Avignon, mais peu après, une ordonnance du 9 avril 1823 détacha les bâtiments de Saint-Charles des invalides, pour les mettre à la disposition de l'archevêque d'Avignon tout en restant propriété nationale. L'archevêque y rétablit aussitôt le grand séminaire du diocèse, placé sous le titre de saint Charles. En 1905, le grand séminaire fut fermé et le vaste ensemble immobilier fut cédé amiablement par l'État au département par décret du 27 février 1924. Plusieurs services administratifs y furent installés faisant de l'ancien séminaire une cité administrative ; la chapelle fut affectée aux archives départementales qui y établirent une annexe ; une maison maternelle fut construite de 1929 à 1931 sur une dépendance.