La Banque foncière de Paris est fondée en 1852 à l'initiative des pouvoirs publics. Il s'agit alors d'organiser le crédit hypothécaire en France à l'image des banques hypothécaires allemandes instituées à la fin du XVIIIe siècle. Dès l'origine, le statut de société de crédit foncier de l'établissement se caractérise par un mécanisme de prêts hypothécaires amortissables à long terme adossé à un financement obligatoire.

La Banque foncière de Paris, devenue Crédit foncier de France en 1854, doit répondre à l'endettement massif de l'agriculture et des paysans français. Ceux-ci subissent en effet les conséquences des taux d'intérêt très élevés des prêts ruraux, l'absence de publicité foncière rendant le prêt hypothécaire particulièrement risqué, puisque le prêteur n'a aucune garantie que le bien hypothéqué ne l'a pas déja été auprès d'autres bailleurs de fonds. La Banque foncière de Paris doit drainer les capitaux français en émettant des obligations à long terme qui financeraient des prêts ruraux à long terme également. Le gouvernement refusant finalement de subventionner la banque pour l'aider à prêter à taux bas, celle-ci se recentre sur des activités plus lucratives, en particulier les emprunts d'État étrangers et surtout l'immobilier parisien. Les gros et moyens propriétaires terriens constituent toutefois une partie non négligeable de la clientèle du Crédit foncier, tandis que le Crédit agricole, aux prêts bonifiés et plafonnés, s'adresse plutôt aux petits agriculteurs.

Le Crédit foncier est placé en 1854 sous la direction d'un gouverneur et de deux sous-gouverneurs nommés par le gouvernement. L'établissement reçoit cependant en 1860 une autonomie de gestion quasiment complète, encore renforcée en 1869. Le Crédit foncier finance alors très largement les grandes percées du baron Haussmann. En 1859, près de 85 % des prêts de la banque sont investis dans le seul département de la Seine, et c'est dans les mêmes proportions qu'il avance les capitaux nécessaires aux grandes opérations immobilières parisiennes, par l'intermédiaire notamment de la Compagnie immobilière des frères Péreire. Le Crédit foncier participe ainsi à l'aménagement et à la construction de la rue de Rivoli (grand hôtel du Louvre), du quartier de l'Opéra et de la plaine Monceau. La crise qui frappe le bâtiment dans les années 1880 pousse le Crédit foncier à se diversifier et à investir en province, dans les grands centres urbains et sur le front de mer, tandis que se multiplient à Paris les prêts à la construction d'immeubles de valeur moyenne destinés à la petite et à la moyenne bourgeoisie. Après la Première Guerre mondiale, le Crédit foncier, toujours à la recherche de placements sans risques, lucratifs et diversifiés, investit dans l'habitat pavillonnaire en région parisienne.

En 1860, le Crédit foncier met sa capacité à mobiliser des fonds à long terme au service des municipalités. Les prêts communaux constituent l'une des principales activités de la banque, au point qu'à la fin du siècle, le Crédit foncier s'adjuge plus des trois-quarts des emprunts des communes. En 1880, le Crédit foncier installe une filiale en Algérie, le Crédit foncier et agricole d'Algérie, qui étend ses activités à la Tunisie en 1909 et au Maroc en 1913. Le Crédit foncier multiplie également les placements à l'étranger. La banqueroute égyptienne de 1876 révèle l'ampleur de l'engagement de la banque en Égypte, bien qu'elle réussisse finalement à empocher de substantiels bénéfices. Devant l'ampleur du scandale, le gouvernement républicain décide de reprendre en main l'établissement. Le Crédit foncier est alors amené à souscrire à la plupart des emprunts publics, assurant leur succès grâce à l'excellente réputation qu'a acquise la banque auprès des rentiers, et à participer au sauvetage du Comptoir d'escompte en 1889, ainsi qu'à d'autres opérations patronnées par le gouvernement.

À la suite du scandale de Panama, la critique des dérives affairistes du Crédit foncier devient un lieu commun de la presse d'opposition de droite et de gauche. Au fil des ans, les profits réalisés par le Crédit foncier paraissent d'autant plus choquants qu'ils proviennent pour une bonne part du soutien que lui apporte le gouvernement, notamment par le biais de la mise à disposition des guichets du Trésor et de remises sur les impôts. Dans ces conditions, l'opinion réclame en contrepartie de ces avantages qu'une proportion plus importante des fonds du Crédit foncier soit investie dans des opérations moins rentables mais d'intérêt national, comme la modernisation de l'industrie et la création d'un parc de logements sociaux. L'épreuve de la Première Guerre mondiale et des crises financières des années 1920 conduit toutefois la banque à limiter encore plus les risques pour préserver la valeur de ses titres. La mise en œuvre d'une politique de grands travaux dans la lignée du New Deal est ainsi surtout le fait du Crédit national et de la Caisse des dépôts et consignations. En revanche, après la Seconde Guerre mondiale, la banque participe activement au boom de la construction de logements bon marché. Le Crédit foncier est chargé de la gestion du fonds national d'amélioration de l'habitat institué en 1945. La loi du 21 juillet 1950 missionne la banque pour accorder des prêts spéciaux aux particuliers bénéficiant de primes à la construction. Enfin, en 1972, l'État lui délègue le soin d'instruire et de gérer les dossiers de prêts immobiliers conventionnés. Aujourd'hui encore, les prêts aux communes et au logement constituent toujours les principaux secteurs d'activité du Crédit foncier.

Historiquement, l'organisation juridique du CFF se différenciait de celles des sociétés de droit commun par la tutelle des pouvoirs publics, mais c'était une société de droit privé dont le capital social était constitué d'actions cotées en bourse, à l'époque largement réparties dans le public, jusqu'à l'offre publique d'achat (OPA), réalisée par la Caisse de dépôt et de consignations, en 1996, pour le compte de l'État. De 1852 à 1999, selon l'objet des financements, plusieurs séquences historiques se sont succédées ou ont coexisté pour certaines d'entre elles.

La création du CFF, au milieu du XIXe siècle, se justifiait par l'état de la dette hypothécaire qui grevait la propriété rurale. L'instauration de prêts hypothécaires à long terme amortissables a progressivement amélioré cette situation, mais avec les transformations de la société française, le financement de l'immobilier urbain s'est peu à peu superposé au désendettement de l'agriculture. Dès 1860, des relations sont instaurées avec le Sous-comptoir des entrepreneurs. Cet établissement, créé en 1848, accorde des ouvertures de crédit à court et moyen termes, lesquelles sont consolidées par des prêts à long terme du Crédit foncier consentis pour le financement de la construction.

L'élargissement, en 1860, des activités du Crédit foncier au financement des collectivités locales, lui a permis de devenir leur principal prêteur de 1890 à 1930 environ. Mais ces opérations, réduites de manières drastiques avec la priorité donnée au financement des prêts au logement à partir de 1950, sont réactivées de 1985 à 1995.

La loi du 21 juillet 1950 a instauré une période exceptionnelle dans l'histoire du CFF : celle du quasi-monopole de la distribution des prêts aidés par l'État, avec le Sous-comptoir des entrepreneurs, correspondant à la période de la reconstruction du pays après la Seconde Guerre mondiale. Le dispositif a cependant beaucoup évolué à partir de 1950, avec le désengagement progressif des pouvoirs publics, jusqu'à la réforme d'octobre 1995 de l'accession aidée au logement et la mise en place du prêt à zéro pour cent distribué par tous les établissements de crédit.

Évoluant dans un environnement progressivement « banalisé » et concurrentiel, la société a été conduite à élargir ses interventions à partir du milieu des années 1980, mais le redéploiement de certaines activités, dont le risque n'a pas été suffisamment maîtrisé, a conduit à une crise sans précédent dans l'histoire du Crédit foncier.

Dans un contexte de crise durable de l'immobilier, à partir de 1990, celle du Crédit foncier a été accélérée par la disparition brutale des prêts aidés, en octobre 1995, sans mesures d'accompagnement lui permettant de se repositionner dans un environnement financier largement concurrentiel. Privé de ses moyens traditionnels de financement et, l'année suivante, ne disposant plus de fonds propres après une perte supérieure à 10 milliards de francs pour l'exercice 1995, un schéma de démantèlement était envisagé. Celui-ci a été évité grâce à une très forte mobilisation de l'entreprise et de son personnel, confortés par des résultats positifs.

Après une période d'incertitudes, 1999 a constitué un tournant majeur dans l'histoire du CFF. La loi du 25 juin 1999 a profondément réformé le régime des sociétés de crédit foncier institué en 1852 : le CFF a adopté le régime des sociétés à directoire et conseil de surveillance et a créé une filiale de refinancement, la Compagnie de financement foncier, première société au regard de la loi. La seconde étape essentielle a été l'adossement au Groupe des caisses d'épargne devenu actionnaire majoritaire.

Cet adossement a permis au Crédit foncier, par ailleurs profondément restructuré, de rejoindre un groupe bancaire important, dynamique et de taille européenne, au sein duquel il a l'ambition d'exploiter au mieux ses atouts.

En 2003, le CFF quitte ses locaux de la place Vendôme pour regrouper l'essentiel de ses équipes sur le site « Les Rives de Bercy », à Charenton-le-Pont (Val-de-Marne). En 2004, le CFF réalise une opération de croissance externe en finalisant le rachat d'Entenial. Ce rachat est suivi d'un rapprochement du CFF et d'Entenial pour construire le numéro 1 français des services et financements de l'immobilier au sein du groupe Caisse d'épargne.