En dépit d'une légende tenace qui tend à en attribuer la fondation à l'évêque saint Landry au VIIe siècle, la plus ancienne mention de l'hôtel-Dieu de Paris remonte à 829.

Jusqu'au début du XVIe siècle, l'Hôtel-Dieu est placé sous l'égide du clergé, en particulier des chanoines de Notre-Dame. Un arrêt du Parlement de Paris du 2 mai 1505 en confie l'administration à un comité composé de huit commissaires laïques mandatés pour la gestion financière de la structure. Au début du XVIIe siècle, l'hôpital bénéficie de quelques agrandissements sous la conduite des architectes Claude Vellefaux et Christophe Camard. Il accueille en 1718 près de 2 500 malades, pris en charge par des ecclésiastiques et des religieuses et visités par des chirurgiens. Depuis le règne de Louis XIV, le Bureau des administrateurs, composé de notables de la bourgeoisie, est placé sous l'autorité morale de l'archevêque de Paris, des premiers présidents et procureurs des cours souveraines et des premiers magistrats de la cité.

Au cours du XVIIIe siècle l'Hôtel-Dieu est ravagé par de nombreux incendies : en 1718, en août 1737 puis de nouveau en 1742. Mais surtout, il est la proie des flammes pendant près de onze jours consécutifs en décembre 1772. À la suite de ce dernier sinistre ayant entrainé la destruction de la quasi-totalité des bâtiments situés sur l'île de la Cité, les administrateurs envisagent de fermer l'Hôtel-Dieu et de le reconstruire sur un autre site. Finalement, le projet est abandonné, les administrateurs  se bornent à l'exécution de travaux de restauration et de reconstruction sur les anciennes fondations. Il faut attendre le XIXe siècle pour la reconstruction complète.

Pendant la Révolution, l'hôpital est rebaptisé Grand hospice d'humanité ou encore Maison de l'humanité. En 1801, il est intégré dans l'ensemble des établissements charitables et hospitaliers placés sous la tutelle du Conseil général des hospices de Paris. En 1802, l'Hôtel-Dieu fait l'objet de travaux d'agrandissement et gère plus de 2 200 lits dont une grande partie affectée notamment aux maladies aiguës.

Au fil des siècles, l'Hôtel-Dieu s'est très fortement étendu : outre ses bâtiments le long de la Seine, sur le parvis de Notre-Dame, il s'est implanté sur le Petit-Pont enjambant le petit bras de la Seine, puis le long de la rue de la Bûcherie, sur la rive gauche du fleuve. Il dispose par ailleurs d'un domaine foncier considérable, bâti et non bâti, dans et hors Paris, qui lui procure des ressources non négligeables. Il dispose enfin d'annexes pour accueillir certaines catégories de malades :

- l'hôpital Saint-Louis, construit hors les murs au début du XVIIe siècle, a pour vocation d'accueillir les "pestiférés", scorbutiques et malades contagieux de toutes espèces que lui adresse la maison mère. D'abord ouvert de manière intermittente, en fonction des besoins, il devient un hôpital permanent à compter du 1er mars 1773, mais conserve jusqu'à l'époque révolutionnaire son lien administratif avec l'Hôtel-Dieu, qui l'approvisionne en vivres. Il est temporairement rebaptisé hospice du Nord pendant la Révolution ;
- l'hôpital de la Santé ou Sainte-Anne : installé sur le chemin de Gentilly vers 1607-1608, il devient un sanitat (maison de santé) pour les femmes et filles contagieuses, puis est utilisé comme annexe pour les convalescents de l'Hôtel-Dieu, qui le transforme en ferme ; une partie des terres est cultivée, la propriété admet également les bestiaux destinés à la boucherie et les bâtiments servent d'entrepôt pour les blés et de hangar pour les peaux de moutons. Les pavillons inachevés prévus pour l'accueil des malades sont aménagés en maison de repos pour religieuses. En 1767, l'hôpital Sainte-Anne est brièvement contraint d'accueillir des scorbutiques et des "gens de force" de Bicêtre, c'est-à-dire des aliénés et prisonniers envoyés là par l'Hôpital général ; mais l'Hôtel-Dieu remporte son procès contre ce dernier et Sainte-Anne redevient une ferme lucrative. En 1824 cependant, la ferme Sainte-Anne dont les bâtiments s'effondrent devient une annexe de l'hôpital Bicêtre, et on y envoie les aliénés les plus calmes pour la remettre en état et relancer l'activité agricole ;
- l'hôpital des Incurables : élevé de 1634 à 1639 à Paris, il est destiné au soin des infirmes ou des malades atteints d'affections chroniques et générales incurables.

La démolition de l'ancien Hôtel-Dieu est décidée en 1861, et ses vestiges sont  détruits en 1877, alors qu'est inauguré le nouvel Hôtel-Dieu, de l'autre côté du parvis de Notre-Dame, là où il se trouve encore aujourd'hui. Toutefois l'ancien Hôtel-Dieu n'est pas intégralement démoli. Les bâtiments situés sur la rive gauche de la Seine, rue de la Bûcherie, subsistent jusqu'en 1909 et portent le nom d'Hôtel-Dieu annexe Bûcherie. Une plaque rappelle leur précédente affectation.