La construction de l'hôpital commence en 1870, sur les plans de l'architecte Marie-Étienne Billon, mais doit être interrompue pendant la guerre de 1870 puis la Commune de Paris. L'hôpital ouvre en 1878, d'abord sous le nom d'hôpital de Ménilmontant, puis en février 1879, lui est attribué le nom de Jacques Tenon, chirurgien du XVIIIe siècle qui en avait esquissé les principes de construction et d'organisation dans son ouvrage Mémoire des hôpitaux de Paris.