Les bâtiments historiques du 45 rue d'Ulm sont organisés en carré autour de la cour centrale, la Cour aux Ernests, carré auquel viennent s'accoler deux ailes plus récentes : au nord-est l'aile Érasme (du nom de la rue Érasme qui longe l'école au nord) et l'aile Rataud au sud-est (du nom de la rue Rataud qui longe l'école à l'est). Au sud du carré, une autre cour, la cour Pasteur, sépare l'école des immeubles d'habitation de la rue Claude-Bernard. Enfin, un nouveau bâtiment, dit nouvel immeuble Rataud, longe la rue Rataud et relie les ailes Érasme et Rataud des bâtiments principaux. Ces bâtiments renferment, outre la direction de l'école, des départements littéraires (philosophie, littérature et langage, études anciennes, archéologie) et scientifiques (mathématiques, informatique), ainsi que la très grande bibliothèque des lettres et la bibliothèque de mathématiques et d'informatique, des logements de fonction et des internats, des services administratifs, le restaurant (Pot), etc. Le pavillon Pasteur (avec les fresques de Louis-Édouard Fournier) a abrité le laboratoire du célèbre biologiste. Le monument aux morts, inauguré en 1923, est l'œuvre du sculpteur Paul Landowski.