L'hôpital de Rambouillet a été fondé en 1731 près des écuries du château par la comtesse de Toulouse, qui lui donne un règlement la même année. Les malades étaient confiés aux Filles de la Charité de Saint-Lazare de Paris. Son fils le duc de Penthièvre fit construire la chapelle en 1770.