Ancelet suit les cours de l'école des Beaux-Arts de 1846 à 1851. Elève de Lequeux et de Baltard, il reçoit en 1851 le grand prix d'architecture pour un projet d'hospice dans les Alpes. Il est nommé inspecteur des travaux des Archives nationales et de la Bibliothèque de l'Arsenal et attaché comme auditeur au Conseil des Bâtiments civils en 1857, puis architecte du château de Pau en 1858. Il édifie plusieurs immeubles à Biarritz, dont celui d'habitation de l'Empereur et le château d'Artagea pour l'impératrice Eugénie. Architecte du Palais de Compiègne, en 1864, il devint architecte du Conservatoire des arts et métiers en 1872 (jusqu'en 1893) et professeur de dessin ornemental à l'école des Beaux-Arts en 1873.