À ses origines, la maison forte, située sur l'actuelle commune de Minzier, appartenait à la famille de Novéry. Elle lui est confisquée par son suzerain le comte de Genève. En 1288, le comte Amédée II de Savoie la cède à Gautier de Confignon, famille qui possède depuis 1282 le château de Marlioz tout proche. En 1352, la maison forte et la seigneurie qui en dépend passent à la famille de Monthoux par le mariage, en 1317, de Pierre de Novéry avec Aloysia de Monthoux. De même, par le mariage de Pierre Vautier de Novéry avec Françoise Vidomne de Chaumont, en 1415, la seigneurie passe à la famille des Vidomne de Chaumont. Par le mariage de Antoinette-Madeleine Vidomne de Chaumont avec Jean-Louis Milliet, premier marquis de Challes, le château échoit à la famille Milliet. Joseph-Henri Milliet, troisième marquis de Challes, meurt en 1777 sans héritier direct. La baronnie de Novéry passe alors à sa sœur Catherine-Françoise Milliet de Challes, veuve du marquis Marc-Antoine Costa de Beauregard. Enfin, la maison forte est achetée, au XXe siècle, par Messieurs Hausermann et Lowe et en 1977 par Monsieur Magnin. Elle est depuis 1993 partiellement inscrite comme monument historique.

Archives départementales de la Haute-Savoie