Le château de Bouges (commune de Bouges-le-Château), est connu à travers les sources écrites depuis 917 : le fief est en effet mentionné dans la charte de fondation de l’abbaye de Déols. Il relevait au XIIIe siècle de la châtellenie de Levroux. À cette époque possession des Chauvigny, le fief passa par mariage aux familles Bouteiller de Senlis puis de La Tour d’Auvergne. Elle échut à Catherine de Médicis, fille de Madeleine de la Tour d’Auvergne, qui fit donation de la moitié de la terre, par plusieurs actes passés entre 1541 et 1547, à son maître d’hôtel, Jean-Baptiste Seghizo (ou Segliso). L’histoire de la terre de Bouges au cours de la période qui suit est mal connue : une partie demeure un temps en possession des héritiers de Jean-Baptiste Seghizo ; Jacques Desbarres dit Le Barrois en est dit seigneur pour un quart en 1565. Il semble que la famille de Tournebut ait par la suite hérité la part de la terre provenant de la famille de Seghizo, car Robert de Tournebut en est dit seigneur en 1607. La famille de Tournebut conserva Bouges au moins jusqu’en 1667, date à laquelle Françoise de Prunelay, veuve d’Anne de Tournebut, fit valoir devant la cour des Requêtes de Paris ses droits sur la justice de Bouges face à Charles de Carles, seigneur de Pradines. En 1718, la terre de Bouges aurait été saisie sur Claude de Lignault, qui en aurait hérité de Claude Leroux. Elle fut adjugée à Jacques Alleaulme, lequel la vendit en 1759 à Charles Leblanc de Marnaval.
Riche propriétaire des forges de Clavières, près d’Ardentes, Charles Leblanc de Marnaval entreprit de remplacer l’ancien château par une construction de style néo-classique, que sa parenté avec le Petit Trianon de Versailles a fait parfois attribuer à l’architecte Jacques-Ange Gabriel, hypothèse qu’aucune preuve ne permet aujourd’hui de confirmer ni d’infirmer. Initiée en 1763, la construction du nouveau château se poursuivit jusqu’en 1770. Cette entreprise grandiose, ainsi que son train de vie, menèrent à la ruine Charles Leblanc de Marnaval, qui vit ses biens saisis. Le château passa ensuite successivement aux mains du marquis de La Rochedragon en 1781, de Charles-Maurice de Talleyrand-Périgord — déjà propriétaire du château voisin de Valençay — en 1818, de la famille Masson en 1824, de Mahmoud Benaiad, fermier général du bey de Tunis, en 1853, et de la famille Dufour en 1857.
En 1917, le vaste domaine de Bouges fut acquis par Henry et Renée Viguier, propriétaires du Bazar de l’hôtel de ville de Paris. Tous deux entreprirent de redonner au château son lustre perdu, et acquirent de nombreuses pièces prestigieuses du XVIIIe siècle, destinées à remplacer le mobilier disparu. Ils modernisèrent le château en y faisant installer chauffage, électricité et eau courante. Passionné de cheval, Henry Viguier pratiquait la chasse dans le domaine et constitua une importante collection de voitures hippomobiles. Sa femme Renée, passionnée de fleurs, fit créer un jardin bouquetier et une serre accueillant des plantes exotiques. Le couple fit aussi procéder au réaménagement du jardin à la française et du parc à l’anglaise précédemment créés par les Duchêne. En 1967, les Viguier, restés sans descendants, léguèrent le domaine et ses collections à la Caisse nationale des monuments historiques et des sites (devenu Centre des monuments nationaux), à la condition que le domaine soit ouvert au public.