Histoire
Le fief de Chavigny, dépendant de Loudun, appartenait au XIVe siècle à la famille Le Roy. En 1543 François Le Roy, capitaine sous le maréchal de Brissac, ajoute une galerie à un manoir fortifié dont on sait peu de choses.

Schéma de restitution du château de Chavigny, XVIIe siècle.
En 1634, le fief est vendu par les descendants des Le Roy à Claude Bouthillier, surintendant des finances, pour 120 000 livres. Les Bouthillier sont des proches du cardinal de Richelieu. La proximité de leurs domaines les incite à y réaliser d'importants travaux d'embellissements. La recomposition du château commence en 1637 sur les plans de Le Muet, inspiré par certaines réalisation de Du Cerceau. Seules les galeries Renaissance sont conservées, surélevées, comme jonction entre deux nouvelles ailes, et faisant office de fond de cour dans la perspective d'accès au château. L'ensemble est terminé en 1647, et les dessins sont publiés par l'architecte dans un recueil de ses œuvres.
En 1639 la seigneurie est érigée en comté. Elle est vendue en 1774 à Jean-Pierre Desmé du Buisson. La propriété est restée dans sa descendance. En 1839-40 les trois ailes du château sont abattues, et les matériaux remployés pour construire le petit château qui existe encore aujourd'hui. Du grand ensemble de Le Muet ne subsiste que la cour des communs, la plate-forme qui supportait le château, le portail qui y donnait accès, la chapelle et son escalier qui occupaient l'un des pavillons d'angle.