Dès le VIIIème siècle, sur le rocher escarpé enserré par un méandre du Thouet propice à la défense,existe une forteresse prise puis rasée en 762 par Pépin le Bref (accompagné de son fils Karl, le futur Charlemagne).Place forte, Thouars joue plus tard un rôle important dans les guerres opposant les rois de France et d’Angleterre depuis Henri Plantagenêt et Philippe Auguste jusqu’à la fin de la guerre de Cent ans.En 1619, Henry de La Trémoïlle épouse sa cousine Marie de La Tour d’Auvergne, sœur de Turenne.Pour remanier le château ducal, celle-ci fait édifier un premier pavillon à partir de 1635, puis décide de raser le vieux château afin d’en construire un plus grandiose.L’ensemble est fastueux et de grandes dimensions. L’architecte est Jacques Lemercier, célèbre par ses travaux à Versailles, au Louvre, à l’Église de la Sorbonne à Paris et par la construction du Château de Richelieu. Mutilé en 1789, transformé en caserne, en école privée puis en prison, il accueille depuis 1933 un collège public.