Le château de Villesavin a été construit pour Jean le Breton, secrétaire des finances de François Ier. En 1525, il est fait prisonnier durant la bataille de Pavie et se retrouve enfermé dans la même forteresse que François Ier. Lorsque les deux hommes reviennent en France, François Ier nomme Jean le Breton gouverneur des travaux de Chambord.
Il devra alors relancer ce chantier interrompu pendant 27 mois à cause des guerres d’Italie, le superviser et payer les ouvriers. François Ier lui offre aussi les terres de Villesavin afin d’y construire ce château. Jean le Breton fait ensuite appel à quelques ouvriers et artisans français et italiens de Chambord pour le construire (1527-1537). Le château de Villesavin sera surnommé « La Cabane de chantier de Chambord ».
Après Jean le Breton, le château connaîtra de grandes familles de la noblesse, dont Jean Phélippeaux, conseiller du Roi Henri IV. Comtes et marquis ont aussi habité dans les lieux en y apportant quelques modifications au cours du XIXe siècle. Aujourd’hui, c’est la troisième génération de la famille de Sparre qui a repris le flambeau.