Au Moyen-Age 
Le fief de Villiers, dit aussi fief de Presles a appartenu successivement à Jean LE BACLE de 1310 à 1332, à Jean DE PRESLES en 1403, aux VOISINS, du XIVe au XVIe siècle, puis à Françoise LOMBARD.

Reconstruit à la fin du règne de Louis XIII 
Le château de Villiers, sis route de Saint-Aubin fut élevé entre 1640 et 1684 (fin du règne de Louis XIII, début du règne de Louis XIV) par Michel LUCAS, Seigneur de Saclay, comte de Châteaufort, sur les ruines de l’hôtel de Presles. Au XVIIe siècle, tout était sur place moulin, église, ferme, potager, fruitier, colombier, vignes et même un tribunal et sa prison ! Après sa reconstruction par Michel LUCAS, il fut acquis par Nicolas DE BARTILLAT, dans la seconde moitié du XVIIe siècle, puis par Claude Olivier BOUCHER puis Anjorrant de TRACY au XVIIIe.

La famille BIVER 
Propriété en provenance de la famille CAILLAT, il fut restauré au début du XIXe siècle par la famille BIVER qui fit combler les douves qui l’entouraient jusqu’alors. Le comte Eugène BIVER (1861-1929) et sa femme Marie-Hélène CAILLAT (1866-1938) y font valoir à partir de la ferme du Viviers contiguë, un vaste domaine agricole. Leur fille Marie-Hélène habitera le château jusqu’en 1985 -elle est inhumée avec ses parents au cimetière de Villiers où elle se rendait souvent par la petite porte du mur commun.