Son nom bien français indique une origine récente et une destination précise ; c’était une ferme dans laquelle on faisait l’élevage des moutons, et sans doute, plus particulièrement de l’agneau. Cette dénomination bucolique ne s’est appliquée qu’à une ferme dont les transformations successives furent nombreuses.
Le bâtiment de maître n’était qu’une maison sans grande importance, et ce n’est vers 1585 sous Henry II de Valois qu’on lui donna les allures et l’extérieur d’un Château. Un dessin à la plume, qui remonte au XVIe siècle, le montre composé d’un pavillon central élevé d’un étage avec trois ouvertures, et deux petits pavillons à droite et à gauche.
A le voir aujourd’hui composé de huit pavillons, qui lui donnent un aspect trop allongé, on se rend compte des augmentations successives qui lui ont été apportées. Il donne l’impression d’être composé d’anneaux, et sans doute un historien peu averti pourrait être tenté de croire que son ancien nom lui venait de cette forme et de cette ressemblance (anneaux ou aneaux).
Dès 1585, pour embellir et décorer « ladite maison des Agneaux », le Cardinal de Gond avait permis à Guillaume Marchant, voyer du Roi, correcteur en la chambre des comptes, pour lors propriétaire de ladite maison, de la faire clore de fossés avec pont-levis, « tournelle, guérites et canonnières ».
La maison des champs va devenir une petite forteresse avec tout le système défensif en usage à cette époque. Les temps étaient d’ailleurs fort troublés ; la maison était si près de la route de Champagne qu’elle devait souvent être pillée et rançonnée par les troupes de passage.
Ces travaux furent rapidement exécutés, comme l’indique la déclaration au Terroir d’Ozoir-la-Ferrière faite en 1604 par le même Guillaume Marchant, architecte, bourgeois de Paris, sieur des Agneaux, sous le règne d’Henri IV. Celui-ci passe déclaration : « Pour une maison, cour, grange, étable, appelée vulgairement la ferme des Agneaux clos à fossés, murs et pont-levis, sis en la paroisse d’Ozoir lieu dit les Agneaux contenant le tout seize travées et en fond de terre un arpent et demi… ».
L’expression « vulgairement appelée la ferme » indique à l’origine, non un château, mais une exploitation agricole.
Au censier de 1617, c’est André Marchant, son fils, qui passe déclaration et reconnaît devoir à l’Evêque de Paris son Seigneur suzerain, pour la « maison et la ferme des Agneaux », 7 livres 10 sols parisis de cens.
En 1625, Laurent de Naberat, conseiller secrétaire ordinaire de la Reine Anne d’Autriche, épouse de Louis XIII, acquiert, par contrat d’échange de damoiselle Philippe Landry veuve de feu maître Johan Tallon, conseiller secrétaire du Roi, « une maison et ferme appelée les Aneaux, sises en brie, proche de Romaine en la paroisse d’Ozoir-la-Ferrière ».
Le nouvel acquéreur demanda aussitôt à l’archevêque de Paris « qu’il lui soit permis de mettre des girouettes aux armes de l’archevêque et aux siennes, de chasser, pêcher, d’établir un colombier et de jouir de toutes autres marques de noblesse ».
Il demandait en somme l’inféodation de cette terre en sa faveur. Par lettre du 12 décembre 1627, Jean-François de Gond, Archevêque de Paris, reconnaissant que depuis deux ans et demi, Naberat a acquis « une maison et une ferme appelée les Agneaux » et qu’il y a fait de nombreuses améliorations, lui accorde l’érection en fief noble et lui permet d’y faire bâtir une chapelle. La maison devait donc avoir déjà une certaine importance ; elle devient dès ce moment le siège d’une seigneurie soumise à la foi et hommage et aux droits féodaux envers les archevêques de Paris.