Le pavillon est l’élément le plus ancien du domaine. Des experts en patrimoine situent son origine fin 17°, début 18° siècle, soit à la fin du règne de Louis XIV. Le domaine est apparu en 1657, le bâtiment a donc été construit sans doute peu après. Il semble que jusqu’à la Révolution, la chapelle du noble propriétaire y était située. Des éléments de colonnes antiques de réutilisation servent de support à l’intérieur du bâtiment. Leur présence est étonnante et des recherches seraient à entreprendre pour connaître leur origine.
Après la Révolution, le bâtiment passa entre les mains de riches bourgeois. Suite à des modifications intérieures, il a sans doute servi à loger le personnel de maison, les attelages des propriétaires puis leurs automobiles.
La seconde guerre mondiale achevée, il fut habité par la famille du gardien qui faisait également office de jardinier. Le domaine fut acheté en 1977 par la commune et le gardien quitta les lieux début 1980. Depuis, le pavillon a été laissé à l’abandon.
Jouxtant le pavillon et l’animalerie au sud, s’étend une parcelle qui appartient toujours à la famille Rachou, dernière propriétaire du domaine. On peut d’ailleurs remarquer qu’il y a une ouverture dans le pignon sud du pavillon qui donne directement sur la parcelle, prouvant qu’elle faisait bien partie intégrante du domaine. Ce terrain que l’on appelle « La Petite Ferme » était déjà intégré au domaine à l’origine. Il fut vendu à des agriculteurs en 1837 qui utilisèrent les bâtiments agricoles de la ferme du domaine qui au cours des années ont disparu. Ces bâtiments ont disparu. En 1940, la famille Rachou acquit cette parcelle en même temps que le domaine, reconstituant ainsi celui-ci tel qu’il était à l’origine.
En 2000, dans le cadre d’une étude sur le patrimoine de Wissous, des architectes spécialistes du patrimoine conclurent dans leur rapport remis à la Mairie que : « c’était un témoin précieux du passé avec des façades qu’il faudra restaurer à l’identique. Le pigeonnier et les annexes doivent aussi être conservés. »