A mai kastély helyén álló, 1808-ban a Károlyi család birtokába kerülő egykori földszintes kúriát 1830-tól többször átalakították, bővítették.Károlyi István gróf (1797-1881) kérte fel Yblt a meglévő kastély bővítésére és egy katolikus templom építésére. Az 1840-es évek Ybl átalakításai során nyerte el a kastély mai klasszicista stílusú külső képét. Létrejöttek a könyvtárak minden szinten, a reprezentatív berendezésű és díszítésű szalon jellegű termek, falaikon szobák Munkácsy Mihály, Lotz Károly, Ligeti Antal festményeivel, egyedi intarziás parkettáival, a kastélypark különleges növény- és faegyütteseinek telepítése a halastóval.
Gyakori vendég volt itt Széchenyi István, Kazinczy Ferenc ; a grófot többször meglátogatta Ferenc József. Az őszi falka-vadászatokra melyeket rendszeresen Fóton rendeztek, Sissi, (Erzsébet) királyné többször is átlovagolt Gödöllőről ide.
Az 1945-től működő „Gyermekváros” mellett, a kastélyt ma ismét a Károlyi család, Károlyi László gróf és családja lakja – igaz albérlőként.
A képek az Ybl Egyesület Ybl konferencia és Tanulmányút – Kastélyrehabilitáció c. rendezvényén készültek
