Nagyszabású, szabadon álló, első, Ybl tervezte főúri otthonok egyike. Ybl a palotát Károlyi Lajos megrendelése alapján kezdi el tervezni, majd fia, Károlyi Alajos megbízásából folytatja. Feltehető, hogy az épület legjellegzetesebb eleme, a rizalitot koronázó franciás jellegű, meredek hasáb alakú manzárdtetők a megrendelő kifejezett ösztönzésére valósultak meg. A sarok-manzárdokkal tagolt, élénk franciás tetejével inkább reneszánsz jellegű kastély szerves része volt a kert kiképzése. A belső, felülvilágított reneszánsz árkádíves átrium középpontjában szökőkút állt. Az előcsarnok és a bejáró stukkódíszes mennyezetét Lotz Károly freskói ékesítették.

(forrás: Ybl Ervin: Ybl Miklós, Budapest 1956)