A Sztankovánszky család az 1720-as években leányági örökösödés révén kapja meg a Lengyel családtól Kajdacsot. Az eredetileg Győrből, majd Veszprém megyéből elszármazó család a XVIII. század közepén már megyei alispánt is ad, és ettől kezdve fontos szerepet tölt be a közéletben, Sztankovánszky Imre, a liberális politikus 1848-as megyei alispán.

A ma is látható kastélyuk 1893-94-ben épült Ney Béla tervei szerint. A korábban már itt álló kisebb kastélyt cselédlakássá alakították át, és egy hosszú folyosóval a kastélyhoz kapcsolták. A kastély ma az általános iskolának és pedagóguslakásoknak ad otthont. Egykori hatalmas parkját az iskolai sportpályák és kiskertek darabolták fel. A hajdani park végében épült a mauzóleum.