A XVI. századi, Réthey család – „Füzér vára pótlására” – földesúri lakóhelyül épített kastély több átalakításon ment keresztül – többek között Alberto Pio bécsi építész tervei szerint, mielőtt előtt, gróf Károlyi László (1859-1936) Ybl-t is megbízta volna az átalakítással. Stukkódíszek, márványburkolatok készültek, márvány fürdőszobákat építettek, 17 különböző stílusú és korú kandalló kapott helyet, a szalonokat XV-XVI. századi bútorokkal rendezték be. A kastély F-betűt formázó földszintjén helyezkedett el a gróf szalonja, hálószobája, írókabinetje, márványburkolatú fürdőszobával és ebédlővel, a páratlan szépségű, márványból faragott csavart oszlopos hall, az emeleten szalonok és hálók sora márvány fürdőszobával, a vadászebédlő, a nagy szalon, a családi ebédlő, a tálaló, a konyha, a bálteremként is szolgáló télikert, és a kastély kápolnája.
A II. világháború után államosított épület gyermek, majd TBC szanatóriumként hasznosult. Károlyi István – ellenállási érdemeire való tekintettel visszakapta, újból megnyitotta a kastély-szállót, de 1948-ban elvette az állam Károlyitól. 1993-tól a Műemlékek Nemzeti Gondnoksága, mint az épület kezelője folyamatosan felújítja.
„A település eredetileg Füzér várának tartozéka volt. Az Árpád kortól a XVII sz-ig többször cserélt gazdát, míg 1670-ben a Wesselényi-féle összeesküvésben való részvétele miatt a kincstár lefoglalta Nádasdy Ferenc összes javait, beleértve az akkor zálogban lévő Füzért és tartozékait is, mely utóbbiakat aztán 1686-ban Károlyi László mint királyi adományt kapott meg. A királyi adományozással megkezdődött a fiizérradványi kastély Károlyiak által történő birtoklásának több mint két és fél évszázados története. A XVI- XVII században szerepet játszottak a Károlyiak az ország történetében, és kedvező házasságkötések révén az ország legelső családjával kerültek rokonságba.
A bárói rangot 1609. december 11-én Károlyi Mihály nyerte el. Károlyi Sándor a Rákóczi szabadságharcot lezáró szatmári béke (1711)egyik megalkotója 1712-ben hatalmas adományokban részesült, így ekkor megkapta a grófi rangot is. 1717-ben a füzérradványi birtokot és kastélyt Károlyi Sándor kivette a család kezeléséből és 30 évre zálogba adta Dessewffy Imre tábornoknak. Károlyi Ferenc 1754-ben váltotta vissza Radványt és kastélyát. Nemsokára azonban újabb zálogosok és bérlők laktak benne.
1822-től a három Károlyi-fivér, István, Lajos és György együtt kezelték az uradalmat. 1827-ben a nagy osztozkodást követően a füzérradványi uradalom Károlyi István birtokába került. Azonban állandó lakhelyéül ő sem a távoli Abaúj falut választotta. Károlyi Istvánnak két fia született és a birtok tovább osztódott, és ekkor már a füzérradványi uradalomnak is kiemelt szerep jutott. Károlyi Ede örökölte az addig országos viszonylatban jelentéktelen épületet és parkját. Nagyszabású építkezést kezdeményez, mely a maga kategóriájában a legjelentősebbek közé emeli a kastélyt. Az építkezés két évtizeden keresztül több szakaszban folyt. A tervező építész Ybl Miklós, aki Károlyi Ede apjának uradalmi építésze volt. Ybl-nek eddig nem volt ismert olyan tervrajza, amely a füzérradványi kastélyhoz készült. A mostani kutatás során előkerültek az építész tervhagyatékából olyan – szignó, dátum, felirat és lépték nélküli – pince és földszinti alaprajzok, amelyek bízvást rokoníthatók az épület eddig bemutatott alaprajzi rendszerével, illetve jelenlegi alaprajzi sajátosságaival. Természetesen sokban eltér a mai állapot Ybl tervétől, Károlyi Ede, mint műkedvelő építész azt többször módosíttatta. Károlyi Ede nem sokáig élvezhette átépített kastélyát, két évvel annak befejezte után, 1879-ben meghalt.
Örököse fia László lett, akinek utóbb jelentős szerep jutott az épület életében. A politikai élettől elfordulva a gazdasági ügyeknek szentelte magát. Füzérradványi birtokán is intenzív erdőgazdálkodást honosított meg. 1897-ben vette nőül gróf Apponyi Franciskát. Az állandó jelleggel Fóton lakó Károlyi László érdeklődése, valószínűleg felesége hatására, fiizérradványi kastélyuk felé fordul. Így a századfordulón átalakításokat végeztetett az épületen. Ez az építkezés az épület belsejére is kiterjedt. Legjelentősebbek az ajtókeretek, a kandallók beépítése és a szobák pazar berendezése. Ilyen arányú beépítést az ember csak akkor eszközöl és nagyszámú műtárgyat csak abban az épületben gyűjt össze, ahol rendszeresen tartózkodik. Minthogy a környék egyik fő vonzereje a vadászat volt a század elején Károlyi László nem messze Füzérradványtól két vadászkastélyt is építtetett; Kőkaput és Lászlótanyát.
Élete vége felé a betegeskedő Károlyi László visszahúzódott fóti birtokára, így a kastély lakó nélkül állt.
1930-as években Windischgräctz Mária Magdolna, Károlyi László István nevű fiának felesége talált megoldást az épület méltó hasznosítására. Javasolta működtessék luxusszállóként.
Az előkészületeket követően – áramot vezetnek a kastélyban, minimális, de szükséges átalakításokat végeznek – 1938. május 8-án nyílt meg a Kastély szálló. Ezt azonban már Károlyi László nem érte meg. A kastélyt fia, István örökölte. Az intézmény sikeresen működött, és a lillafüredi Palotaszállóhoz hasonló népszerűségre tett szert.”
A fent idézett szövegrészletet Dr. Sisa József a tudományos dokumentációjából bocsájtotta rendelkezésünkre.
A képek az Ybl Egyesület Ybl konferencia és Tanulmányút – Kastélyrehabilitáció c. rendezvényén készültek