A kastély és a szilvásváradi uradalom életében három jelentősebb nemesi család játszott szerepet: a Keglevich, az Erdődy és a Pallavicini család.

A Keglevich grófi család 1666-ban kapta meg hűbér birtokként az akkoriban nagyon értékes waradi uradalmat. A kastély elődjének építtetése feltehetően gróf Keglevich Béla nevéhez köthető. A Keglevichek majd 230 évig, 1894-ig birtokolták a kastélyt. A család birtoklása alatt épült a klasszicista stílusú református Kerektemplom, az iskola, az új grófi kastély számos uradalmi épülettel és a református temető. A templom egyik ékessége a hímzett, Keglevich-címert ábrázoló fekete selyem úrasztali terítő, melyet Keglevich Gáborné (született Sándor Matild) készített. 

A Keglevich család egyik tagja, Miklós (1798-1847) a kor fenegyereke volt. Országos hírnevét különcségeinek, vaskos csínytevéseinek köszönhette. Nem véletlen, hogy ahogy azt Jókai Mór feljegyzéseiből tudjuk, Kárpáthy János figuráját (Egy magyar nábob), illetve Bálvándy gróf (És mégis mozog a föld) vérbő, különc alakját a szilvásváradi gróf ihlette.

Ezt követően egy rövid ideig az Erdődy család volt a birtokos, majd a Pallavicini őrgrófi család lett a tulajdonos. A kastélyt a Pallaviciniek építették át neobarokk stílusban és 1944-ig a család tulajdonában maradt. Őrgróf Pallavicini Alfonz Károly birtokaival nagy odaadással törődött, s bár minden kérdésben magának tartotta fel a döntési jogot, igazából az erdőt szerette a legjobban. Kedvenc birtoka volt a Szilvásvárad – Nagyvisnyó, ahol az év nagy részét, különösen a nyári meleg hónapokat töltötték kedvező klímája miatt.

A II. világháborút követően a kastélyt államosították, s hosszú évekig SZOT üdülőként működött. Utolsó komolyabb renoválása 1981-ben, a Szilvásváradon megrendezett fogathajtó világbajnokság alkalmából volt. A rendszerváltást követően több más SZOT üdülőhöz hasonlóan a Hunguest szállodalánchoz került, s ebben a kötelékben működött kétcsillagos szállóként egészen 2005-ig.

A leromlott állapotú szilvásváradi kastélyt jelenlegi tulajdonosai rekonstruálták, megújulva és régi pompájában ragyogva 2009. február közepétől már négy csillagos kastélyszállodaként fogadja újra vendégeit.

A Kastélyhotel számos motívumában megemlékezik ezekről a régmúlt időkről, így nem csak nevében őrzi a hagyományokat („a grófnő” olaszul La Contessa), hanem szintén a Pallavicini család emlékét őrzi az a’la carte étterem, mely Pallavicini Alfonz Károly lányáról, Erzsébetről kapta a nevét, míg a szálloda lakosztálya Sándorfalva megalapítójának, Pallavicini Alfonz Károly édesapjának, Pallavicini Sándor őrgróf emlékének tiszteleg nevével