A Daniel család évszádokon keresztül meghatározó szerepet játszott a vargyasi emberek életében. Az udvarház, a kiterjedt birtok számos családnak biztosított megélhetést.
A két világháború között Daniel Ferenc, a kastély akkori tulajdonosa, folytatta elődei munkáját, ő is hozzájárult a kastély újításához, szépítéséhez. Az 1937-es építkezések Keöpeczi Sebestyén József tervei alapján zajlottak. Ekkor készült az északi emeletes, árkádos tornác valamint az épület északi udvarán egy historizáló jellegű kútház.
Ennek az építkezésnek az emlékét is faragott kőtáblával örökítették meg, melyen a Daniel és Somssich családok címerei láthatók.
A második világháború azonban visszafordíthatatlan változásokat hozott a kastély és az ott lakók életében. A háború ideje alatt a család elmenekült, a kastélyt pedig kifosztották. Lázár Imre (sz.1915), aki a báró tulajdonában levő szeszgyárban tüzelőként dolgozott, így emlékszik vissza erre az időszakra:
A bárói család személyes tárgyai még ma is fellelhetők egy-egy vargyasi családnál. Veress Miklós (sz.1923) egy a kastély vadászterméből származó falióra kalandos történetét mesélte el:
A háború után a család visszatért és újra birtokba vette jogos örökségét. Azonban nem maradhattak sokáig az épületben, hiszen az 1940-es évek végén államosították azt. Ezt követően az Állami Gazdaság vette birtokba az épületet. Erről az időszakról Andorkó Ferenc (sz.1950), unitárius lelkész mesélt:
Az Állami Gazdaság beköltözésével a kastély elindult a pusztulás útján. Máthé Ferenc Ilonka (sz.1927), vargyasi fafaragó, aki rövid ideig az Állami Gazdaság vezetője is volt, így emlékszik vissza az akkori eseményekre:
Idővel mind rosszabbra fordult a kastély és az azt övező park sorsa. A bárói család egykori impozáns épületében juhokat tartottak. Ezt az időszakot Veress Miklós örökítette meg festményein:
A kastély életében az 1980-as években következett be fordulat. Deák Vilma, az akkori polgármesterasszony közbenjárásával sikerült megszerezni a restaurálási engedélyt valamint a felújítást fedező költségeket. 1980-1984 között szakemberek segítségével helyreállították a kastély épületét, ezt követően pedig a parkot is szakszerűen rendezték. Deák Vilma így vall a restaurálási folyamatról:
A felújítást követően az akkori néptanács költözött az épületbe.
A korabeli sajtó is gyakran közölt cikkeket a felújított kastélyról. A Megyei Tükör egyik száma olyan tervekről is beszámolt, miszerint a parkot a környék értékes fáival szeretnék betelepíteni, botanikus kertté alakítani. Erre vonatkozóan történtek is próbálkozások, azonban az 1989-es változások után az ilyen tervekről megfeledkeztek.