1621 m. Šilutėje buvo įsteigtas valstybinis dvaras, išsiskiriantis vėlyvojo klasicizmo ir istorizmo architektūros elementais bei Klaipėdos kraštui būdingu dekoru. Svarbus dvaro istorijos etapas prasidėjo 1889 m., kai dvarą įgijo dr. Hugo Šojus – žymus Šilutės miesto mecenatas. Dvarininkas modernizavo ūkią, skyrė dalį žemių miestui ir skatino miesto augimą. Ant būsių dvaro žemių iškilo tokie svarbūs objektai kaip apskrities ligoninė, turgaus aikštė, gimnazija, paštas, uostas bei evangelikų liuteronų bažnčia.
Atkurtame dvare nuo 2015 m. veikia Hugo Šojaus muziejus, kuriame galima
susipažinti su unikalia Klaipėdos krašto istorija. Lankytojai gali apžiūrėti atkurtas erdves, muziejaus ekspozicijas bei apsilankyti Šilutės turizmo informacijos centre. Be to, dalyje buvusių dvaro ūkinių pastatų įrengti edukacijos ir restauravimo centrai, kuriuose vyksta amatų dirbtuvės ir mokymai.
Sovietmečiais dvaras buvo naudojamas kaip įvairios mokymo įstaigos ir ūkio centras, o didelė muziejinių vertybių dalis buvo sunaikinta 1944 m., kuomet čia apsistojo Raudonoji armija. Nepaisant istorinių negandų, dvaras išliko svarbiu kultūriniu objektu ir turistiniu traukos centru Šilutėje.