Muižu ieskauj romantisma stila parks, un kopš 1995. gada tā atkal ir privātīpašumā, un pašreizējais īpašnieks rūpējas par vēsturiskā mantojuma saglabāšanu.
Skaraitišķu muiža ir autentisks Lietuvas muižniecības vēstures liecinieks, kura sākotne meklējama 18. gadsimtā. Ilgu laiku tā piederēja Sirjataviču brāļu pēctečiem, kuri bija cēlušies no dižciltīgās Bileviču dzimtas. 1878. gadā muiža pārgāja Kontrimu dzimtas īpašumā. Pašreizējā pils, kas celta 1838. gadā, nomainīja vecāku koka dzīvojamo ēku. Pils ir taisnstūrveida, apmesta klasicisma stilā ar deviņām asīm, augstiem pamatiem un iespaidīgiem velvju pagrabiem.
Pirmā pasaules kara laikā fronte atradās pie Skaraitišķiem, un muižu okupēja vācu karavīri. Kara laikā ugunsgrēkā tika iznīcinātas
14 muižas ēkas. Neskatoties uz zaudējumiem, līdz 1940. gadam Skaraitišķu muiža palika kā dižciltības kultūras centrs. Muižā atradās reta bibliotēka, 18. gadsimta Lielkņazistes kasiera Ignaša Kontrima portrets (nezināma mākslinieka darbs), antīkas mēbeles un daudzi citi vērtīgi priekšmeti.
Padomju laikā muiža tika nacionalizēta, un tās īpašniece M. Kontrimiene kopā ar meitu Sofiju tika izsūtītas uz Sibīriju. Pēc kara pils tika pielāgota kā dzīvojamā platība sovhozu darbiniekiem. Muižu ieskāva romantisma stila parks, kas, iespējams, tika izveidots vienlaikus ar pili.
Mūsdienās Skaraitišķu muiža atkal ir īpašumā. Kopš 1995. gada tā atrodas privātīpašumā, un pašreizējais īpašnieks rūpējas par šīs vēsturiskās vietas saglabāšanu.