Pirmoreiz minēta 14. gadsimtā kā Lietuvas lielkņaza īpašums. 17. gadsimta sākumā muiža piederēja Radvilu dzimtai. Līdz 1780. gadam muižas kompleksā bija divas mūra kungu mājas — vecā un jaunā —, oranžērija un aptuveni 40 dzīvojamās un saimniecības ēkas. 1795. gadā divās Žiežmāru muižās dzīvoja septiņi iedzīvotāji, kurus apkalpoja septiņi kalpi. 1841. gadā muižu iegādājās Benedikts Tiškevičs, Kauņas guberņas muižniecības maršals. Līdz 1850. gadam Žiežmāru muižai piederēja 720,62 desjatīnas zemes, tai skaitā Jatkoņu, Bartaiču un Būblju ciemu zemes un zemesgabals pašā pilsētā.
1857.–1858. gadā pēc pazīstamā arhitekta Cezara Anikiņa projekta
tika uzcelta kungu māja, dzirnavas, ierīkots parks, kanāls, dīķi un nostiprinātas dambju malas. Līdz 1923. gadam muižas teritorijā bija astoņas viensētas un 148 iedzīvotāji. 1925. gada zemes reformas laikā muiža tika sadalīta un tās teritorijā tika izveidots ciems Žalvarņi, piešķirot zemes gabalus muižas darbiniekiem un brīvprātīgajiem karavīriem.
No 1927. gada muižas centrs ar aptuveni 170 hektāriem zemes tika nodots Lietuvas Armijas Invalīdu savienībai. 1929. gadā kungu mājā tika ierīkota Žiežmāru ziemas lauksaimniecības skola, 1944. gadā — progimnāzija, vēlāk vidusskola un skolotāju dienesta viesnīca. Kopš 1994. gada muiža ir privātīpašums.