Vecākie ļaudis stāsta leģendu par pirmās baznīcas celtniecību Rumšišķēs: karalis Jagailis kopā ar savu sievu karalieni Jadvigu un garīdzniekiem brauca ar kamanām no Viļņas caur Rumšišķēm uz Kauņu. Bija agrs pavasaris, un karaļa kamanas iegrima plānajā ledū virs strauta, apdraudot viņu dzīvības. Jadviga apsolīja, ka, ja viņi tiks izglābti, viņa tajā vietā uzcels baznīcu. Viņi izglābās, un pēc viņas norādījumiem vietējie amatnieki uzkalniņā netālu no strauta uzcēla koka baznīcu. Strauts tika nosaukts poļu vārdā „Nadzeja”, kas nozīmē Cerība. Pirmā baznīca, visticamāk, uzcelta 16. gadsimta sākumā, iespējams, pēc karalienes Bonas iniciatīvas. 16.–17. gadsimtā tā vairākkārt nodega. 1700. gadā mācītājs Samuels Goligonts rakstīja, ka viņš "necienīgs, grēcīgs un nabadzīgs priesteris, pats no saviem līdzekļiem un pūlēm uzcēla jaunu baznīcu Rumšišķēs, veltītu sv. Miķelim, Vissvētākajai Jaunavai Marijai un sv. Jurim". Līdz 1710. gadam bija saziedoti gandrīz visi nepieciešamie baznīcas piederumi. Jaunā un salīdzinoši lielā baznīca tika uzbūvēta, ievērojot tradicionālo tautas arhitektūru. Taisnstūra formā, no priedes baļķiem celtā baznīca bija pārsegta ar skaidu jumtu, ar mazu torni vidū. Līdzīgas baznīcas bija sastopamas arī Polijā un Baltkrievijā. 1849. gadā Rumšišķu draudzi nošķīra no Viļņas diecēzes un pievienoja Žemaitijas
diecēzei.
1859.–1860. gadā baznīca tika pamatīgi remontēta un daļēji pārbūvēta. 1863. gada sacelšanās laikā tās pārvaldnieks tēvs Antans Kazlauskas piedalījās sacelšanās kustībā; viņš tika arestēts un ieslodzīts Viļņā, kur nomira 1867. gadā. 1892. gada 19. februārī Rumšišķēs nomira tēvs Povils Šiliņskis. Lai arī kalpoja tikai trīs gadus, viņš ieviesa lietuviešu dziesmas un lūgšanas. 20. gadsimta pirmajā pusē divreiz bija plānots būvēt jaunu (ķieģeļu) baznīcu, taču plāni tika izjaukti: vispirms Pirmā pasaules kara dēļ, vēlāk – 1938. gadā – tāpēc, ka koka baznīcu atzina par vērtīgu kultūras pieminekli. Vietējie iedzīvotāji centās izrotāt esošo dievnamu. 1942. gadā interjeru izdekorēja mākslinieks Vlads Didžjoks no Dovainoniem. 1958. gadā zvanu tornis tika pārvietots uz jauno vietu, un 1959. gadā – arī pati baznīca.
Pirmā pasaules kara laikā baznīcā tika atrastas nezināma 17. gadsimta dižciltīgā mirstīgās atliekas – dzelzs būrī ar vērtīgu kroni. Galvaskauss un kauli bija piesieti pie metāla stieņiem un aizlīmēti ar zīmogvasku. Šie kauli vēlāk tika aizmirsti un atkal atklāti 1958. gadā, kad baznīcu pārvietoja. Uzskata, ka tie saistīti ar 1655.–1661. gada krievu iebrukumu Viļņā. Atliekas, iespējams, pārvestas no Viļņas un paslēptas šeit. Tās kopā ar citiem zārkiem tika pārvestas uz Rumšišķu kapsētu.