Ties Bagrėno kaimu, kairiajame Nemuno krante, stūkso du istoriniai piliakalniai. Nors apie juos žinoma nedaug, Bagrėno kaimas ir buvęs dvaras, kartu su netoliese esančiu Rūdupio kaimu, minimi jau nuo 1609 metų. Šie kaimai buvo karališki, todėl jų valstiečiai turėjo laisvę.
Žarijų piliakalnis įsikūręs Nemuno slėnio šlaite. Iš rytų ir vakarų jį supa gilios daubos, iš pietų – pelkėtas Nemuno slėnis, o iš šiaurės – dirbami laukai. Piliakalnyje vis dar matomas apie 20 metrų pločio įlinkimas, greičiausiai buvęs perkasas. Už jo yra 10 metrų aukščio ir 35 metrų ilgio pylimas, sudarytas iš tamsios žemės bei deginto molio. Už pylimo atsiveria aikštelė, kurios
pietinė dalis nuolaidžiai leidžiasi.
Piliakalnio šlaitai yra statūs, nuo Nemuno pusės jie siekia net 32 metrus. Dėl tankiai augančių medžių ir miškingos vietovės, piliakalnį pasiekti nėra lengva. Netoliese, ariamame lauke į šiaurės vakarus nuo piliakalnio, buvo rasta lipdytos, grublėtos ir žiestos keramikos fragmentų.
Pietryčiuose nuo pirmojo piliakalnio yra antrasis – Žarijų piliakalnis II su gyvenviete. Šis piliakalnis yra netaisyklingos formos, maždaug 150 x 280 metrų dydžio, apsuptas daubų. Piliakalnis turi aikštelę, kurios ilgis siekia apie 15 metrų, o plotis – 6-7 metrus. Pasakojama, kad šioje vietoje galėjo būti ginklų sandėliai arba net bažnyčia.