Veisiejai, įsikūrę dviejuose vaizdinguose Ančios ežero pusiasaliuose, nuo XVIII a. tapo svarbiu žydų bendruomenės centru pietų Lietuvoje. Ši teritorija buvo strategiškai patraukli naujakuriams, nes per Veisiejus ėjo pagrindinis prekybinis kelias į Seinus. Leidus Vilniaus vyskupui, XVIII a. pabaigoje čia buvo pastatyta sinagoga, todėl formavosi stipri žydų bendruomenė, kuri ženkliai prisidėjo prie miestelio ekonominio vystymosi.
Iki XIX a. pabaigos žydai sudarė didelę vietos gyventojų dalį ir veikė įvairiose srityse: nuo krautuvių
ir elektrinės iki kepyklų, mėsinių ir vaistinių. Įdomu tai, kad būtent žydų jaunimas įkūrė pirmąjį futbolo klubą, o šios tradicijos tęsiasi iki šių dienų su futbolo klubu „Dainava“.
1748 m. pastatyta sinagoga tapo šios vietovės religinio ir kultūrinio gyvenimo centru, nors gaisrų metu ji buvo kelis kartus atstatyta. Dabartinė medinė sinagoga, pastatyta 1927 m. ant Ančios ežero kranto, išsaugojo originalią architektūrą ir dabar tarnauja baptistų bažnyčiai, taip išlaikydama daugiakultūrio Veisiejų palikimą.