Galerie se nachází v domě, kde 31 let působí Kino MAT, restaurace MAT a filmové střižny – to vše pod značkou MAT FILM RESORT.  Nyní se k nim přidává i galerie, aby pod jednou střechou vznikl prostor, kde se potkává filmové umění s dobrým jídlem a nově i s výtvarným uměním.
 
Galerie vznikla v prostorách bývalé kavárny a legendární videopůjčovny MAT (která je přemístěna do jiných prostor v domě).
 
Název J.A. Galerie MAT je poctou akademickému malíři Jiřímu Altmannovi (1942–2023), který byl nejen s MATem, ale hlavně s rodinou Mattlachových spjatý po mnoho let. Jiří Altmann byl významný český grafik, známý především svou mistrovskou dřevořezbou a dřevorytem, kterým se věnoval po celý život.