Městská knihovna na Mariánském náměstí byla postavena v letech 1925–1928 podle projektu architekta Františka Roitha, žáka profesora vídeňské akademie Otto Wagnera. Budova byla koncipována jako kulturní instituce s širokými možnostmi svého využití včetně výstavních, přednáškových a koncertních sálů.

  
Ve východním křídle stavby je umístěn reprezentační byt pražského primátora zařízený ve stylu art deco. Architektura budovy vychází z racionalisticky pojatého půdorysu a jednoduchého rozvržení hmoty. Nad hlavním vchodem a balkónovou balustrádou jsou umístěny alegorické sochy od Ladislava Kofránka. Fasáda budovy je pokryta travertinem, který se spolu s mosazí a umělým kamenem uplatňuje i ve výzdobě interiéru. Autorem ornamentálně geometrického dekoru na stropě centrální haly je František Kysela.
 
Rozsáhlé výstavní prostory ve II. patře získala GHMP v roce 1992. Po jejich rekonstrukci zde pořádá reprezentativní výstavy. Součástí úprav bylo i nové výtvarné řešení hlavního vstupu do Galerie z Valentinské ulice od architekta Vlado Miluniče z roku 1996.