Dům čp. 54 je jednopatrová budova nepravidelného půdorysu s malým dvorkem, která se svou severní stranou přímo napojuje na původní gotickou radnici na Žižkově náměstí.  Nejstarší historické zprávy k domu pocházejí z první poloviny 16. století (roku 1551 je dům uváděn jako nově vystavěný při zdech rathouzních). Jediným zbytkem historického stavu v průčelí je dnes obloučkový štít táborského typu, orientovaný do čela ulice. Do domu se vchází kamenným gotickým portálem se zkosenými hranami, na který navazuje síň se schodištěm do patra a vstupem do sklepa. Jedna z místností ve vstupním podlaží je klenuta složitou sítovou hřebínkovou klenbou, další křížovými hřebínkovými klenbami. Jde o historicko-architektonicky vysoce hodnotný objekt, který byl v průběhu své existence několikrát přestavován.

Při generální rekonstrukci byla v roce 1995 zjištěna historická jímka. Nacházela se v zadním traktu domu, na konci chodby, západně přiléhající k menšímu čtvercovému dvorku. Jímka měla kvadratický půdorys cca 2 × 2 metry a dosahovala hloubky 6 metrů. Horní polovina jímky byla roubena kameny, spodní část byla vytesána ve skále.

Obsah jímky tvořily stovky předmětů, které představují dosud historicky nejmladší soubor hmotné kultury, získaný při archeologickém výzkumu Tábora. Jímka byla zanášena odpady a nepotřebnými věcmi z vybavení domu po dobu více než 200 let, a to nejméně od 16. století do konce 18. století. Kromě běžného sortimentu, jako byla kuchyňská a stolní keramika, výrobky ze dřeva, kůže apod., se v souboru vyskytují pozůstatky kachlových kamen, soupravy skleněných nádob, zavírací a příborové nože a mnoho dalšího. K unikátům pak lze řadit dřevěnou část křesadlové pušky, železnou rukavici z plátového brnění, či desítky pečetí, svědčící o rozsáhlé administrativní agendě, která byla před několika staletími v domě vyřizována.

V 16. až 18. století v domě bydlelo mnoho významných táborských osobností. Od konce 19. století dům vlastnila obec Táborská, dnes je majetkem města Tábora. V roce 1997 byl dům kompletně zrekonstruován a slouží k bydlení táborským obyvatelům.