Il palazzo Bassi Rathgeb, sede del museo per lascito testamentario, ha mantenuto l'aspetto e la distribuzione di una struttura abitativa ricca di sedimentazioni che si sono sovrapposte dalla sua originaria costruzione, nel XVI secolo: una lunga storia
resa ancora più leggibile dopo l'attento intervento di restauro terminato nel 2000.
L'edificio viene eretto dai fratelli Zovannino e Bartolomeo Cassotti trasferitisi in città dalla valle Imagna nel 1506 per condurvi con più agio i loro commerci di tessili. Il progetto è affidato al più importante architetto rinascimentale bergamasco,
Pietro Isabello e le decorazioni ai Maironi da Ponte e a Donato Fantoni. Il corpo di fabbrica su via Pignolo risale al tardo Seicento, ma acquisisce l'attuale forma, insieme al salone d'onore e al cortiletto interno, col nuovo proprietario, il conte Giovanni
Mosconi, fra il 1736 e il 1741.
Il Palazzo passa ad Alberto Rathgeb nel 1891 e rimarrà ai suoi eredi fino al 1981, data della donazione di Roberto Bassi Rathgeb alla Diocesi con l'espressa indicazione di ospitarvi un Museo.
A questi due ultimi secoli si devono alcune decorazioni a tempera e a fresco, mentre architettonicamente tutto rimane come nel Settecento.
Benché si possano individuare gli interventi succedutisi nei secoli, il palazzo dopo il restauro presenta una grande eleganza ed armonia offrendosi ai visitatori come una delle testimonianze meglio conservate del Rinascimento architettonico bergamasco.
Suggestiva la veduta dal giardino e, all'interno,le decorazioni dei cassettoni e i loggiati.