Budowa domu Gąski została zlecona przez radnego miejskiego, Stanisława Gąskę. Według tradycji król Szwecji Karol Gustaw mieszkał tam dwukrotnie; pod koniec XVIII wieku była to apteka Christiana Valentino a pod koniec XIX wieku skład piwa. Po II wojnie światowej został przekazany państwu. W 1954 roku został gruntownie wyremontowany i przystosowany do celów wystawienniczych.
Oryginalny Dom Esterki uważany był za jeden z najstarszych murowanych budynków mieszkalnych w Radomiu. Jego budowę zlecił Ignacy Gaczkowski, mieszczanin radomski. Nazwa zwyczajowa budynku wiąże się legendarną postacią Estery – Żydówki mieszkającej w Radomiu w okresie Potopu. Według podania miała ona odrzucić zaloty niekulturalnego szwedzkiego rajtara z gwardii przybocznej rezydującego w Radomiu Karola Gustawa. Innym wytłumaczeniem obecnej nazwy może być też dziewiętnastowieczna moda na nazywanie starych kamienic w miastach lokowanym przez Kazimierza Wielkiego imieniem Estery (Kazimierz Wielki nigdy się nie ożenił, ale słynął z wielkiej ilości kochanek, najbardziej znaną, legendarną kochanką była właśnie Esterka). W czasie okupacji niemieckiej został rozebrany do piwnic. W latach pięćdziesiątych odbudowano go ze środków Funduszu Społecznego Odbudowy Stolicy (reprezentuje to kamienna tablica na fasadzie). Zrekonstruowany budynek nie jest wierną kopią swojego poprzednika, wyglądem przypomina dom Gąski.
W latach 1975-1990 w obu budynkach swoją siedzibę miało Biuro Wystaw Artystycznych. W latach 1990-2018 mieściło się w Domu Gąski i Esterki – Muzeum Sztuki Współczesnej, obecnie jej zbiory zostały przeniesione do Mazowieckiego Centrum Sztuki Współczesnej „Elektrownia” a budynki zostaną poddane generalnemu remontowi.