O edifício que o museu ocupa, foi construído em 1918 por ordem de Jorge O'Neil (também responsável pela edificação da Torre de São Sebastião), no Monte Estoril, na altura a Torre de São Patrício, atual Casa Verdades de Faria. O projeto foi desenhado por Raul Lino e o seu interior decorado com estuques pintados, vitrais e azulejos setecentistas.
Por volta de 1942, Enrique Mantero Belard adquiriu a Torre de S. Patrício onde a sua mulher, Gertrudes Verdades de Faria, apaixonada por arte, promovia reuniões sociais e serões culturais, tendo exercido um importante trabalho de apoio e incentivo a profissionais do mundo artístico.
Após a morte da mulher, Mantero Belard beneficiou diversas instituições em testamento, entre elas a Câmara Municipal de Cascais, a quem legou a sua propriedade no Monte Estoril, para que viesse a constituir uma Casa-Museu e Jardim Público, de nome Verdades de Faria.