Única instituição museológica no concelho de Cascais durante meio século, é um festim para os sentidos e vale pelo edificado e pelas coleções raras que guarda. O seu estilo Casa de Veraneio neorromânica, neogótica, neoárabe e neomanuelina, é marcado pelo interior mantido tal qual os seus proprietários o deixaram. Aí se destacam móveis indo-portugueses, uma coleção de esculturas, porcelanas do século XVII da dinastia Qing e tapeçarias de seda orientais. Como se tudo isso não bastasse, a sua própria história e a dos seus proprietários é épica.

Inicialmente conhecido por "Torre de S. Sebastião", o edifício foi mandado construir em 1900 por Jorge O'Neill, um aristocrata amigo do Rei Carlos. O'Neill pediu a Raul Lino, um dos mais reputados arquitetos da época, para projetar esta sua nova casa.

Após ganhar uma enorme fortuna com a importação de tabaco, O'Neill foi à falência dez anos mais tarde e vendeu a casa ao Conde Manuel de Castro Guimarães, que ali também deixou a sua marca pessoal. O Conde morreu em 1927 e legou em testamento ao povo de Cascais a "Torre de S. Sebastião", os objetos de arte e livros, para nela se instalar um Museu Municipal e Biblioteca Pública para usufruto da população. Aberto oficialmente ao público em 1931 do seu núcleo bibliográfico destaca-se a Crónica de Dom Afonso Henriques, de Duarte Galvão, obra do século XVI com iluminuras atribuídas a António de Holanda.

Manuel de Castro Guimarães era colecionador e um apaixonado por música. Em 1912, instala um órgão com 1170 tubos na atual Sala da Música. Ao alterar a estrutura do teto, por questões de acústica, aproveita para mandar decorá-lo com os brasões da sua família.

A Direção Geral do Património Cultural descreve o edifício como sendo da chamada arquitetura de veraneio que combina chaminés do tipo de palácios medievais, torres fortificadas, janelas ogivais, arcadas manuelinas, cúpulas de feição bizantina, varandas italianas e os característicos alpendres minhotos".

O acervo do Museu-Biblioteca é essencialmente constituído por pintura portuguesa e estrangeira dos séculos XVII a inícios do século XX, escultura portuguesa e francesa do século XVIII ao século XIX, mobiliário nacional e estrangeiro dos séculos XVII ao século XIX e um conjunto de móveis indo-portugueses do século XVII e peças lacadas chinesas do século XVIII/XIX.

Destaca-se igualmente o importante núcleo de ourivesaria com punções portuguesas, brasileiras e francesas dos séculos XVII ao XIX, porcelanas orientais, com várias peças armoriadas e núcleos de têxteis, leques, vidros e cristais, de armaria, de peças egípcias, epigrafia, arqueologia, entre outros conjuntos de objetos. O seu núcleo bibliográfico é constituído por cerca de 2.830 volumes, incluindo iluminuras do século XVI.

O nosso "poeta fingidor", Fernando Pessoa, ainda antes de ter obra publicada, "fingiu" tão completamente que queria ser conservador deste museu que concorreu ao cargo em 1932, mas foi recusado por falta de qualificações. O museu não parece ter perdido muito, mas as letras nacionais ganharam um dos seus maiores vultos. Em setembro de 2013, quase como que num ato de contrição, foi ali recriado em exposição o que poderia ter sido o gabinete de trabalho de Fernando Pessoa.

Ao contrário dele, João Couto, o pintor Carlos Bonvalot, o escritor Branquinho da Fonseca e Maria Alice Beaumont exerceram com grande mérito essa função.

O Museu oferece visitas e um mundo de atividades dirigidas a todas as faixas etárias. Uma das suas atrações é a subida ao torreão, onde é possível subir ao varandim e desfrutar de uma visão panorâmica de Cascais a 360 º.

Na última década, mais de 373 mil visitantes nacionais e estrangeiros puderam apreciar a beleza e extravagância deste grande museu português.

Como foi sua vontade expressa, os Condes estão sepultados no limite do antigo jardim, integrado no atual Parque Marechal Carmona.