Palazzo Borea d'Olmo é uno dei piú importanti edifici barocchi della Liguria occidentale. Fu costruito a piú riprese a partire da un nucleo tardomedievale e assunse l'attuale fisionomia in piena epoca barocca, tra XVII e XVIII secolo. L'edificio é stato ininterrottamente abitato da membri della famiglia Borea d'Olmo, di origini venete, e di antico lignaggio, che la elesse a propria abitazione privata e da cui prese il nome. Dopo la graduale alienazione delle circostanti superfici a giardino, si trova attualmente ad essere direttamente prospicente, verso sud sulla via Matteotti, corso principale della città. I prospetti sono qualificati da un ampio cornicione di tipologia rinascimentale, che si armonizza con la decorazione barocca-manieristica. Sulle facciate sud e ovest si notano due bellissimi portali in marmo (con i portoni originali in legno, foderati in ferro a lamine borchiate) sormontati dalle statue marmoree della "Vergine con il Bambino" (prospetto) e del "S. Giovanni Battista" (lato via Cavour), opera dell'artista fiorentino Fra Giovanni da Montorsoli (1507-1563), in giovent? allievo prediletto e aiutante di Michelangelo e uno degli scultori della `scuderia Doria?, operante nel Palazzo del Principe a Genova. L'atrio monumentale, di puro stile genovese, presenta colonne e balaustre in marmo, una breve scalinata e un armonico gioco di volte. All'interno i locali che ospitano il Museo al secondo piano sono arricchiti da affreschi e inserimenti decorativi attribuibili al pittore Maurizio Carrega (1737 - 1818). Le volte dei saloni recano affreschi tardosecenteschi di Giovanni Battista Merano. Da notare all'interno, una minuscola cappella con altare marmoreo, con una statua della Vergine Immacolata avvicinabile allo scultore Giacomo Antonio Ponsonelli. Il Palazzo ha condiviso per piú secoli le vicissitudini della storia locale; ha ospitato una lunga serie di Principi, di sovrani e di uomini illustri: dalla regina Elisabetta di Spagna, al re Carlo Emanuele III, al Jean Honor Fragonard, al papa Pio VII, al principe Filippo di Edimburgo