Costruito nella seconda metá del XVII secolo per due fratelli della famiglia Brignole-Sale - e questo spiega la presenza di due piani nobili - Palazzo Rosso, che deve il soprannome al colore degli intonaci esterni, é una delle piú grandi e importanti antiche residenze aristocratiche cittadine.
Il secondo piano nobile, l'unico ad essere stato effettivamente abitato, venne decorato fra Sei e Settecento da un importante ciclo di affreschi ad opera dei migliori talenti della scuola genovese: D. Piola, G. De Ferrari, P.G. Piola, G.A. Carlone, B. Guidobono, D. Parodi.
Oggi, dopo il filologico restauro condotto nel dopoguerra da Franco Albini, il palazzo si presenta sotto il duplice aspetto di moderna pinacoteca per ció che riguarda la collezione di dipinti raccolti nell'arco di piú di due secoli dai Brignole-Sale - opere di Dürer, Guercino, Veronese, Reni, Preti, Strozzi - e di fastosa dimora nobiliare potendo affiancare tavoli da muro, specchiere, ceramiche e preziosi arredi del secolo XVIII a una serie eccezionale di ritratti di famiglia via via dipinti da Van Dyck, Rigaud, Von Maron, Gros.