Di origine quattrocentesca (il cortile del portone al numero 6 conserva l'armonioso portico rinascimentale e gli stemmi viscontei), il palazzo subì nel 1844 un greve intervento di ristrutturazione, con l'aggiunta di una sovraccarica facciata neoclassica disegnata da Francesco Turconi.
Come ricorda una lapide, nell'edificio abitò talvolta («si rifugiò») anche Giacomo Puccini.
Un bellissimo salone da ballo andò perduto in seguito ai bombardamenti del 1943.