Nel primo Quattrocento il Palazzo Borromeo si presentava come un'articolata “cittadella” costituita da un nucleo padronale, a cui erano aggregate corti minori, uffici, magazzini, appartamenti per gli ospiti e le più modeste abitazioni destinate ai subalterni. Esso dava lustro alla famiglia da cui prende il nome, che si trasferì a Milano sul finire del Trecento e diventò uno dei casati di spicco del patriziato Milanese. La storia meneghina ricorda infatti figure come San Carlo Borromeo, il Cardinale Federico e Giovan Battista che fu consigliere di Francesco Sforza.
Il palazzo fu gravemente danneggiato dai bombardamenti della seconda guerra mondiale e ricostruito ad opera di Ferdinando Reggiori. Dell'aspetto originale l'edificio conserva la facciata, di stile secentesco, con mattoni a vista, che ingloba il bellissimo portale a sesto acuto, composto da blocchi di marmo rosa di Candoglia e rosso di Verona, ornato da una fascia raffigurante tralci di vite e rami di quercia e sormontato da uno stemma araldico.
Nel cortile d'onore si conserva ancora una facciata quattrocentesca in cui si aprono sei grandi ed eleganti monofore archiacute decorate in cotto e, sotto i davanzali delle stesse, si trovano un fregio decorato e una fila di archetti intrecciati. Nell'intonaco si possono ancora ammirare le tracce di un affresco e si intravedono due motivi della famiglia Borromeo: la corona e la scritta “Humiltatis”.