Na początku XV wieku Palazzo Borromeo przypominało „osadę miejską” składającą się z jądra właściciela, wokół której zgromadzono mniejsze podwórka, biura, magazyny, apartamenty gościnne i bardziej skromne mieszkania dla podwładnych. To dało prestiż rodzinie, od której pochodzi nazwa pałacu. Rodzina, która przeprowadziła się do Mediolanu pod koniec XIV wieku i stała się jedną z wiodących rodzin mediolańskiej arystokracji. W rzeczywistości historia mediolańska przypomina ważne postacie, które uczęszczały do ​​pałacu, takie jak św. Carlo Borromeo, kardynał Federico i Giovan Battista, którzy byli doradcami Francesco Sforzy.
Palazzo zostało poważnie uszkodzone przez bombardowanie w II wojnie światowej, a następnie zrekonstruowane przez Ferdinando Reggiori. Budynek zachował oryginalną XVII-wieczną fasadę z odkrytej cegły, która obejmuje piękny portal łukowy, składający się z bloków różowego marmuru z Candoglia i czerwonego marmuru z Werony, ozdobiony opaską przedstawiającą winorośle i gałęzie dębowe pod herbem.
Fasada z XV wieku nadal stoi na głównym dziedzińcu z sześcioma dużymi eleganckimi oknami zdobionymi terakotą z fryzem z szeregu przeplatanych łuków pod parapetami. Ślady fresku wciąż można zobaczyć na tynku i można dostrzec dwa motywy rodziny Borromeo: koronę i słowo „Humiltatis”.