В начале пятнадцатого века Палаццо Борромео был похож на «городское поселение», состоящее из ядра хозяина, вокруг которого были собраны небольшие дворы, офисы, склады, гостевые квартиры и более скромное жилье для подчиненных. Это дало престиж семье, из которой палаццо берет свое имя. Семья, которая переехала в Милан в конце четырнадцатого века и стала одной из ведущих семей миланской аристократии. Фактически, история Милана напоминает о важных фигурах, которые часто посещали палаццо, таких как Святой Карло Борромео, кардинал Федерико и Джован Баттиста, которые были советниками Франческо Сфорца.
Палаццо сильно пострадало от бомбежек во время Второй мировой войны и впоследствии было реконструировано Фердинандо Реджори. Здание сохранило оригинальный фасад в стиле семнадцатого века из кирпича, который включает в себя красивый арочный портал, состоящий из блоков розового мрамора из Кандоглии и красного мрамора из Вероны, украшенный полосой с изображением виноградных лоз и дубовых ветвей под гербом.
Фасад пятнадцатого века до сих пор стоит в главном дворе с шестью большими элегантными окнами, украшенными терракотой, с фризом из ряда переплетенных арок под подоконниками. Следы фрески все еще можно увидеть в штукатурке, и можно увидеть два из мотивов семейства Борромео: корона и слово «Humiltatis».