Na przestrzeni wieków zamek był twierdzą obronną, rezydencją, koszarami wojskowymi i miejscem muzeów i instytucji kulturalnych; przekształcenia jednego z najbardziej reprezentatywnych i popularnych zabytków Mediolanu były różnorodne i złożone.
Defensywny charakter tej rzucającej się w oczy struktury sprawił, że była ona celem wielu oblężeń, wyburzeń i kolejnych rekonstrukcji niektórych części podczas dominacji Francji, Hiszpanii i Austrii.
Wydarzenia zamku rozgrywają się w szerokim oknie historii miasta, począwszy od pierwotnego jądra zamku o nazwie Porta Giovia, datowanego na lata 1358-1368 w czasach Galeazzo II Visconti. Wykorzystywał zamek jako swoją rezydencję podczas pobytu w Mediolanie, ale przede wszystkim używał go jako garnizonu wojskowego.
Filippo Maria Visconti uczynił z niego swoją stałą rezydencję, kontynuując konsolidację i budowę prawdziwej fortalice. To Francesco Sforza, który został władcą Mediolanu w 1450 r., Dał szczególny impuls do odbudowy budynku, który został poważnie uszkodzony w latach 1447–1450.
Dziś zamek jest siedzibą muzeów obywatelskich, a od 1896 r. Jest gospodarzem jedna z największych kolekcji artystycznych w mieście. Wewnątrz Museo d’Arte Antica (Muzeum Sztuki Starożytnej) jest opiekunem ostatniego arcydzieła Michała Anioła, Pietà Rondanini. Znajduje się tam również Pinacoteca (Galeria Zdjęć), Raccolta di Mobili (Kolekcja Mebli), z elementami od 15 do 19 wieku; Rocchetta, gdzie można podziwiać Museo delle Arti Decorative (Muzeum Sztuk Dekoracyjnych), z jego ogromną kolekcją ceramiki; the Oreficerie (Goldsmiths); jedna z największych kolekcji instrumentów muzycznych w Europie; Arazzi Trivulzio (Trivulzio Tapestries); Armeria (Zbrojownia); Museo della Preistoria e Protostoria (Muzeum Prehistorii i Protohistorii); Museo Egizio (Muzeum Egipskie) i Sale Viscontee, sale wystawowe z okresowymi wystawami. Wreszcie wiele ważnych archiwów i bibliotek znajduje się na zamku: Biblioteca d'Arte (Biblioteka Sztuki), Archiwum Storico (Archiwum Historyczne), Biblioteca Trivulziana (Biblioteka Trivulziana), Biblioteca Archeologica e Numismatica (Biblioteka Archeologiczna i Numizmatyczna) , CASVA (Center for Advanced Study in the Visual Arts), Raccolta delle Stampe „Achille Bertarelli” („Achille Bertarelli” Print Collection), Archivio Fotografico (Photographic Archive) i Raccolta Vinciana (Vinciana Collection).
W 1521 r. centralna wieża zamku, w której przechowywano depozyt amunicji, zawaliła się w wyniku przypadkowego wybuchu prochu strzelniczego, prawdopodobnie spowodowanego uderzeniem pioruna.
W ciągu ostatnich 20 lat XIX wieku wysunięto wiele propozycji sugerujących wyburzenie całości lub przynajmniej części zamku. Na szczęście nie zostały one podjęte, a projekt restrukturyzacji budynku powierzono architektowi Luce Beltramiemu, już solidnemu obrońcy bastionu Sforza.
W 1893 r. architekt opracował plan rekonstrukcji oparty na dokumentach archiwalnych, obrazach i współczesnych tekstach literackich, które nakierowały go na rekonstrukcję filologiczną. Umożliwiło to odzyskanie dekoracji, które zostały wykorzystane w epoce Sforzów, pokrycie parapetów, zmianę położenia herbu władców Mediolanu i oczywiście odbudowę Torre del Filarete (Wieża Filarete) lub Torre Umberto I (Wieża Umberto I).
Torre del Filarete został całkowicie zrekonstruowany przez architekta Lucę Beltramiego na podstawie graffito znalezionego w Cascina Pozzobonelli (dom wiejski Pozzobonelli) iw opactwie. Z drugiej strony architekt przeprojektował okna i fasadę zamku od podstaw, inspirowany stylem wnętrza. Torre del Filarete zostało zainaugurowane 24 września 1904 roku, a następnie poświęcone Umberto I.
Zabytkowy park Visconti zmniejszył się na przestrzeni wieków, pozostawiając tylko zakurzony plac zwany Piazza d'Armi, który był wykorzystywany do celów wojskowych ćwiczenia. W latach 1891–1894 nadano mu nowe życie dzięki zaangażowaniu ówczesnej administracji miejskiej. Kosztował 1 700 000 lirów dnia na 21 hektarów zieleni zaprojektowanej przez architekta Emilio Alemagnę. Obecnie jest to Parco Sempione (Park Sempione).