Door de eeuwen heen is het kasteel een verdedigingsfortress, een woning, militaire kazerne en de site van musea en culturele instellingen;De transformaties van een van de meest representatieve en populaire monumenten van Milaan zijn verschillende en complex geweest.
Het defensieve karakter van deze opvallende structuur maakte het een doelwit voor veel belegeringen, sloop en opeenvolgende reconstructies van sommige delen tijdens de Franse, Spaanse en Oostenrijkse overheersing.
De gebeurtenissen van het kasteel ontvouwen zich in het brede raam van de stad, beginnend met de originele kern van het kasteel, genaamd Porta Giovia, die dateerde uit 1358-1368 in de Times of Galeazzo II Visconti.Hij gebruikte het kasteel als zijn woning tijdens zijn verblijf in Milaan, maar bovenal gebruikte hij het als een militair garnizoen.
Filippo Maria Visconti maakte het zijn vaste woning en ging door met de consolidatie en de bouw van een echte fortalice.Het was Francesco Sforza die, nadat hij in 1450 heerser van Milaan was geworden, met name een impuls gaf aan de reconstructie van het gebouw dat ernstig werd beschadigd tussen 1447 en 1450.
Vandaag is het kasteel de thuisbasis van de Civic Museums en sinds 1896 heeft het georganiseerdEen van de meest artistieke collecties in de stad.Binnen is het Museo d'Arte Antica (Museum of Ancient Art) de bewaarder van het laatste meesterwerk van Michelangelo, de Pietà Rondanini.Het organiseert ook de Pinacoteca (Picture Gallery), RacColta di Mobili (meubelcollectie), met stukken van de 15e tot de 19e eeuw;De Rocchetta, waar men het Museo Delle Arti Decorative (Museum of Decorative Arts) kan bewonderen, met zijn extreem enorme verzameling keramiek;de oraficerie (goudsmeden);een van de grootste verzameling muziekinstrumenten in Europa;de Arazzi Trivulzio (Trivulzio -wandtapijten);de Armeria (Armory);het Museo della preistoria e Protostoria (het Museum voor de prehistorie en protohistorie);Het Museo Egizio (Egyptisch museum) en de verkoopviscontee, tentoonstellingsruimtes met periodieke displays.Ten slotte bevinden veel belangrijke archieven en bibliotheken zich in het kasteel: Biblioteca d'Arte (Library of Art), The Archivio Storico (Historic Archive), de Biblioteca Trivulziana (Trivulziana Library), de Biblioteca archeologica E Numismatica (Archaeical and Numismatics Library), C. A. S. V. A. (Center for Advanced Study in the Visual Arts), RacColta Delle Stampe "Achille Bertarelli" ("Achille Bertarelli" Print Collection), Archivio Fotograficico (Photographic Archive) en de RacColta Vinciana (Vinciana Collection).
In 1521 stortte de centrale toren van het kasteel, waar een afzetting van munitie werd vastgehouden, ingestort vanwege een toevallige pistoolpoeder -explosie, mogelijk veroorzaakt door een blikseminslag.
In de laatste 20 jaar van de 19e eeuw werden veel voorstellen naar voren gebracht die de sloop van het geheel, of op zijn minst een goede deel van het kasteel, suggereren.Gelukkig werden deze niet opgenomen en werd het project voor de herstructurering van het gebouw toevertrouwd aan architect Luca Beltrami, al een stevige verdediger van het Sforza Bulwark.
In 1893 bedacht de architect een reconstructieplan gebaseerd op archiefdocumenten, schilderijen en hedendaagse literaire teksten die hem naar een filologische wederopbouw hebben gericht.Het voorzag in het herstel van decoraties die werden gebruikt tijdens het tijdperk van de sforzas, de bedekking van de borstwandelingen, de herpositionering van het wapen van de heersers van Milaan en natuurlijk de wederopbouw van de Torre del Filarete (Filarete Tower)of de Torre Umberto I (Tower of Umberto I).
De Torre del Filarete werd volledig gereconstrueerd door architect Luca Beltrami gebaseerd op een graffito gevonden in de Cascina Pozzobonelli (Pozzobonelli -boerderij) en in een abdij.Aan de andere kant heeft de architect de ramen en de gevel van het kasteel helemaal opnieuw ontworpen, geïnspireerd door de stijl van interieur.De Torre del Filarete werd ingehuldigd op 24 september 1904 en werd vervolgens gewijd aan Umberto I.
Het antieke Visconti Park werd door de eeuwen heen in grootte verminderd, waardoor alleen een stoffig piazza werd genaamd Piazza d'Armi, dat werd gebruikt voor militairoefeningen.Tussen 1891 en 1894 kreeg het nieuw leven dankzij de inzet van de gemeentelijke administratie op dat moment.Het kostte 1, 700, 000 lira van de dag voor 21 hectare groene ruimte, ontworpen door de architect Emilio Alemagna.Het is nu Parco Sempione (Sempione Park).