Ten imponujący barokowy budynek został zaprojektowany w 1572 r. Przez Martino Bassi dla Towarzystwa Jezusowego i kontynuowany przez Francesco Marię Richino, ale w rzeczywistości ma dużo starsze pochodzenie. Jego historia rozpoczęła się w XII wieku, kiedy w pobliżu trawiastej polany wzniesiono klasztor na rozkaz Humiliati. W 1229 r. Zbudowali kościół Santa Maria di Brera, który został ukończony w 1347 r. Zaginiona, ale słynna fasada pałacu została zaprojektowana przez Giovanniego di Balduccio, a jej pozostałości są przechowywane w Zamku Sforzów. Kiedy biskup Carlo Borromeo stłumił zakon, klasztor został przekazany jezuitom. Po rozwiązaniu tego rozkazu w 1773 r. Rząd Marii Teresy postanowił zezwolić państwowym szkołom naukowym na wykorzystanie go. Począwszy od ceglanej fasady na ulicy, przechodząc przez piękny portal Piermarini, można dotrzeć do barokowego dziedzińca, który graniczy z dwoma piętrami serliańskich okien i wyświetla brązową statuę Napoleona autorstwa Canovy w jej centrum. Od posiadania prostej kolekcji odlewów gipsowych, druków i obrazów wykorzystywanych jako modele dla studentów Akademii, Galeria Sztuki została powiększona o skarby zdobyte przez Napoleona z kościołów i klasztorów w północnych Włoszech. W przeciwieństwie do innych ważnych włoskich muzeów, galeria nie powstała z prywatnego, ale politycznego i publicznego zbierania.
Później Galeria została otwarta dla publiczności i dziś mieści arcydzieła sztuki włoskiej i zagranicznej, od średniowiecza po sztukę współczesną, z ważnymi arcydziełami renesansu.
Na pewno warto zatrzymać się, aby zobaczyć wspaniałe sale biblioteki, w szczególności salę Marii Teresy, czytelnię lub salę katalogową. Instytucja narodowa może się poszczycić bogatą posiadłością antyczną i osiemnastowieczną, która dotarła tu z pełnym prawem dzięki ówczesnym dyrektywom rządowym, a także naturalnie jej współczesnym kolekcjom i bibliotece gazet.

Dziś można podziwiać fragmenty gotyckich fresków z sklepieniami przypisanymi malarzowi Giusto de Menabuoi. Są częścią XIV-wiecznego kościoła Santa Maria, który został przekształcony na początku XIX wieku, aby dostosować się do nowych wymagań. Udaj się do sal wykładowych Akademii na poziomie ulicy, a pośród tłumów studentów idź do sal scenograficznych Dipartimento di Progettazione e Arti Application dell’Accademia (Wydział Planowania i Sztuki Stosowanej Akademii).