Il 21 febbraio 1552, data della posa della prima pietra, inizia la costruzione del convento e della Chiesa di Sant'Angelo, voluta dal governatore Ferrante Gonzaga in sostituzione dell’omonima chiesa abbattuta perché sul tracciato progettato per le nuove mura della città. Domenico Giunti, autore del progetto, concepì una chiesa a croce latina costituita di una sola navata, coperta da una volta a botte decorata con motivi geometrici. Le numerose cappelle ai lati della navata si arricchirono nel corso dei secoli di numerose opere d'arte, poi andate perse dopo la soppressione.
Anche il convento, che in origine presentava tre chiostri, tutti decorati con grandi cicli pittorici, andò perduto in seguito alla soppressione: un chiostro infatti venne adibito ad abitazioni private, gli altri due demoliti per lo stato di degrado. Il convento attuale venne costruito nel secolo scorso su progetto dell'architetto Giovanni Muzio.
Durante il periodo delle due grandi soppressioni dell'800 il convento di Sant'Angelo si svuota, i locali vengono assegnati dallo Stato al Tribunale Militare e la grande chiesa diventa una stalla per cavalli. Il complesso viene poi riscattato nel 1922.Di fronte alla chiesa nella piazza alberata si trova la fontana di San Francesco che parla agli uccelli, con i versi del Cantico delle Creature.