Il palazzo venne edificato a partire dal 1631, per volere di Paolo Annoni, ricco commerciante di sete dell'epoca su progetto di Francesco Maria Richini: tale progetto è considerato uno dei suoi capolavori. Fu inoltre uno dei pochi palazzi ad essere costruiti durante la peste che colpì duramente la città. Tra il 1712 e il 1778 il conte Carlo Annoni trasformò la dimora in un centro artistico-culturale di prim'ordine, realizzando una ricca biblioteca e una collezione di dipinti comprendente opere di Rubens e Van Dyck, la quale fu successivamente sottratta dagli occupanti austriaci nel 1848. Le cronache seicentesche raccontano della rivalità tra la famiglia Annoni e la famiglia Acerbi, che possedeva il palazzo dirimpetto: le due famiglie iniziarono a darsi battaglia decorando sempre più fastosamente le loro dimore cittadine, abbellendo di volta in volta i propri palazzi per superare in bellezza i rivali.La facciata del palazzo è composta da due ordini di finestre con timpani curvi e triangolari alternativamente ed è delimitata da lesene bugnate. Al centro della facciata si trova il portone di ingresso principale, limitato da due colonne che sorreggono il balcone centrale del piano nobile. A delimitare l'ingresso all'interno dell'edificio vi è un seicentesco cancello in ferro. Il cortile interno è impostato su colonne tuscaniche; al primo piano le finestre architravate sono divise da da lesene in stile ionico, mentre le piccole finestre quadrate dell'ultimo piano sembrano formare un fregio decorativo.
Il palazzo ha subito varie opere di ammodernamento all'inizio del diciannovesimo secolo e un ultimo restauro tra il 1955 e il 1961: il palazzo fu gravemente danneggiato durante la seconda guerra mondiale, e degli originari interni fastosi non resta che lo scalone d'onore.