Voluto sul finire del Quattrocento da Bartolomeo Ghisilardi, in un periodo di forte espansione edilizia cittadina, passò alla famiglia Fava a metà ‘500. Il palazzo, una delle migliori attestazioni dell’architettura rinascimentale cittadina, ha una facciata in laterizio con decorazioni in arenaria, un elegante porticato nel piano inferiore e due ordini di finestre e bifore nei piani superiori. Nel cortile, cinto da un elegante doppio ordine di archi, si trova la duecentesca Torre dei Conoscenti.
Durante alcuni scavi archeologici effettuati nel sottosuolo, sono stati rinvenuti resti della primitiva città, tra cui una porzione di strada pavimentata di età romana e resti dell’antica cinta muraria alto medievale.
Il palazzo oggi ospita il Museo Civico Medievale.