Affacciato su Piazza Maggiore, in realtà questo edificio non è un vero e proprio palazzo. Si tratta, infatti, di una quinta scenografica costruita per armonizzare le facciate della vecchie case di Piazza Maggiore, oltre che per nascondere le viuzze e il Mercato di mezzo.
La sua prima realizzazione risale al 1412, e qui vi stavano i banchi dei cambiavalute, da cui il nome. Tra il 1565 e il 1568, Jacopo Barozzo, più noto col nome di Vignola, realizzò questa facciata scenica, con un portico di 15 archi e lesene giganti, e due accessi su via delle Pescherie vecchie e via Clavature, evidenziati da volta più ampie e monumentali.