Ascanio, nel 1550, era stato nominato dallo zio Giulio II governatore perpetuo di Castel della Pieve, antico nome di Città della Pieve, e riuscì a mantenere il palazzo fino al 1571, anno della sua morte. Dalle fonti sappiamo che era anche dotato di un bellissimo giardino, di cui oggi poco rimane. Attualmente di proprietà municipale, è stato restaurato sia nella struttura edilizia che nell’apparato decorativo. Tutte le decorazioni a rilievo della facciata sono realizzate in pietra serena e mostrano evidenti segni di degrado, essendo questo materiale molto poco resistente agli agenti esterni. All’interno sia le volte delle sale che quelle delle scale sono coperte da affreschi. Al primo piano, in cui si trovano gli ambienti di rappresentanza e l’appartamento di Ascanio della Corgna, le volte sono affrescate da Niccolò Circignani detto il Pomarancio raffiguranti il Concerto di Muse e datati al 1564. Il piano terra, invece, che fungeva da parte “segreta” del palazzo, di solito usata come luogo di svago intellettuale, si pensa affrescata da Salvio Savini che vi dipinse un Convito degli Dei. Attualmente il palazzo insieme all'oratorio di Santa Maria dei Bianchi, alla chiesa di San Pietro e alla chiesa di Santa Maria dei Servi fa parte del Circuito Museale Aperto cittadino. All'interno del palazzo ha sede la biblioteca comunale "Francesco Melosio".