Principale artefice di questi lavori fu il lombardo maestro Battaglia di Pietro, molto attivo a Spello nella seconda metà di quel secolo il quale provvide, tra l'altro, alla demolizione della scala rampante che dava accesso al primitivo palazzo. Al suo posto fu costruita una fontana, tuttora esistente, con i rilievi e lo stemma di Giulio III (1550-1555). Nel secolo XVII l'abate Ferdinando Passerini provvide a trasformare parzialmente l'atrio del palazzo in una sorta di lapidario, com'è tuttora, dove vennero raccolte molte delle iscrizioni romane e di età medievale scoperte nel territorio comunale. L'edificio è stata sede del Comune di Spello fino al 1972. Dalla loggia si accede alla Sala delle Volte (impropriamente detta “della Cripta”), attualmente sede del Museo dell’Infiorata.