L'impostazione tardo rinascimentale, per la quale furono progettati anche splendidi giardini pensili e una peschiera ingentilisce l'edificio.
All' interno si trovano ampi saloni affrescati da Taddeo Zuccari,  la cappella dedicata a San Giovanni Battista, le segrete e le scuderie.
Le prime notizie storiche sul sito risalgono al 1206, quando una Bolla di Innocenzo III pose la pieve di S. Giovanni sotto la giurisdizione del vescovo di Perugia; questa nel 1394 fu occupata da nobili perugini fuoriusciti e nel 1396 venne fortificata con mura di cinta ed alte torri da Biordo Michelotti che nel castello celebrò fastosamente il suo matrimonio con una principessa Orsini.
Tra il 1560 e il 1570, per volere del cardinale Fulvio I Della Corgna, l'edificio fortificato fu trasformato in palazzo residenziale su progetto dell'architetto Galeazzo Alessi. Nella seconda metà dell'Ottocento fu residenza dell'arcivescovo di Perugia Gioacchino Pecci (poi papa Leone XIII).
Nell' Ottocento fu gravemente danneggiata mentre durante l'ultimo conflitto mondiale diventò sede di una guarnigione militare. Il castello fu poi abbandonato, vertendo in uno stato di quasi totale degrado fino a quando nel 1999 la Scuola  Edile di Perugia non ha dato inizio ai restauri. 
Dal maggio 2005  il Castello è  diventato sede  del Museo Diocesano Diffuso di Pieve del Vescovo.