Alla fine del XIV secolo per i danni subiti dalle varie lotte per l'egemonia del territorio, come la distruzione di barche e arnesi da pesca, l'isola Polvere fu quasi totalmente abbandonata.
Solo nel Quattrocento gli ottantatre abitanti dell'isola decisero di erigere la rocca a loro difesa e del piccolo gruppo di religiosi olivetani che vi dimoravano.
Nel 1437 a causa del grande freddo e delle intense nevicate, le acque del lago Trasimeno si gelarono.
Nel XVII secolo la rocca divenne sede del Governatore del Lago, ma già da prima, quando i monaci si trasferirono, a causa della malaria e del clima umido, presso il monastero di Sant'Antonio, la rocca cominciò a decadere.
Dopo alcuni passaggi di proprietà a diverse famiglie importanti, nel XIX secolo l'ordine dei Camaldolesi vendette la rocca al conte Vincenzo Pianciani di Spoleto, che vi creò una riserva di caccia ricca di fagiani e lepri.
Per oltre mezzo secolo la famiglia Pianciani organizzò battute di caccia a cui partecipava tutta la nobiltà umbra e romana.
Nel 1939 il nuovo proprietario, Biagio Biagiotti, edificò nuovi fabbricati e strade, impiantando anche numerosi olivi.
Dal 1973 appartiene all'amministrazione Provinciale di Perugia, e nel 1974 è stata dichiarata oasi di protezione faunistica.