Nella seconda metà del XV secolo gli Agostiniani di Cascia si lamentarono delle cattive condizioni in cui versava la chiesa, e la stessa fu restaurata dal Comune di Cascia nel 1525, poi nel 1630 non fu più facile mantenere un certo equilibrio con gli abitanti dei castelli vicini, così gli eremiti iniziarono ad abbandonare questo luogo. L'eremo fu oggetto di numerose dispute. Con il regno di Italia furono aboliti molti previlegi ecclesiastici e i beni comunitari della Frazione di Roccatamburo, furono ammnistrati dal Comune di Poggiodomo(1809). Nell'aprile 1809 due ragazzi di Roccatamburo scoprirono i resti della chiesa e davanti ai ruderi videro dipinta l'immagine della Madonna. Si sparse la notizia delle apparizioni miracolose, Mons. Ignazio Cadolini confermò invece che si trattava di un ritrovamento di antichi affreschi. Gli agostiniani di Cascia iniziarono a raccogliere soldi per ristrutturare la chiesa. L'eremo di S. Croce fu chiamato "Madonna della Stella" poichè la veste della Madonna dipinta sulla parete era dipinta con croci a forma di stelle. Gli abitanti dei paesi vicini, tutti con diverse motivazioni, rivendicarono il possesso dell'eremo. Nel 1970 con sentenza giudiziale passò definitivamente alla Amministrazione Separata dei Beni di Uso Civico di Rocchetta. L'ultimo eremita fu Frate Luigi Crescenzi da Poggiodomo, caduto per malore dall'alto della rupe. Le processioni dai paesi vicini erano molte ed andavano sempre più ad aumentare, così si presentò l'esigenza di dividere l'afflusso al santuario inziando dal mese di maggio, la prima domenica era ed è ancora riservata a Roccatamburo, la seconda a Poggiodomo, la terza a Mucciafora insieme al Comune di Cerreto di Spoleto. I devoti durante il pellegrinaggio usavano bagnare uno straccio sull'olio della lampada che era accesa davanti all'immagine, olio che serviva poi per ungere gli infermi. Molti sono gli ex voto a forma di cuore appesi alla parete per grazia ricevuta.