Sempre secondo tradizione si sostiene che le torri del palazzo siano state ricostruite sui resti di rovine romane, in particolare un tempietto e un "ustrinum".
Il Palazzo raggiunse le dimensioni attuali intorno alla fine del XV e inizi del XVI secolo, per amore di Donna Felice o per opera del genero di lei Benedetto di Filippo di Benedetto (soprannominato “il Capra”, forse da qui il nome poi dato all'edificio), nipote dell’illustre giurista Benedetto dei Benedetti.
Il Palazzo è stata l'ultima dimora del conte Teodorico Moretti Costanzi, docente di filosofia Teoretica presso l'Università di Bologna e illustrissimo filosofo.
Il suo interno è degno di nota perchè ospita un importante affresco del famoso pittore Pietro Vannucci "Il Perugino".
L’apparato romano rinvenuto negli anni sotto il Palazzo di Tuoro, facilitano la sua associazione con il desiderio di conservare e onorare alcune reliquie della famosa battaglia del Trasimeno.
Anche per questo oggi il palazzo è sede del "Centro di documetazione della Battaglia del Trasimeno e Annibale".