Il Castello fu ampliato da Pio Enea II nel corso del 1600 ed impreziosito di numerose importanti collezioni, tra le quali la fornitissima armeria. L’ultimo rappresentante della famiglia degli Obizzi, Tommaso, si impegnò ad arricchire le collezioni del Castello e ad organizzarle all’interno di una galleria creata appositamente, ove vennero riuniti i reperti archeologici raccolti.  Tommaso morì nel 1805 lasciando in eredità agli Estensi una dimora dotata di un museo talmente ricco (ospitava anche un fregio del Partenone), da essere considerato una delle meraviglie dello Stato Veneto. Il Castello passò poi alla famiglia degli Asburgo che lo spogliò quasi completamente delle sue collezioni trasportandole a Vienna e al Castello di Konopischt presso Praga. Dopo la prima guerra mondiale, il complesso venne ceduto al Governo italiano che lo vendette nel 1929 alla famiglia dei Dalla Francesca, attuale proprietaria.