Per quasi tutto il 600, il palazzo rimase praticamente intatto, solo verso la fine del secolo una lunga serie di interventi edilizi caratterizzarono questo luogo. Nel 1710, con la morte di Girolamo Di Rovero, si parla per la prima volta di un palazzo con le forme attuali. I lavori furono definitivamente completati tra il 1784 e il 1790, con la nuova cedrera ai piedi del palazzo, nel momento del suo più grande splendore. La villa in quegli anni era divenuta luogo di cultura e scienza, costituendo anche il perno della vita economica, politica e giudiziaria. Fu per anni il cuore pulsante del paese