Proprio ai piedi dell'Abbazia, s'eleva maestoso il Palazzo Barberis Rusca, sobrio e armonioso, costruito da Francesco Fadda nella seconda metà del Seicento, come conclusione della fabbrica di panni di sua proprietà. Alcuni studiosi pensano che qui abbia avuto residenza il cardinal San Carlo Borromeo (1538-1584). In seguito nel 1740 l'edificio fu acquistato dalla società Tron-Stahl, per poi essere venduta nei primi anni dell'Ottocento a Lorenzo Colles. La facciata presenta nella parte centrale una trifora centinata accompagnata su ciascun lato da finestre ugualmente centinate. Nel cortile interno appare un arioso loggiato affrescato poggiato su archi sostenuti da pilastri bugnati. La rimanente parte è costituita da una lunga serie di archi a tutto sesto sorretti da colonne. E' visitabile su richiesta.