Il complesso è composto da due ville edificate in periodi diversi: la prima, risalente al XVI s., è rivolta a sud e conserva sulla facciata affreschi di Lattanzio Gambara, ma la più conosciuta è la villa settecentesca, denominata "il fresco", edificata sul versante nord del colle e collegata alla prima da un corridoio sotterraneo che ne trapassa la vetta. Il complesso assunse il nome di "Villa degli Armeni" alla fine del XVIII s., quando venne acquistato dai padri Mechitaristi Armeni dell'isola di S. Lazzaro