La fortificazione di Cavaso, nominata nelle fonti a partire dal 1317, era bene della famiglia dei Da Castelli, e forse prima ancora dei Da Cavaso. Nell'ambito della guerra veneto-carrarese della seconda metà del XIV secolo, la struttura viene trasformata in bastia, cioè un luogo di momentaneo rifugio della popolazione e dei beni al riparo dalle scorrerie di eserciti nemici. Tra il 1381 e il 1388 sarà in mano carrarese poi passerà definitivamente a Venezia. Nel 1413 il Senato veneziano, che ordina la demolizione delle bastie sorte nel territorio, la risparmia tanto che nel 1420 vi è ancora un suo capitano, sebbene la fortificazione risulti in fase di declino e disattivazione. Sondaggi archeologici del tutto preliminari effettuati dall'Università di Padova e dalla Soprintendenza ai Beni Architettonici del Veneto (1996-1997) hanno permesso una prima ricostruzione della struttura fortificata: si tratta di un'ampia cinta muraria, che asseconda la conformazione del terreno, all'interno della quale è stata riconosciuta nell'angolo nordovest una torre quadrangolare.