Non esistono attualmente opere visibili di fortificazione ma la tradizione situa il castello, o i due castelli come suggerirebbe il toponimo, sul luogo oggi occupato dalla chiesa di S. Giorgio e Adalberto, dal sagrato e da alcuni edifici. Tale localizzazione è accettabile per la presenza dell'iscrizione funeraria di Baldo da Castelli sul fianco della chiesa. Secondo una tradizione non verificabile, sembra che il campanile ottocentesco sorgesse sui resti di una torre. Nel corso di recenti lavori nella Chiesa di San Giorgio sono state rinvenute le fondazioni tardo rinascimentali o moderne dell'edificio, il quale peraltro sarebbe di origine medievale. All'esterno della chiesa è murata una lapide recante l'iscrizione funeraria di Baldo e Agnese da Castelli, lì sepolti; perciò, nel medioevo la chiesa venne utilizzata come cappella funeraria della famiglia signorile. Le colline fortificate di Monfumo sono ricche di scorci panoramici, esempi di architettura tradizionale, ville e palazzotti e di spunti naturalistici.