Certamente a Calvagese vi furono insediamenti di coloni (ville) in epoca romana, dei quali sono stati ritrovati dei resti. Verso il decimo secolo venne costruito il Castello per ripararsi e difendersi dalle invasioni degli ungari. Anche a Mocasina nello stesso periodo venne costruita una rocca nella località denominata Torre che sovrastava il guado del fiume che collegava il proprio territorio con quello di Prevalle (al tempo Goglione di sopra e Goglione di sotto).

A Carzago il Castello ancora oggi testimonia con le sue mura la sua funzione di difesa contro le invasioni barbariche del medioevo. Si pone su un leggero rialzo del terreno e sovrasta il paese. Di forma quasi quadrata con quattro piccole torri circolari venne costruito alla "paesana" con ciottoli, senza regolarità Il "Mastio" si innalza sulla porta di ingresso a mezzogiorno ed è stato trasformato nel '500 in campanile.