Attorno al 1350 i perugini realizzarono il Casserum parvo, ovvero il Casseretto, cioè un fortilizio più piccolo all’interno della più ampia fortezza del Cassero, assieme all’omonima torre, probabilmente sfruttando precedenti costruzioni. Il Casseretto, ultimo baluardo difensivo del paese, era una struttura davvero imponente, come testimoniano le alte mura, oggi in parte crollate, che lo circondano. Era dotato di un pozzo per rendere autosufficiente dal punto di vista idrico la struttura anche in caso di lunghi assedi. All’esterno della torre si notano l’apertura che consentiva l’accesso agli spalti e diverse feritoie, mentre all’interno sono visibili i buchi dove erano alloggiate le mensole che sostenevano i ballatoi lignei. La scala di accesso che conduce al primo piano è più tarda e risale al XVIII secolo. Anche la campana fu aggiunta solo nel 1800 assieme alla struttura a vela che la sostiene. Vista l’ampiezza dell’interno è ipotizzabile un uso abitativo della torre e pare che in età medievale essa servisse anche da prigione. Nell’area del Casseretto, assieme ai resti di costruzioni di età medievale, è stato rinvenuto un gran numero di reperti ceramici e scarti di fornace che testimonierebbe la presenza di strutture per la produzione di maioliche ed invetriate.

Il complesso del Cassero domina l’intera Valdichiana e conserva ancora le caratteristiche originarie e il fascino di struttura difensiva medievale. Il suo profilo inconfondibile e univoco lo rende il principale riferimento e il vero simbolo di Castiglion Fiorentino.
Già nell’VIII secolo a.C un villaggio di capanne occupava l’intera collina che venne poi cinta da una spessa cortina muraria a difesa dell’antica acropoli dell’oppidum etrusco; al centro sorgeva lo splendido santuario di V secolo a.C, portato alla luce da un complesso scavo archeologico.
L’assetto attuale del Cassero è il risultato delle trasformazioni eseguite a partire dall’XI secolo, quando l’area diviene sede di un castello a controllo di antichissimi e importanti tracciati viari, lontano dalle zone impaludate ma abbastanza vicino da poterne sfruttare le ingenti risorse ittiche.