Il Colle del Rivellino, o di S. Ermete, costituiva una parte integrante dell’area urbana di epoca etrusca, romana e medievale.
Dalla metà del XIII secolo è occupato dalla mole del palazzo fortificato sede del Consiglio e del Priore, ora ridotto ad una sezione dell’alto muro occidentale con i caratteristici merli a coda di rondine e ad un camminamento perimetrale superiore al quale si accede tramite una torretta circolare su mensola (unico esempio del genere presente nel centro Italia).
Costruito nel corso del decennio ghibellino, tra il 1253 e il 1263, fino alla fine del XV secolo ha rappresentato la sede del Podestà, sostituito in seguito dall’attuale palazzo comunale.
