Alla fine del ‘400 la sommità della cinta muraria era percorribile attraverso un cammino di ronda, mentre un fossato cingeva il castello. Agli inizi del XV secolo il castello fu occupato, dopo il precedente e fallito tentativo di Galeotto, dai Malatesta, che consolidarono la fortificazione, costruendo una rocca che ora è inglobata nel Palazzo del Municipio. Il documento iconografico più interessante che ci aiuta a ricostruire la fisionomia del castello è un dipinto della metà del 1500 in cui è raffigurato San Vito che ha in mano il castello stesso. L’aspetto generale è ancora medievale, ma si differenzia per i lavori di ampliamento del palazzo comunale con un corpo di fabbrica con tre livelli più il sottotetto, i piani corrispondono a quelli attuali. All’inizio del 1600 il palazzo subisce diversi lavori di ristrutturazione e modifiche compresa la costruzione di una nuova facciata e la costruzione di una nuova torre campanaria che vanno ad inglobare le strutture medievali compresa la porta del castello. Le notizie sull’utilizzo dei locali ci indicano una vita castellana condizionata da ambienti ristretti, chiusi, spesso malsani con un utilizzo delle stanze promiscuo e confuso. Nel ‘700 con la costruzione della nuova chiesa collegiata di S. Pietro si avvia la trasformazione urbana più significativa. Viene infatti aperta definitivamente la cerchia muraria e la forma chiusa ellittica delle mura si sfalda per fare posto ad un grande tempio e a un nuovo campanile. Nel 1710 viene chiuso fossato sotto le mura, luogo insalubre dove spesso veniva radunato il bestiame, di conseguenza la strada che lambisce a sud sudest le mura diventa la Via Grande. Nello spazio antistante la vecchia porta si realizzerà “il muraglione” che serve a diminuire l’eccessiva pendenza della piazza. A metà del XVIII sec. il Consiglio decide di fare nuove stanze sopra il palazzo e fa ricostruire le scale in pietra, contemporaneamente proseguono i lavori della nuova fabbrica in direzione est, annessa alla vecchia. Nella sala consiliare si conservano sette tele di prospettive architettoniche, attribuite al pittore ed architetto Lorenzo Daretti attivo nella seconda metà del XVIII secolo. Le opere presentano una solida costruzione generale con ricchezza di dettagli architettonici e grande accuratezza nell’esecuzione. La sala consiliare e altre stanze minori del primo piano presentano soffitti affrescati su volte leggere in canicciato. Oltre alle sette tele attribuite a Lorenzo Daretti, il Palazzo Comunale ospita anche dodici tempere nelle lunette del soffitto della Sala adiacente a quella consiliare: sono opere recenti di Carlo Boria, pittore di Chiaravalle, che rappresentano i momenti salienti di vita e di storia locale del Novecento.