Nel corso dei secoli, si andò ingrandendo fino ad occupare tutto il terreno dal vicolo S. Francesco (rasente la chiesa) fino alla via della Consolazione (via Vitt. Emanuele II); in seguito alle leggi di soppressione, ne fu espropriata gran parte, che fu usata per pubblici edifici; nel 1930, dove era il giardino del convento, sorse la nuova Casa Comunale, la piazza Municipio col Monumento ai Caduti, e la via che collega la piazza a via Roma; un’altra parte fu usata per le scuole elementari, prima, e per l’Istituto Magistrale, poi, recentemente, è stato concesso l’antico refettorio al Comune, che vi ha installato l’Ufficio Anagrafe, e sono stati ricavati alcuni bassi, adibiti a negozi e circoli. Nei locali del Magistrale, trasferito altrove, è ospitato il Liceo d’Arte.
Dell’antico convento rimane solo una piccola parte abitata da due vecchissime suore; la cosa più bella che rimane, è un porticato con meravigliosi affreschi, ricoperti di calce, e che oggi si vanno restaurando, e riscoprendo; e il coro superiore delle monache, con un bellissimo soffitto a cassettoni, che è purtroppo abbandonato e cadente.
All’inizio, il convento aveva una piccola chiesa, di cui rimangono tracce nell’atrio di quella attuale; questa fu costruita dal 1650 in poi; ha un bellissimo portale, in legno scolpito del 500, con le immagini di San Francesco e di S. Chiara; bellissimi altari di marmo colorato, e alcuni dipinti di grande valore; una “Estasi di S. Francesco” di Giuseppe De Ribera detto Lo Spagnoletto, due tele di Pietro Berrettino da Cortona, e altri illustri pittori.