La cosiddetta "Torre di S. Anna" è ciò che resta di un edificio fortificato di origine medievale, che ha subito vari rimaneggiamenti nel corso dei secoli. Nei documenti il manufatto viene in genere definito "edificio del Porto" o, più semplicemente, "Porto" di Monte Santo.

Ripercorrere la storia della "Torre" significa dunque, in gran parte, analizzare le vicende di questo fabbricato che, dalle raffigurazioni settecentesche, appare di forma quadrangolare, dotato di cortile interno, con la porta rivolta verso il mare . Le sue origini appaiono incerte.

Il primo documento che ne attesta l'esistenza è un foglio membranaceo, forse facente parte di un registro, nel quale sono annotate le spese del Comune; vi compaiono, in particolare, acquisti di utensili per il " Portus Communis ", pagamenti per il trasporto di materiale dal capoluogo al Porto, nonché per il salario di certo Alessandro di Domenico, "Capitano del Porto". Tale pergamena risale alla prima metà del secolo XV.

Nell'archivio storico comunale si conserva pure un altro foglio membranaceo, restaurato di recente, sul quale, nel febbraio del 1426, si annota la nomina di un Capitano del Porto, seguita dall'inventario, forse parziale, di beni mobili conservati nell'edificio, che doveva essere, già all'epoca, fortificato.

Per il sec. XVI si dispone di maggiori informazioni. Nella prima metà del Cinquecento sono documentate presenze barbaresche al largo del nostro mare, pertanto si sente la necessità di rafforzare il Porto. Nel 1564 il Pontefice Pio IV concede al Comune il privilegio di trattenere il denaro " delle pene dei malefitii " e i beni confiscati ai rei, per riparare le mura castellane nel centro abitato e la rocca del Porto. E' possibile che questa venga quasi ricostruita integralmente alla fine del secolo, come ricorda una piccola lapide ancora presente sul manufatto.

Si ritiene che la Torre sia opera dell'Architetto Verzelli, di Recanati, anche se l'attribuzione si basa su notizie generiche. Relativamente al XVII sec. non è stata rintracciata documentazione rilevante, ad eccezione del rinnovo dei "capitolati" per il Porto, che, però, non si riferiscono all'edificio o alla sua manutenzione ma solo al Capitano.

E' quasi certo che l'area portuale registri in questo periodo una progressiva decadenza. La contrazione dei traffici commerciali, in particolare nell'Adriatico, determina forse un diminuito interesse del Comune per il Porto, ormai utilizzato quasi solo a scopo di difesa militare e sanitaria.

Se ne ha conferma nella prima chiara descrizione dell'edificio, forse risalente al primo Settecento, nella quale è ben messa in rilievo la "Torre quadra", il cui maschio " appare ancora ben alto e forte, coperto di tegole, commodo da far sentinella. Nonostante l'edificio sia ampio , dotato di un pozzo "d'acqua buona" entro le sue mura ed anche di una cappella "di dir messa", esso è abitato da un solo oste con la sua famiglia ". Lamentando la quasi completa mancanza di valide armi da difesa, l'anonimo estensore della relazione ricorda i lavori di restauro che sarebbe necessario effettuare.

Dopo la metà del sec. XVIII, a favore del Porto si registrano tangibili segni di interesse, sollecitati dalla crescita economica (questa volta limitata al mero settore agricolo) e demografica. Nel 1766 il Comune interviene in modo consistente sull'intero edificio e, dunque, sulla Torre che sarà coronata anche da merli "ghibellini", al pari dei muraglioni perimetrali.

I lavori sono documentati dagli atti consiliari nonché dalla data incisa su un mattone presente nel manufatto. A quest'epoca risale anche la più antica raffigurazione, che offre la prima immagine in prospetto dell'edificio. La pianta in scala sarà disegnata invece in occasione del primo catasto geometrico - particellare, generalmente detto "gregoriano", che risale al primo Ottocento.

Dopo le guerre napoleoniche, esauritosi il fenomeno delle incursioni barbaresche sull'Adriatico, viene meno anche la sua funzione di difesa; l'edificio, che in età napoleonica era divenuto di proprietà demaniale, viene poi lasciato in stato di semi-abbandono. Dopo l'unità d'Italia, il Comune ne riacquista la proprietà e qualche anno dopo decide di demolire il manufatto conservando solo la Torre vera e propria. Questa subirà un nuovo intervento nel 1884, quando verrà modificata la sua parte superiore.