E il paese continuò a crescere sempre verso l’alto, per motivi difensivi nei secoli seguenti, quando si fecero sempre più frequenti le incursioni dei pirati. Segnalate per tempo dalle numerose torri costruite fin dall’epoca angioina e poi rafforzate e moltiplicate dagli Aragonesi: la Torre della Sponda, la più antica, la Torre Trasita di epoca vicereale, la coeva Torre Fornillo, che da uno sperone di roccia domina l’omonima spiaggia e la Torre di Renzo, vicino alla spiaggia di Arienzo, acquistata nel 1915 dallo scrittore russo Semënov.