Nel XVI secolo, per il perdurare delle incursioni dei turchi e dei mori si cominciarono a costruire alcune torri sulle coste sarde al duplice scopo di avvistamento e difesa; ma, almeno in un primo momento non bastarono a difendersi dai turchi guidati da Kair-ad-Din, detto il Barbarossa, che fece dell’Asinara la sua base per le scorrerie nel Tirreno, arroccandosi nel fortilizio del castellaccio, nella zona di Fornelli.
dal 1609 al 1611 gli Aragonesi fecero costruire anche sull’Asinara tre torri costiere per difendersi dagli attacchi saraceni. Si tratta delle torri di Cala d’Arena (detta anche Cabu Ruju o di S. Giacomo), di Cala d’Oliva e di Trabuccato (detta anche di S. Marina). La prima ad essere costruita fu la Torre di Trabuccato nel 1609. Fu costruita, ovviamente, sul promontorio di Trabuccato, il promontorio che limita a nord la baia di Cala Reale. Nel 1637 subì diversi attacchi ad opera di corsari francesi comandati dal capitano De Roques che riuscì ad occupare la torre che avrebbe dovuto essere utilizzata come base per tentare l'attacco ad Alghero. La torre fu però prontamente riconquistata dalle truppe sarde. I continui attacchi resero tuttavia necessari interventi di restauro di cui uno importante nella seconda metà del XVIII secolo.
Nel 1611 fu poi eretta la seconda torre, quella di Cala d'Oliva, che domina l'omonima spiaggia e che grazie alla sua posizione permetteva la comunicazione con la torre di Porto Torres. Anch'essa fu gravemente danneggiata durante le incursioni francesi, ma diversi restauri furono apportati durante l'VIII secolo e nella prima metà del successivo; l’ultima manutenzione documentata risale al 1840.
La terza torre che fu costruita sempre nel 1611 fu la Torre di Cala d'Arena eretta in località Cabu Ruiu, un promontorio che delimita a nord l'omonima baia di Cala d'Arena. Già nel 1721 però la torre risultava in uno stato d'abbandono e dopo solo pochi decenni fu deciso di lasciarla inutilizzata.
Nel 1720 gli Asburgo, succeduti per breve tempo agli Aragonesi, cedettero la Sardegna ai Savoia in cambio della Sicilia. L'asinara allora cominciò a popolarsi con pastori provenienti dalla Corsica. Il re Carlo Emanuele di Savoia decise di controllare direttamente l'Asinara nel tentativo di renderla un'isola produttiva e popolata e per i successivi 30 anni si vide l'isola popolarsi di pastori ed anche la tonnara di Trabuccato tornò in attività.
Nel 1767, i fratelli francesi Giuseppe Gioacchino e Antonio Felice Velixandre, chiesero al re Vittorio Amedeo, che nel frattempo era succeduto a Carlo Emanuele, di colonizzare l’isola con lo scopo di ripopolarla e ne ricevette risposta positiva. I Velixandre così espropriarono le terre ai pastori residenti, pagando loro i danni per la requisizione delle terre. Così nel 1767 insediarono 150 coloni francesi che però pochi mesi dopo il loro arrivo sull’isola, furono costretti a ripartire rinunciando alla colonizzazione dell’Asinara a causa degli imbrogli dei fratelli Velixandre. I fratelli furono arrestati, ma riuscirono presto a dileguarsi.
Fallito il tentativo dei fratelli Velixandre, nel 1774 fu Don Antonio Manca Amat, Marchese di Mores, a cercar di convincere con successo l’allora Re di Sardegna Vittorio Amedeo II di Savoia, che gli concesse l’isola con il titolo di Duca dell’Asinara. Don Antonio fece arrivare dei Liguri che, diedero un significativo contributo allo sviluppo dell’agricoltura e della pesca.