Quando il duca Petracone V Caracciolo ordinò nel 1668 la demolizione del castello medievale di Martina Franca, non perseguiva soltanto un’esigenza di spazio o di modernità. L’atto rappresentava un messaggio politico deciso: la volontà della famiglia Caracciolo di cancellare un simbolo di un potere precedente—quello dei principi Orsini che avevano eretto la fortezza nel 1388—e di sostituirlo con una dichiarazione tangibile della propria supremazia. La nuova struttura doveva incarna il nuovo linguaggio architettonico del tardo manierismo e primo barocco.
Il progetto della trasformazione fu affidato a Giovanni Andrea Carducci, un architetto bergamasco. Non un maestro italiano di prima fama, ma un professionista esperto che risiedeva a Martina da tempo. L’ambizione era sconfinata: il disegno originale prevedeva una struttura vastissima con circa 300 camere, un teatro privato, cappelle, stalle, una foresteria e una corte interna. Per aggiungere ulteriore prestigio all’impresa, il progetto stesso fu sottoposto all’approvazione di Gianlorenzo Bernini, il genio romano che dominava il panorama architettonico italiano dell’epoca. Gli studi moderni hanno chiarito che Bernini approvò il disegno, ma il merito della realizzazione andò alle maestranze locali dirette da Carducci.
La costruzione si rivelò però un’opera colossale e dispendiosa. I lavori procedettero con difficoltà, e nel 1692—appena ventiquattro anni dopo l’inizio—furono sospesi. Petracone V riuscì a realizzare soltanto il piano terra e l’ammezzato, lasciando incompiuto il resto della struttura. Il progetto originario con la planimetria a “U”, formato dal prospetto principale e da due ali poste a est e a ovest, rimase irrealizzato nella sua totalità.
Fu necessario attendere il successore, il duca Francesco III Caracciolo, affinché i lavori riprendessero e si completasse il primo piano della facciata principale. Nel 1776 Francesco III commissionò anche la decorazione delle Sale del Piano Nobile al pittore Domenico Carella, trasformando le stanze con affreschi straordinari. L’ala orientale fu costruita nello stesso periodo, mentre l’ala occidentale giunse soltanto nel diciannovesimo secolo e l’ala posteriore, che non era nemmeno prevista nel progetto originario, fu innalzata ancora più tardi. Osservando l’atrio centrale del palazzo, è possibile scorgere chiaramente questa storia travagliata: ogni ala rappresenta un capitolo diverso della costruzione, ogni periodo ha lasciato il suo segno nella pietra.