Il castello di Massafra si affaccia sulla Gravina San Marco. E’ costituito da quattro torrioni disposti a quadrilatero e legati da cinte murarie. Le torri più antiche sono a pianta circolare mentre quello posto a sud-est è di forma ottagonale.
Nel corso dei secoli il Castello fu di proprietà di diverse famiglie che si susseguirono e apportarono alla costruzione varie modifiche. Le prime notizie risalgono al 970. In questi anni, il Castello fu di proprietà di un certo Riccardo Senescalco.
Durante il dominio angioino, prese l’aspetto di una fortezza con bastioni e torri merlati.
Sotto gli Aragonesi e con la famiglia degli Imperiali venne costruita la torre ottagonale e in questa occasione venne costruito anche il prospetto che si affaccia sulla gravina a opera dell’architetto leccese Mauro Manieri.
Il castello passò a diversi proprietari, fino ad essere acquistato dal Comune di Massafra che attualmente ospita la “Biblioteca civica” ed il “Civico museo storico-archeologico della civiltà dell’olio e del vino”.
Il Castello di Massafra ha l’ingresso principale in via La Terra e si presenta con un ampio portale da cui si accede all’atrio. Si può notare al centro di esso un pozzo ed una rampa che porta al ponte levatoio, dove sono visibili le carrucole. Da una scala d’onore si accede agli ambienti della residenza signorile.
I vari locali era adibiti a diversi usi come la scuderia, il fienile, i magazzini e l’armeria. La zona delle torri era rappresentata dalle prigioni e poi c’erano anche le stanze adibite a neviere e pecerie. Una cappella era dedicata a San Lorenzo. Secondo la tradizione popolare si ritiene che nel Castello esistono dei passaggi segreti e una galleria che collega il castello al mare.
Nel corso del tempo sono stati eseguite varie opere di restauro a causa dei danni subiti. Intorno al 2000, l’arch. Francesco Coratella seguì i lavori di consolidamento della torre est e della risistemazione del piazzale antistante il Castello. Nel frattempo è stato costruito anche un moderno ascensore.
Dal 2014, il Comune ha concesso alcuni locali del Castello alla sede sociale della Delegazione provinciale di Taranto intitolata e dedicata alla memoria del M.llo C.C. Carlo De Trizio, caduto a Nassiriya.
Nel 2007 il castello è stato immortalato in un francobollo dedicato a Massafra, emesso il 13 aprile 2007.