Il Castello Marchesale si ritiene sia stato costruito nel XVI secolo, sopra un antico nucleo normanno, dal duca Goffredo Pandone primo feudatario di Lizzano. Di questa epoca rimane solo un torrione.
Nel tempo sono state svolte delle opere di ampliamento oltre che essere rimaneggiato. Nel corso degli anni, il Castello è stato di proprietà di diversi marchesi di Lizzano fra cui il marchese Chyurlia. Lo ha abitato anche il duca Clodino e la famiglia De Raho.
Secondo alcuni storici, la parte del palazzo di nord-ovest è antecedente al XV secolo e, pertanto, di epoca normanna o sveva. Invece, la parte sud-est è di epoca successiva.
In generale, il disegno architettonico ci rivela un’opera risalente al quattrocento data l’inesistenza di fossati, torri e di mura di cinta, caratteristiche dell’epoca antecedente.
La costruzione ha linee sobrie e severe e ha la forma di un quadrilatero. Visitandolo al suo interno, si nota un breve recinto, che era l’atrio del palazzo e tramite un ampio scalone si arriva al piano superiore dove si possono ammirare ampie sale utilizzate un tempo nelle ricorrenze più importanti. Sono molte belle per la loro vastità, mentre le stanze al piano terra sono quelle che un tempo erano adibite a frantoio, a mulino, a granaio. Dove vi erano anche i magazzini e le scuderie.
Sempre all’interno del Castello, si può notare la traccia di quello che fu chiamato “Pozzo della morte”, nel quale, è molto probabile che fossero gettati i corpi di coloro che perdevano la vita e tutt’ora ne giacciono i resti.
Il castello possiede una Cappella, attualmente in cattive condizioni poiché nel tempo non è stata mai rimaneggiata; sarebbe opportuno un restauro. Al momento è chiusa e non può essere visitata dai devoti di San Francesco di Paola, a cui la cappella è dedicata.
Al suo interno possiede una piccola sacrestia e di un coro con una balaustra di legno. L’abside è inesistente e la cappella accoglie una tela che raffigura San Francesco di Paola, ai lati vi sono due nicchie. L’altare è completamente distrutto e i suoi resti sono ammassati come delle rovine.
Nel tempo, il Castello Marchesale fu mantenuto in vita dai diversi feudatari che si susseguirono fra cui i Duchi Clodinio che lo abitarono dal 1606 al 1677. Da loro, il Castello venne chiamato Palazzo del Duca e si organizzavano molte feste quando accoglieva visitatori che arrivavano in occasione della festa di San Gaetano da Thiene.