Costituitosi in seguito all'aggregarsi di varie opere di carattere militare, il Complesso Fortilizio vede la sua fase più antica nell'impianto del grande torrione a pianta quadrata, inizialmente definito da alcuni storici di epoca normanna. In seguito successivi studi hanno attribuito la torre al periodo angioino forse grazie alla politica operata da quel casato di raccogliere in pochi centri le popolazioni sparse per le campagne. Il mastio, databile intorno alla seconda metà del XIV sec., fu fatto edificare da Pietro del Tocco la cui signoria continuò con Guglielmo suo figlio. Sono di epocasuccessiva (XV- XVI sec.) la torre rotonda, la torretta a base quadrata e la cortina muraria che le collega. La costruzione di detta torre dovette certo apportare modifiche a una struttura preesistente le cui tracce sono da individuarsi in quella che oggi è descritta come “casamatta”' dove è ospitato il museo archeologico del paese. Nel fossato rimangono tracce, considerate come vecchie mangiatoie, di abitazioni scavate nella roccia la cui età è senza dubbio anteriore alla costruzione del mastio che, presumibilmente, nasce come torre di avvistamento. Le finestrelle che si aprono nelle cortine murarie rivelano successivi adattamenti ai nuovi canoni dell'arte bellica. Quelle superiori sono antecedenti a quelle mediane che presentano rifacimenti a “gola di lupo” a dimostrazione dell'introduzione delle armi da fuoco. Infatti la torre rotonda, detta anche del Cavaliere, svolgeva la funzione di torre d'angolo. L'ambiente interno è diviso in tre ripiani ai quali si accede tramite una scaletta ricavata tra le cortine esterna ed interna della struttura. Il lato esterno a sud è caratterizzato da una rampa di scale che portava ad un ponte in muratura, fotograficamente documentato ma non più esistente, tramite il quale si accedeva al primo piano del torrione. Dopo lavori di restauro sono tornati alla luce ambienti ipogei corrispondenti a frantoi oleari che occupano molta parte delle fondamenta del castello.