Le origini dell'antica Larino vanno sicuramente ricercate in epoca Etrusca, circa cinque secoli prima di Roma, quando i suoi fondatori, muovendosi dalla bassa Toscana, arrivarono fino alle Puglie.
Frentum (antico nome etrusco della cittadina) venne però distrutta dai romani, i quali la ricostruirono successivamente ancor più imponente (Larinum), tanto da meritarsi il nome di "Urbs Princeps Frentanorum", essendo il centro abitato più importante dell'area frentana.
La parte storica di Larino si sviluppa maggiormente nei secoli XIII e XIV, quando vengono costruiti la Cattedrale, la Chiesa di San Francesco, la Chiesa di Santo Stefano ed il Castello, divenuto poi Palazzo Ducale.
Il Palazzo Ducale oggi non presenta quasi più nulla dell'antica fortezza originaria, ad eccezione della torretta che si trova sul lato nord.
La costruzione originaria viene datata intorno al 1100, ad opera dei normanni, voluta per la sua posizione strategica situata vicina alla Porta di Piano, ovvero l'ingresso della zona sud dell'antica cittadina (l'altra entrata era Porta di Basso).
L'attuale palazzo conservò la sua funzione di difesa fino a tutto il Seicento, con piano nobile di stanze affrescate, cantina, e raccolta delle acque piovane.
Oggi, l'edifico si presenta costiuito da più piani, con un'entrata a porticato con loggia.
Nell'atrio si ritrovano anche due busti di Gavio Scipione e sua moglie Optata.
Al primo piano c'è invece il Museo Civico, che conserva tre pregevoli mosaici di età imperiale, detti rispettivamente, della Lupa, degli Uccelli, e del Leone.
Il mosaico più antico è stato invece rinvenuto nell'atrio di una grande domus patrizia, situata in contrada Torre Sant'Anna.
Il mosaico, denominato "del Polipo", posto al centro dell'atrio dell'antica villa romana, era in pratica la base di una vasca per la raccolta dell'acqua piovana.
Nella stessa villa è stato ritrovato anche un altro mosaico, che presenta motivi geometrici raffiguranti quadrifogli, fiori di loto e croci di diverse forme.