Narra la leggenda che Poggiardo abbia avuto origine dopo la distruzione dei casali Puzze, Soranello e Casicalvi, ubicati in prossimità di Vaste, quando gli abitanti superstiti, trovandosi in disaccordo circa il luogo da deputare per l'insediamento del nuovo abitato, assegnarono la scelta alla sorte: pungolato perciò un bue, essi decisero che dove l'animale si fosse fermato, lì sarebbe sorto il nuovo centro, circostanza che si tramanda nel gonfalone cittadino.
Come ogni leggenda, anche questa conserva un fondamento di verità: essa trova Infatti dignità storica negli accadimenti che videro In Puglia l'arrivo dei Normanni (1068-1190), eventi sul quali maggiormente ci soffermeremo, per comprendere le dinamiche che furono alla base della nascita dei paese.
Erano quelli giorni che vedevano insediati nel Meridione i Bizantini da un lato, gli Arabi dall'altro, popoli sovente impegnati a farsi guerra tra loro non meno che contro altri, e, come c'insegna Salvatore Rausa: "Ogni lembo di terra era intriso di sangue".
Alla venuta delle genti nordiche contribuirono numerosi fattori di ordine politico e sociale, tra i quali, per rilevanza, spicca proprio "l'invadente" presenza bizantina in queste piaghe, mal sopportata da Papa Benedetto VIII. Da quest'ultimo chiamate, fecero così il loro Ingresso sulla scena le truppe di Guglielmo, Dragone ed Umfredo, figli di Tancredi d'Altavilla, che facile gioco avrebbero avuto nella conquista dei territori Pugliesi, e che presto insediarono in tutto il Sud un vasto regno la cui capitale fu Palermo.
Appunto nel periodo normanno ebbe inizio il lento processo di "debizantinizzazione" del Salento, benché, come gli stessi normanni avrebbero avuto modo di verificare, la "grecità" dei salentini avesse radici assai profonde; tant'è, proprio ad opera di un normanno, il principe Beomondo, nel 1099 si edificò in Otranto quello che sarebbe diventato uno dei fari più fulgidi di tutto l'Occidente, il monastero di S. Nicola di Casole (Otranto).
Tuttavia, le basi per un trasferimento d'asse da Bisanzio a Roma erano ormai poste, e cosi ebbe a prodursi la decadenza di Otranto, con la fondazione della contea di Lecce (1069), nuova capitale di un territorio che ancora a lungo, ed ancor oggi, sarebbe stato ricordato come "Terra d'Otranto".
Alla morte dei re normanno Ruggero II, dunque, la neonata alleanza militare mosse contro il successore Guglielmo, il quale, per la natura della sua reazione, meritò presto l'appellativo di "Malo": buona parte delle città ribelli di Puglia fu infatti rasa al suolo, sorte che, tra le altre e come già ricordato, toccò nel 1156 anche a Vaste, nonché ai tre casali di cui sopra, con la successiva fondazione di Poggiardo. E' comunque certo che per Poggiardo non possa indicarsi una vera data di fondazione, bensì debba parlarsi di un lento e progressivo insediamento di genti che, già dai primi villaggi rupestri dei periodo bizantino, perdurò durante tutta l'età di mezzo e sino al periodo angioino, quando la fisionomia dei paese assunse un aspetto definito.
Numerosissime, com'è facile aspettarsi, le vicende storiche di cui Poggiardo fu teatro, e se di messapi, romani e bizantini s'è già narrato, molte altre stratificazioni la storia avrebbe prodotto, con l'avvicendarsi, dopo i Normanni, degli Svevi (1195-1266), degli Angioini (1266-1435), degli Aragonesi (1442-1502), degli Spagnoli (1506-1734), dei Borboni (1734-1861), per accompagnare infine la municipalità, dagli accadimenti che caratterizzarono il periodo risorgimentale, sino ai giorni nostri. Eventi l'un l'altro intrecciati e sovrapposti (la storia non conosce "salti"), che avrebbero lasciato tracce indelebili nella cultura, nell'arte, nel costume di Poggiardo.
La cinta muraria risale al XV sec., quando la superficie circoscritta misurava 1,7 ettari, uno spazio sufficiente per l'esigua popolazione dell'epoca, il cui accrescersi, già dalla fine di quel secolo, ne determinò però lo scavalcamento. Nacque così la struttura del "borgo", con le tipiche case organizzate "a corte", viuzze dotate di un unico accesso dalla strada principale.
Il 1537 vide compiersi, per mano turca, la distruzione della vicina Castro, ed il trasferimento in Poggiardo, all'epoca feudo dei duchi Guarini, della sede vescovile; fu questo un fatto che accrebbe notevolmente l'importanza della cittadina, al punto di farne sede privilegiata per molta parte della locale nobiltà e di alte cariche religiose.
E' in questo scenario che emergono i monumenti più rappresentativi, tra i quali, per vetustà ed imponenza architettonica, subito s'impone il castello o, più appropriatamente, il palazzo ducale Guarini.
Non molto resta dei periodo in cui Poggiardo fu sede della curia vescovile di Castro: il palazzo vescovile, edificio cinquecentesco, dopo essere stato venduto al Guarini tra le proteste della cittadinanza (1756), fu nei secoli successivi utilizzato prima come caserma, quindi come tabacchificio, per approdare ai nostri giorni irreversibilmente compromesso. (fonte: sito ufficiale Comune di Poggiardo)