Palazzo Damato, già noto come Osteria del Veleno, è uno dei luoghi più significativi della città in quanto ospita quella che, comunemente, è definita Cantina della Sfida, ovvero il luogo in cui sarebbe scoccata la scintilla che avrebbe portato alla celebre Disfida di Barletta.
Secondo le fonti, il palazzo avrebbe ospitato il Gran Capitano delle truppe spagnole in Italia, Consalvo de Cordova, colui che organizzò la cena che sarebbe poi degenerata nel diverbio tra soldati italiani e francesi che provocò la disfida nel febbraio del 1503: un combattimento tra cavalieri, tredici per parte, di entrambe le fazioni, che terminò con la vittoria degli italiani, alla cui testa c’era Ettore Fieramosca.
Il palazzo si presenta nel suo assetto quattrocentesco, con il portale ad arco acuto incorniciato da piccole bugne a forma di diamante, al di sopra del quale la facciata si caratterizza per una particolare tipologia di bugnato, molto utilizzata nelle architetture pugliesi dell’epoca.