Noto anche come Palazzo Samuelli, dal nome della famiglia che lo abitava ancora nel Settecento, l’edificio appartenne all’importante casata degli Affaitati, già titolari nel Cinquecento di un altare nella vicina chiesa di Santa Maria di Nazareth, dove è registrata anche una sepoltura legata al loro nome.
Il palazzo fu edificato nel XVI secolo e presenta tre piani. Di particolare interesse è la facciata, caratterizzata da una cortina esterna lavorata a bugnato: esso assume la sua tipologia rustica, con i conci appena sbozzati, a piano terra, mentre nella parte superiore delle campate laterali, il bugnato assume la forma di diamante. Nella parte centrale, in relazione ai piani superiori, la facciata si mostra invece liscia per via di un intervento ottocentesco.
Al centro si apre un elegante portale inquadrato da paraste corinzie e riccamente decorato nella trabeazione, con il motivo della Vittoria alata nei pennacchi.
Oltre il portone, l’atrio monumentale si conclude in un cortile che mostra una scalone aperto del XVIII secolo.