Il Palazzo, costruito in due riprese (1733 e 1770), sorge su parte delle fondamenta del Castello fortificato dell'epoca angioina, eretto nel XIII secolo dalla famiglia feudataria De Tauresano.
Un crogiolo di stradine e di vicoli aperti intersecantisi fra di loro nella parte retrostante gli edifici e gli spazi simbolo della centralità del paese.