Correvano i primi anni del 1800 quando la famiglia Albini, di nobile casato, decise di dare corpo ad un progetto ambizioso: la costruzione in Albanella di un palazzo padronale che si distinguesse dalle altre dimore per maestosità e per il rigoroso rispetto dei canoni architettonici dell'epoca.
Non si conosce il nome del progettista ma si tramanda che valenti artigiani si dedicarono all'esecuzione dell'opera nell'arco di un decennio. Risulta comunque che i committenti chiesero agli esecutori di ispirarsi ad un palazzo degli ultimi anni del 1700, sito nel paese di Laureana Cilento, già appartenente alla nobile famiglia dei Cagnano, notoriamente progettato dal Vanvitelli. Infatti dal confronto fra le due dimore emerge chiaramente la medesima impostazione architettonica della facciata principale nonché l'analoga fuga di finestre e balconi.
Palazzo Albini risulta in linea con il modello e conserva un rigore stilistico appena intaccato nell'ultimo piano da lavori di ristrutturazione resi indispensabili a seguito del terremoto del 1980 che aveva compromesso la staticità della copertura.
Resta comunque intatto lo scalone interno di ispirazione vanvitelliana con le sue armoniche arcate, il patio di ingresso pavimentato in pietra locale, il vano cortile originariamente adibito ad impluvio. Il tutto è reso suggestivo dalle robuste mura perimetrali costruite con pietra locale e dal giardino che si trova nella parte posteriore della casa.