Le origini del palazzo risalgono alla fine degli anni trenta del 1600, quando venne innalzato per la volontà di donna Anna Carafa, consorte del viceré Ramiro Núñez de Guzmán, duca di Medina de las Torres. Il progetto per la realizzazione fu commissionato al più importante architetto della città di quel periodo, Cosimo Fanzago, che nel 1642 approntò un disegno secondo i canoni del barocco napoletano che prevedesse tra le altre cose anche la realizzazione di un doppio punto d'ingresso, uno sul mare ed uno da una via carrozzabile che si estendeva lungo la costa di Posillipo (che conduce al cortile interno dell'edificio). Per la costruzione del palazzo, fu necessario demolire una preesistente abitazione cinquecentesca (villa Bonifacio). Il Fanzago, però, non riuscì a completare l'opera per via della prematura morte di donn'Anna, avvenuta in un contesto di insorgenza popolare a causa della temporanea caduta del viceregno spagnolo, con la conseguente fuga del marito della stessa verso Madrid