Questa cappella venne edificata all'interno della Porta di Carlo V nel 1660-1661 per volere del Generale spagnolo e Maestro di Campo Don Alonso de Monrroy, come recita l'iscrizione in spagnolo con traduzione italiana presente all'interno della cappella, forse come ex voto per essere scampato ad un attentato. Governatore e Capitano di Guerra di Gaeta tra il 1660 e il 1668, Monrroy fece costruire la piccola cappella ed esporre un quadro della Vergine Addolorata, che gli Spagnoli onorano in modo speciale sotto il titolo di S. Maria de la Soledad e che il popolo ben presto chiamò impropriamente della Solitudine o Solitaria. Inoltre, Monrroy volle che qui si celebrasse una Messa settimanale nelle domeniche ed in tutte le festività di precetto; la prima Messa vi fu celebrata il 15 agosto dell'anno 1661. Quando morì il Governatore Monrroy il 4 Febbraio 1668, fu sepolto presso la chiesa di S. Francesco, e quando nel 1809 questa chiesa fu distrutta, la bella lapide che copriva il sepolcro del Governatore venne recuperata e posta nella Chiesa della Natività dell'Ulivo, dove ancora oggi è visibile. La cappella rappresentò subito, e rappresenta ancora oggi, un luogo di profonda devozione popolare, molto sentita dalla cittadinanza gaetana.