Este enorme caserón, conocido popularmente como el Hospicio, se construyó por iniciativa del obispo Don José Patricio de la Cuesta y Velarde, para dar cobijo y oficio a los pobres que vagaban por las calles de la ciudad.

Tras el fallecimiento repentino del prelado en 1768, a quien no dio tiempo más que para echar los cimientos, las obras quedan paradas, teniendo que ser terminadas y costeadas por Carlos III, cuyo escudo figura en la fachada principal.

Bajo el amparo de esta Real Casa se educaron y alimentaron muchos jóvenes y ancianos, aprendiendo diferentes oficios que se enseñaban en sus talleres, tales como fábrica de paños, bayetas, estameñas, alpargatería, sastrería, etc., pues la finalidad era recoger a los huérfanos de la diócesis cambiándoles limosna por instrucción.

Actualmente el edifico es la sede del Colegio Sagrada Familia.