El edificio principal fue diseñado por Juan de Villanueva y comenzó a construirse en 1790 en el Cerro de San Blas en la calle Alfonso XII número 3 una zona que pertenecía a los Jardines del Buen Retiro.