El Seminario Conciliar ocupa el espacio donde estuvo situado el palacio del duque de Osuna. Situado al final de la calle Don Pedro, frente a lo que fue el descampado de Las Vistillas. Tras la muerte del XV duque del Infantado y XII duque de Osuna, Mariano Téllez-Girón y Beaufort Spontin, se inició un largo pleito entre los acreedores y los herederos del duque, esté había dejado unas deudas colosales. En 1894 ganaron los acreedores y se vendieron los palacios de la casa de Osuna en Madrid. La reciente archidiócesis de Madrid compró el palacio. En 1900 lo derribó para construir el seminario.

Por suerte para los madrileños, los jardines de la finca se preservaron, al haberlos comprado el Ayuntamiento de Madrid y convertirlos en los jardines de Las Vistillas.

En 1901 los arquitectos Miguel de Olabarría y Ricardo García Guereta elaboraron el proyecto del Seminario. Al año siguiente comenzaron las obras, elaborándose un nuevo proyecto que hacía más grande la capilla.  Olabarría muere en 1904, y se encargaron de la finalización de la obra García Guereta y Juan Moya Idígoras.

La inauguración tuvo lugar el 23 de octubre de 1906. El seminario recibió la advocación del papa San Dámaso.

En 1950, se construyeron dos nuevos pabellones en los lados norte y sur respectivamente.

Es un edificio de estilo neomúdejar tan del gusto de la época en Madrid, con decoración neogótica y de grandes volúmenes. Con planta rectangular y una torre en su fachada. En el cuerpo central que separa el edificio en dos se encuentra la iglesia.

Pasa desapercibido muchas veces al no encontrarse muy al paso, sin embargo se ve muy bien desde el viaducto sobre la calle Segovia.

Un abrazo.