No hay unanimidad en cuanto al nombre del cuartel. Para Mesonero Romanos se debía al conde-duque de Olivares, valido de Felipe IV. Otra opción dice que el nombre viene de su asentamiento en un solar que fue palacio del conde de Aranda y duque de Peñaranda.