De todos los edificios históricos de El Pardo, hay uno donde en la actualidad residen familias pardeñas. Se trata de la Casa Infantes.
Esta construcción data del año 1770 y se levantó por orden de Carlos III, con la finalidad de que en él se alojaran las familias de los Señores Infantes don Gabriel, don Antonio Pascual y don Francisco Javier.
El arquitecto don Manuel López Corona fue el encargado de su diseño. El edificio tenía un sótano, entresuelo, buhardillas, cocheras y dos patios porticados principales. En 1826, la Casa Infantes fue reedificada por el arquitecto Sebastián de Arzuaga y, 30 años después, se destinó a Comandancia de Madrid, decisión que supuso una nueva distribución del edificio. Posteriormente, lo ocupó un Regimiento cuyos responsables cambiaron el patio grande y las caballerizas por gimnasios y habitaciones para el ministro y los generales.
El aspecto actual de la Casa Infantes data de 1957 y se debe al arquitecto Diego Méndez González.
