Uno de los pocos ejemplos en Madrid de la arquitectura del siglo XVI, fue construida por el arquitecto Antonio Sillero para Pedro de Ledesma. En 1541 Andrea de Lurano realizó la primera ampliación del inmueble, resultando un caserón de forma rectangular, de dos alturas y un tejado de cuatro aguas rematado por siete chimeneas, de ahí viene su nombre. A través de esta casa se han especulado diferentes leyendas. Una de estas historias relata que las chimeneas representan los siete pecados capitales.

En 1948, fue declarada monumento histórico-artístico y fue reformada por los arquitectos Frenando Chueca Goita y José Antonio Domínguez Salazar. Desde la década de 1980 hasta la actualidad es una de las sedes del Ministerio de Educación y Cultura.