La primera piedra fue colocada el 16 de septiembre de 1945, dos años después fue inaugurada esta fortaleza, bautizada así por su torre y por utilizar la piedra volcánica –del mítico Xitle– que encontraron en este predio. El inmueble es obra del arquitecto Manuel Parra, cuyos restos permanecen en el jardín, y fue modificada constantemente hasta 1986, año en que falleció Emilio Fernández Romo, director, actor y productor conocido como “el Indio”. Hijo de un general revolucionario y estudiante del colegio militar cuando niño, “el Indio” tenía un gusto muy arraigado por las haciendas mexicanas previas a la revolución, modelo que tuvo en mente cuando planeo su edificación.
