Enrique IV de Castilla, para terminar con esto, dio la orden, entre otras, de eliminar los elementos ofensivos de las casas- torre. Con esto, destruyó los elementos principales que daban poder a los señores feudales. La Casa Legazpi no se libró de esta orden y se derribó la parte alta de la Torre.
Esta casa fue habitada por la familia de los Legazpi hasta la segunda mitad del siglo XVI. Los últimos habitantes fueron la familia de la esposa del hermano de Miguel López de Legazpi. Estos mandaron poner el escudo que preside la puerta principal.
Después, sólo fue hogar de campesinos, cambiando su aspecto físico para adecuarse mejor a las nuevas funciones que en la casa se realizarían.
En el siglo XIX, Nicolás de Soraluce, político e historiador zumarragarra, salvó este edificio de su destrucción con motivo de la instalación del ferrocarril.
En la década de los 40 del siglo XX, ante los deseos de expansión de la empresa "Esteban Orbegozo S.A" fue declarada Monumento Histórico-Artístico Nacional. Para entonces estaba en muy mal estado. Así, fue objeto de diversas obras de restauración, instalándose en su interior un Museo Hispano-Filipino en 1964.
En la actualidad, después de una profunda restauración en la década de los 90 del siglo XX, se realizan actividades culturales como conferencias, exposiciones, presentaciones... y bodas civiles; siendo sede permanente de la "Secundino Esnaola Musika Eskola".