El edificio consta de una planta baja, dos pisos superiores y ático. Al exterior, la división de la planta baja se hace mediante una cornisa labrada con motivos renacentistas: angelotes, motivos vegetales, nereidas y tritones.
La primera planta rompe por primera vez con la rotundidad de los edificios medievales realizados hasta ahora en Bergara. En ella, se sitúa una ventana en ángulo que más tarde, en el siglo XVII, es sustituida por el balcón en esquina que vemos en la actualidad. Sobre él, el escudo de armas de la familia Azcarate-Marutegi.
El elemento más destacado de este edificio es la alternancia de 53 placas de cerámica vidriada que aparecen distribuidas por la fachada principal de la calle San Pedro. Originariamente, estas placas formaban parte de una estufa Alemana del siglo XVI, pero dada su rica decoración, el propietario decide aprovecharlas e integrarlas en la fachada principal. Todas las placas están policromadas y entre sus imágenes aparece Carlos V representado como Helios, dios del Sol.
A partir del siglo XVIII el palacio lo hereda la familia Agirrebeña, por este motivo, el palacio es también conocido como Casa Agirrebeña.