El pueblo de Javier es sin duda tributario de su Castillo, en el nació San Francisco Javier, copatrón de Navarra junto con San Fermín.

Por lo tanto la historia de este afamado pueblo se debe a la historia de su castillo.

Las primeras referencias sobre el castillo de Javier datan del siglo X cuando está documentada la construcción de una torre de señales que a la vez hacía las funciones de torre de vigilancia (la torre del homenaje). Con el paso del tiempo se continuó la edificación de diferentes cuerpos añadidos a la torre y que se transformó en lo que es (con reformas, incluída una reconstrucción casi total) el castillo de Javier.

A principios del siglo XIII su señor natural era el rey de Aragón y al finalizar el primer tercio del mismo siglo ya pasó de manos, esta vez a las del rey de Navarra. Ya a mediados de siglo pasó a manos de la dinastía de los Sada (dinastía de la que proviene la madre de San Francisco Javier). En el año 1506 nace en este castillo San Francisco Javier.

En el año 1516 el cardenal Cisneros ordenó su demolición casi total y no fue hasta mediados del siglo XX cuando se reconstruyó de tal forma que es casi idéntico, por no decir idéntico, al original. En este castillo se celebra cada 3 de diciembre el día de Navarra.