El palacio fue construido por orden del primer duque del Infantado en el siglo XV y es símbolo del poder del que gozaba esta familia, entonces en buenas relaciones con los Reyes Católicos.