El palacio donde se hospedó en Valladolid la familia del infante Francisco de Paula

Casado con Ana Sedano y Herrera, el matrimonio tuvo varios hijos; entre ellos, Leonardo, contador mayor de la Orden de Calatrava; Diego, alcalde de Casa y Corte y regente en el Consejo de Italia; Gaspar, alcalde la Chancillería y miembro del Consejo Real. Fallecido en 1551, fue su viuda la encargada de continuar las obras del palacio, vecino de la residencia familiar de Hernando de Villagómez, abogado también de la Chancillería vallisoletana. En 1556 Ana Sedano contrató con el rejero logroñés Pedro de Rebollo la terminación de las rejas, según cita Jesús Urrea en su libro 'Arquitectura y nobleza'.

Su hijo mayor, Gaspar de Escudero, casado con María Hermosa de Eraso, sobrina del secretario de Felipe II, fue el responsable de terminar las obras de la casa familiar, de la que se decía que «tanto se gasta en ellas que serán grandes». Gaspar, tal y como confesó en su testamento, invirtió en este palacio vallisoletano 1.500 ducados, con los que se realizaron las vidrieras del comedor y la escalera, tal y como recoge en el libro 'Casas y palacios de Castilla y León', dirigido por Urrea. María y Gaspar tuvieron diez hijos, quedando Diego al frente del mayorazgo familiar.

Diego, casado con Catalina Muñoz de Robles, contrató con el cantero Martín de Uriarte para que terminase de labrar los escudos de armas de sus abuelos y los colocase en la portada del edificio «conforme a la obra de la delantera que está hecha». A Diego de Escudero le sucedió en el mayorazgo su hijo Gaspar y a éste su hijo Diego Manuel. Al morir sin descendencia, la casa fue cambiando de familia. Primero, fue propiedad de los Gillamas y más tarde de los marqueses de San Felices. En 1838 el palacio fue elegido por el Ayuntamiento para hospedar a la familia del infante Francisco de Paula, hermano de Fernando VII, que se alojó en la ciudad en su camino hacia Francia.

A finales del siglo XIX el edificio acogió el Colegio de San Ildefonso, adquirido en 1922 por la Congregación de las Hijas de Jesús. Pese a las muchas transformaciones, el palacio sigue manteniendo su paramento de sillería.