En 1603, el viajero Bartolomé Joly anotó en su diario que «el palacio donde el Rey se aloja, llamado el Palacio, es, según razón, el principal, comprado a un señor particular y acomodado para el uso de S.M. El patio es en él pequeño, hecho con galerías alrededor, y el edificio bajo y poco elevado; su pórtico y fachada principal, está frente por frente de San Pablo, iglesia de dominicos. Ese lado, pintado con apariencia de ladrillos y adornados con hileras de balcones de hierro dorado, azulado, con habitaciones, salas y miembros particulares en cantidad...». A mediados de aquel mismo siglo el francés François Bertaut describe el Palacio real vallisoletano señalando que «está en la plaza, frente por frente a San Pablo. Son dos patios con dos claustros, o mejor, un patio y un jardín… Hay otros dos grandes cuerpos de edificios, que van a dar a San Pablo a través de la calle, donde hay muy hermosos jardines, según me han dicho, pero no los ví»26.