Á la fundación de la colegiata agregaron los marqueses la del Hospital y la construcción para vivienda suya del magnífico palacio del castillo, en la falda del cerro junto á la misma fortaleza.
El aspecto de este edificio, á juzgar por la descripción que de él hace el canónigo Bedoya y por la fachada que aún subsiste, era magnífico y pintoresco. El cuerpo del palacio lo adorna ban dos torres, un patio de columnas jónicas en el centro y un ancho atrio á la entrada con su pretil, de cuyo centro partían dos tramos de escalera para bajar á la plaza del Mercado, y una en rampa para los coches, que podían llegar por la espalda al piso principal.
En la puerta se ve aún el gran escudo de los Tovar con la inscripción siguiente: "Sapientia edificabitur domus, et prudentia roborabitur.
En el interior y junto á la escalera estaba la capilla-oratorio con la efigie de San Juan Bautista en el desierto, obra del maestro Becerra, y las demás habitaciones eran espaciosas y cómodas. Contiguos al palacio estaban, y aún se ven, los preciosos jardines explanados en tres grandes parterres elevados desde el principal, á manera de anfiteatro, y sostenida la tierra con muros y cubos hasta el castillo. Los cubos que cerraban estos muros servían de miradores, desde los cuales se recreaba la vista en la contemplación del vasto horizonte en cuyo primer término aparecían adornados con estatuas, fuentes, baños, de que aún quedan restos, los jardines mantenidos siempre verdes con el riego que se proporcionaba por una noria de la que se subía el agua á más de 120 pies. Por último, debajo de los jardines, al nivel ya de la plaza, se extendía una rica huerta con regadío por el pie. Este precioso palacio se quemó en la guerra de la Independencia, pero quedó en pie toda la fachada y las dos torres de los extremos.
Proponiéndose sin duda los marqueses imitar en su villa de Berlanga las costumbres de los reyes en la corte, construyeron al otro lado del puente de Ullán un segundo palacio que pudiera llamarse del Retiro, cuyo sitio de recreo era, según el cronista, lo más agradable y ameno. Un paseo de corpulentos árboles alineados en medio de un espeso bosque, daba entrada al palacio no menos espacioso y grande que el de la población, titulado, por su origen, palacio de la Choza. Para concluir con la historia artística de Berlanga en este período, diremos que también se quemaron en la guerra de la Independencia otras magníficas casas que al lado de los palacios de los marqueses había construido otro marqués que allí vivía y viven aún sus sucesores, el del Surco, la familia de los Aparicios y otras que eran las mejores de la villa.
Ahora bien, si las ruinas de estos edificios nos hacen recordar con sentimiento los destrozos causados por la invasión francesa,las del castillo y las del palacio nos traen á la memoria la estancia en él como presos de los hijos del rey de Francia, encomendados como rehenes al cuidado del condestable D. Pedro; la estancia también en él de san Francisco de Borja; la de Isabel de Valois ó de la Paz, tercera mujer de Felipe II, en su paso cuando venía á casarse; la de la comitiva de D. Francisco de Borja, marqués de Lombay y D Juana de Velasco, hija del Excelentísimo señor Condestable de Castilla, que se casaron en la Colegiata, bendiciendo la unión el Ilmo. Sr. D. Francisco Tello de Sandoval, obispo de Osma, con presencia de muchos grandes, y por último la del rey Felipe V, quien se recreó en la caza en el bosque del condestable, á la sazón ausente, pues había ido de embajada con el conde de Haro á Francia.
Texto de Rabal en Historia de Soria (1889).