Los años de decadencia estaban al llegar cuando Fernando I de León y Castilla (1016-1065) primero y Alfonso VI de León y Castilla (1040-1109, segundo hijo del anterior) después, derogan los condados y sus merindades y por tanto los privilegios del Condado de Carrión pasaron a la Corona de Castilla. Los Banu Gómez dejaron de existir políticamente.

El apellido de "los Condes" no viene de que hubiera muchos condes por estos lares, sino por el pacto entre el Conde de Osorno, de Treviño y el de Castañeda (este linaje pasó a ser Manrique posteriormente y provenían de los de La Vega y los Trastámara) en 1462 para evitar que el señorío pasara de realengo a pasar a manos del Conde de Benavente, pues condes en Palencia había y de sobra.

En la antigua Hermandad de Tierra de Campos, existía una ciudad que sobresalía sobre las demás, este ciudad no podía ser otra que Carrión de los Condes (nombrada así por primera vez en 1522, en el testamento de Aldonza Manrique).

Alrededor del Monasterio de San Zoilo se empezaron a asentar algunos habitantes consiguiendo hacer una aldea propia que inmediatamente fue absorbida por la ciudad de Carrión de los Condes (15-02-1564). Llegaban malos tiempos, aún peores, para los carrionenses.

El siglo XVII fue el peor de todos, recesión económica y epidemias en los años 1615 y 1616 dejaron a esta bella ciudad con unos 600 habitantes.

Ya en el siglo XIX con la Guerra de la Independencia las tropas españolas incendian diversos edificios para impedir su uso por parte de las tropas napoleónicas. Después sólo faltaba la Desamortización de Mendizábal, con él se acabó de socavar la monumentalidad carrionesa.

Por contra la población durante los inicios del XIX aumenta considerablemente y Carrión de los Condes es ya una ciudad prácticamente recuperada que aún tendría que superar los desastres de la Guerra Civil de 1934/36.