El Castillo de los Duques de Frías o de los Velasco, corona el cerro de la Muela logrando una posición estratégica privilegiada sobre el valle y el paso del Ebro. Es uno de los castillos roqueros más espectaculares de Castilla.
La primera mención de la fortaleza de Frías data del año 867. La fábrica que actualmente se observa es de finales del siglo XII, principios del XIII, fechas en torno al reinado de Alfonso VIII. Tiene un marcado carácter defensivo. El conjunto de la torre del homenaje está separado del resto de la edificación manteniendo su propio sistema de defensa.