Cavia es la primera fortaleza de importancia en el camino del valle del Arlanzón, después de salir de la ciudad Burgos y que conduce a la de Valladolid. Domina la confluencia de los ríos Urbel y Ausín, cuyos cauces vigila un alto cerro ubicado al este de la población que, con toda probabilidad es el emplazamiento del castillo primitivo. Su sucesor se sitúa en la vega. El núcleo defensivo es un desmochado torreón, levantado en el extremo de un recinto irregular con dos ángulos reentrantes. El aparejo usado en su construcción está formado por una sillería de calidad media. Tanto los borjes contrafuertes que adornan los vértices como el construido en medio del lienzo, indican una fecha constructiva, al menos en lo que respecta al recinto, que podría datarse del siglo XV.

El conjunto de edificaciones es un tanto complejo. Consta de una cerca poligonal y una torre del homenaje al noroeste. Desde ésta un muro se prolonga hacia el oeste adaptándose a la pendiente del terreno, cuyo resultado es un plano muy quebrado. Las defensas tuercen después hacia el sur, que por ser un lado más vulnerable se defendió mejor reforzando los ángulos con borjes contrafuertes.

Al mediodía se abre la puerta de ingreso, de arco apuntado, perfectamente defendida. El resto de la cerca vuelve a unirse a la torre del lado este, cuya paramento también se halla defendido por pequeños borjes.

Como se aprecia en la fotografía de la izquierda, adosado al castillo existe un terreno con una extensión aproximada de 1.000 metros cuadrados integrando una serie de edificaciones ajenas a la fortaleza medieval. La principal de ellas, comunica con el patio interior del castillo.

La yuxtaposición de las diversas partes del edificio fortificado muestra claramente que es el resultado de diversas ampliaciones. Parece claro pues, que la construcciones más antiguas son un trozo de lienzo de perfil redondeado que se ubica en el lado sur y la propia torre del homenaje que domina el conjunto.

La torre del homenaje tiene sus lados desiguales y cierta tendencia piramidal. Además de algunas saeteras posee en su lado norte un ajimez cegado que forma arquillos apuntados. El extremo superior de la torre ha sido añadido posteriormente. Toda la obra está realizada en mampostería.

El resto de la casa fuerte es obra posterior mandada edificar por la familia de los Rojas, como lo demuestra la unidad de formas, los nuevos métodos de fortificación empleados y el uso de mejores materiales a base de sillarejo. En el año 1419 don Sancho de Rojas, obispo de Palencia y de Toledo fundó mayorazgo a favor de suy sobrino don Juan Rodríguez de Rojas incluyendo la villa de Cavia con su «casa fuerte». Don Juan contrajo matrimonio con doña María Enríquez, hija del almirante de Castilla. Los escudos que aparecen en la fortaleza pertenecen a la familia de los Rojas que se pueden ver en los borjes; mientras que los pertenecientes a los Mendoza, Enríquez, Rojas y Manrique se ubican en el lado frente de la casa fuerte. Estos escudos heráldicos pertenecen a la línea paterna y materna de ambos esposos y podría atribuirse su colocación al hijo de éstos, don Sancho de Rojas, pues era relativamente común que se colocasen las armas de los cuatro abuelos. Y es a este don Sancho a quien hay que atribuirle el refuerzo en las defensas de la vieja casa fuerte. Las razones de estas obras habría que buscarlas en la política belicosa que don Sancho practicó en la zona de Muñó, cuyo alfoz ocupa en el reinado de Enrique IV.

El interior de la fortaleza tiene un patio con pilastras, pudiendo fecharse entre los siglos XVII y XVIII. Cuenta con diversas estancias que durante el siglo pasado fueron utilizadas como cuadras para el ganado y almacenes para cubrir las necesidades campesinas. Del patio interior parten dos escaleras de piedra hacia la parte superior del castillo. La primera planta cuenta con un corredor con ventanas al patio; pero fue cerrado por la última familia que habitó la fortaleza. Éste corredor sirve de distribuidor de las diferentes estancias. Las que están orientadas hacia el suroeste son las que se encuentran en mejor estado de conservación, habiendo sido utilizadas hasta muy recientemente como residencia de verano por los actuales propietarios. Las estancias de la parte noroeste se encuentran más deterioradas y actualmente se utilizan como trastero. La torre del homenaje cuenta con cuatro plantas, tres de las cuales están siendo utilizadas como palomar en la actualidad.