Dentro del patrimonio de la localidad, podemos encontrar el Castillo de Buey Negro (Bien de Interés Cultural).
Se trata de una fortaleza de grandes dimensiones, por lo que fue el castillo dominante de una gran extensión de territorio en el que estaban incluidas numerosas poblaciones. No podemos datar el origen de su construcción, sin embargo, se pueden encontrar documentos de finales del siglo XII, en los cuales ya se habla de la existencia del mismo.
El castillo se encuentra en una elevada montaña en el límite de los términos de Argelita y Ludiente, en el parapeto rocoso que se desploma sobre el estrecho que forma el río Villahermosa antes de llegar a la población, a 748 metros de altitud.
Su acceso está protegido por lienzos de muralla y una torre que defiende la entrada. En su interior, se encuentra una torre de planta ligeramente rectangular, levantada en robusta piedra de cantería.
Por tanto, se trata de una mesa rocosa (muela), con lo que queda de una hisn (fortificación), documentada en 1178 que fue linde entre las diócesis de Segorbe y Tortosa.
Tuvo una clara relación con el núcleo andalusí de Argelita en época islámica. Este castillo pronto dejó de ser utilizado. Sin embargo, en el siglo XIX, el lugar es reocupado por dos masías para tareas agrícolas, aprovechando, para su construcción, muchas de esas piedras.
Actualmente, está en ruinas, apreciándose los lienzos de murallas y los basamentos de torreones. Era un recinto fortificado desde el este hasta el sur, siendo el resto totalmente inaccesible, delimitando la cima. La actual forma castellanizada del nombre Buey Negro aparece documentada a partir de 1247. Su nombre parece provenir de un término botánico: Bu Nerzo.
La leyenda cuenta: "Cuando las tropas de Jaime I amenazaban la población, los hombres útiles de toda la comarca se refugiaron en el Buey Negro. Asediada la fortaleza, fueron inútiles las tentativas de fuerza hasta que en una noche oscura, recogidas más de mil cabras montesas, fueron emboladas con estopa y resina, obligándolas a ir en determinada dirección. Los refugiados que vieron trepar tantas luces por cortaduras y verticales, creéndose perdidos, algunos buscaron una muerte heroica y otros se despeñaron por las cortaduras".
