Le village de La Cavalerie se trouve sur une ancienne voie romaine, depuis sa fondation par les romains, puis ensuite il y eut les templiers qui s'y installèrent (il reste notamment des remparts à La Cavalerie. Puis les protestants de Millau ont détruit durante les Guerres de religions une partie de ces fortifications.
Le village s'est alors batit autour de ces remparts, sa grad mère racontait, qu'un jour le Drac est sorti de la maison du seigneur pour ensorceler des gens, il allait franchir la porte principale de la ville mais quelqu'un se signa devant une croix place de la mairie) et le Drac s'arreta net.