Ce lieu occupé depuis l'Antiquité à cause de sa position stratégique était déjà attesté dans une charte de 1102. Son nom lui a été donné par les Croisés qui revenaient de guerroyer en Terre Sainte pour la délivrance du Saint Sépulcre.
Elle manifeste aux yeux de tous les croyants la dévotion pour la vierge qui est apparue à un berger sur la colline de Notre Dame des Ayres. La Vierge aurait laissé l'empreinte de son pied sur le roc L'endroit de cette apparition est matérialisé par la pose d'un marbre à quelques mètres en contrebas de la chapelle.
Sur l'emplacement de l'ancienne chapelle détruite lors des guerres de religion par le baron de Faugères en 1567 et par le capitaine Bacou en 1578, la chapelle actuelle a été reconstruite début du 17ième siècle ( une plaque de calcaire, près de la porte d'entrée comporte la date 1773)..
La chapelle est adossée à une partie habitable où résidaient les ermites gardiens du sanctuaire et les voyageurs mis en quarantaine lors des grandes épidémies de peste de 1629 ou celles de 1720-1724.