Dominant l'anse de Vauville, le prieuré de St Hermel fut fondé en 1160 par Richard de Vauville, chevalier normand qui suivit Guillaume lors de la conquête de l'Angleterre. Il aurait été construit sur les ruines d'un prieuré plus ancien détruit lors des invasions Vikings. Constitué d'un bâtiment principal, d'une chapelle et de dépendances, il est ceint de hauts murs. Actuellement en schiste, sa toiture du XIIe siècle devait être en chaume. Une charte réservait une certaine quantité de roseaux de la mare de Vauville pour son entretien.

Selon la légende...

Une jeune fille fut poussée par son père à épouser un seigneur qu'elle n'aimait pas. Devant l'autel, elle s'empoisonna afin de ne pas lui appartenir. Désespéré, le seigneur s'enfuit. Il fut recueilli à demi-mort par les moines d'un monastère. Suite à son voeu d'entrer dans les ordres, le père abbé lui conseilla de partir avec d'autres moines fonder un monastère. Ils prirent la mer, essuyèrent de fortes tempêtes et s'échouèrent sur une plage au pied de collines sauvages recouvertes d'une vaste lande. Ils décidèrent d'y bâtir une chapelle et des dépendances. Lors d'une prière dans la chapelle parmi les habitants du village, il aperçut une jeune femme ressemblant à s'y méprendre à sa défunte promise. Les noces eurent lieu. Hélas, l'épouse décéda lors de l'accouchement de leur enfant. Son immense douleur le contraignit une nouvelle fois à fuir. Le reste de sa vie fut consacrée à l'évangélisation de peuples païens.