Eldgammel folketro i Larvik-distriktet har knyttet steinsetningen på Agnes til det kjente middelaldersagnet om Hagbard (Habor) og Signe, som folkevisen Bendik og Årolilja er diktet over. Dette interesserte den islandske folkeminnegranskeren, Arni Magnusson, så sterkt at han kom hit for å skrive ned historien omkring 1700. Av bønder på Agnes fikk han vite at «her er begraven Hagbard Konge, efter at han var bleven hængt, fordi han hafde locket en Konge daatter ovenfor Laurvigen, hvor det heeder Nannset. De sige, at den Konge daatter, Signelild, blef brændt (brændte sig self op) paa Foreskrefne Nannset». Magnusson legger til at man kunne se fra Nanset og like til det sted hvor Hagbard ble hengt og begravet, etter som «der da icke have været skou, som der nu er».

Om selve graven fortalte bøndene at «vester steenen staar hos Hagbards hoved, øster steenen ved føderne og de 2de side steene ved hans axler». Videre at fire borttatte steiner skal ha stått ved Hagbards albuer og knær. Magnusson konkluderer humoristisk med at han i så fall må ha vært temmelig stor av vekst. For mellom de to endesteinene var det ca. 66 fot.

Sagnet om Hagbord og Signe er, som så mange andre slike, påvirket eller regelrett innført utenfra. Den norske varianten har nådd oss via Danmark, hvor den kan spores tilbake til vikingtiden. Men de samme ingredienser av heftig lidenskap, trofast kjærlighet, uforsonlig hat og grusom hevn finner vi også igjen i det frankiske middelaldersagnet Tristan og Isolde.

«Hagbard elsker Signe, datteren til kong Sigar», heter det i en geografinøytral omtale av den norske versjonen. «Han kan ikke få henne, for han har drept brødrene hennes på en vikingferd. Hagbard kler seg da i kvinnfolkklær og kommer på den måten inn i jomfruburet til Signe.

Men han blir gjennomskuet og skal henges... Før han skal henges ber han om at kappen hans henges først. Det blir gjort. l samme øyeblikk slår flammer opp fra Signes jomfrubur. Hun brenner selv inne. Nå ber Hagbard om å bli hengt. Han lengter etter å dø... Men fra havet kommer Hagbards bror, vikingen Hake. Han brenner kong Sigars borg og dreper alle.»

l Norge har sagnet om Hagbard og Signe igjen gitt motiver til den kjente folkevisa fra senmiddelaideren, Bendik og Årolilja.

Navnet skriver seg fra en naturformasjon, Jomfruburet, som ligger på det høyeste punktet nord for bilsnuplassen: En stor steinblokk hviler over en grunn fjellkløft, slik at det dannes et hulrom med åpning i begge ender. Ikke spesielt merkverdig, men til stedet knytter det seg et kjent sagn, Hagbord og Signe, som må ha levd på folkemunne i mange hundre år i LARVIK. l dag sitter vi bare igjen med fliker av de gamle historiene, men at det dreier seg om et kjærlighetsdrama er ikke vanskelig å forstå:

Signe brente seg inne, fortelles det et sted, «da en skinsyg Terne hidsede (heiset) Hagbards blaa Kappe op i Galgen. Til Straf ble Ternen levende begraven, og ved Nattetid hører man endnu hendes Skrig og Signes Sang». Jens Kraft forteller i sine Norgesbeskrivelser fra 1820-35 at «det sted hvor hans (Hagbards) elskede Signe af Hengivenhed til ham frivilligen endte sine Dage, skal have været paa Gaarden Fritzæs Grund ved Farisvandet, hvor er et sted som endnu kaldes Jomfruburet». Det samme framgår av Fayes Norske Folkesagn fra 1840.