Indeksering af bryggeriernes sider

Beers.dk kigger med jævne mellemrum på bryggeriernes egne produktsider for at finde øl, vi ikke kender i forvejen. Denne side forklarer hvad vi henter, hvad vi bruger det til, og hvordan du beder os om at lade være.

Hvem vi er

Vores forespørgsler kommer med denne User-Agent:

beers.dk-indexer/1.0 (+https://beers.dk/indexing/)

Er du i tvivl om, hvad der besøger din side, er det os, hvis der står beers.dk-indexer. Skriv til crawler@beers.dk, hvis noget undrer dig - også hvis du bare vil vide, hvad vi har om jer.

Hvad vi henter

Kun de informationer, der står på siden om selve øllet:

Øllets navn
Alkoholprocenten
Stilarten, altså om det er en IPA, en stout og så videre
Om øllet er mærket økologisk

Vi henter ikke billeder, priser, lagerstatus, tekster om bryggeriet eller noget som helst om personer. Vil vi bruge et billede, spørger vi om lov først.

Hvad vi bruger det til

Én ting skal siges tydeligt, for her adskiller vi os fra en søgemaskine: de få produktoplysninger som vi indhenter ender i beers.dk's egen database og bliver vist på vores sider som en opslagsside om øllet.

Vi sender også folk videre til jer. Hver side om en af jeres øl nævner bryggeriet og linker til jeres side hos os, og derfra er der link til jeres egen hjemmeside; det samme står på selve ølsiden.

Intet bliver offentliggjort automatisk. Alt, hvad indekseringen finder, lægger sig i en kø, som et menneske gennemgår og godkender, før det kommer på sitet.

Hvor ofte

Et par gange om måneden, og kun de få sider på jeres site, hvor øllene står - typisk mellem én og fem. Der går to sekunder mellem hver forespørgsel, og vi spørger med If-Modified-Since, så en side, der ikke er ændret, slet ikke bliver hentet igen. I praksis er det mindre trafik end én besøgende, der kigger sig omkring.

Sådan siger du nej

Vi følger robots.txt. Læg disse to linjer i jeres, så holder vi op med at indeksere siden - og også med at hente robots.txt oftere end nødvendigt:

User-agent: beers.dk-indexer
Disallow: /

Vil I hellere kun holde os væk fra en del af sitet, virker det også:

User-agent: beers.dk-indexer
Disallow: /shop/

Vi respekterer også den generelle User-agent: *-gruppe. Kan vi ikke læse jeres robots.txt, lader vi være med at hente noget - tvivl regnes som et nej.

Foretrækker I at skrive til os i stedet, gør det endelig: crawler@beers.dk. Vi fjerner også gerne det, vi allerede har om jer, hvis I beder om det.