Voor site-eigenaren

UnwornBot, de lezer van Unworn

UnwornBot is de crawler waarmee Unworn productpagina's en catalogi leest die verkopers als hun eigen producten opgeven. Hij leest één pagina tegelijk, hooguit één verzoek per seconde per site, en nooit meer dan een verkoper heeft gevraagd.

Wat hij leest

Een productpagina die een verkoper in Unworn heeft geplakt, of de catalogus van een webshop waarvan de verkoper zegt dat die van hem is. Hij leest de publieke productgegevens op de pagina: titel, prijs, maten, samenstelling, afbeeldingen. Hij leest geen klantpagina's, geen afrekenpagina's en niets achter een login, en bewaart een pagina hooguit dertig dagen.

Waar hij vandaan komt

De user agent is UnwornBot/1.0 (+https://unworn.io/bot). Verzoeken komen van deze adressen:

De adressen worden hier gepubliceerd zodra de servers vaste adressen hebben.

Vragen om te stoppen

Mail naar [email protected] met je domein. We zetten je site dezelfde werkdag op het respecteren van de robots.txt en noteren wie het vroeg; een disallow blokkeert daarna elke lezing.

[email protected]