Crawler

Unser Crawler: shopfinder

Wenn Sie den User-Agent shopfinder/0.1 (+https://sellmorecountries.com/crawler) in Ihren Logs gesehen haben, waren das wir.

Was er tut

Er ruft öffentliche Seiten von Onlineshops auf, um Shops zu finden, denen eine übersetzte Version helfen könnte: Sprachen des Shops, Länder, Produktanzahl und die öffentliche Kontaktadresse. Er liest nur Seiten, die jeder öffnen kann. Er meldet sich nie an, füllt nie Formulare aus und versucht nie, Schutzmaßnahmen zu umgehen.

Wie rücksichtsvoll

• Er befolgt Ihre robots.txt.
• Mindestens zwei Sekunden zwischen zwei Anfragen an denselben Shop und höchstens 14 Anfragen pro Shop und Durchlauf.
• Er wird langsamer, wenn ein Server das verlangt, hört nach wiederholten Fehlern auf und versucht es nach einer Ablehnung nie erneut.

Wenn jemand auf dieser Website eine kostenlose Vorschau anfragt, öffnen wir außerdem einmal die Startseite dieses Shops, um zu prüfen, ob er auf Shopify läuft. Dabei melden wir uns als SellMoreCountries-preview/1.0.

So widersprechen Sie

Fügen Sie das in Ihre robots.txt ein:

User-agent: shopfinder
Disallow: /

Oder schreiben Sie an hello@sellmorecountries.com mit Ihrer Webadresse, und wir nehmen sie dauerhaft in unsere Sperrliste auf.