Modulshop - Eine große Auswahl an neuen und hilfreichen Modulen für die modified eCommerce Shopsoftware
Neuigkeiten
  • Die modified eCommerce Shopsoftware ist kostenlos, aber nicht umsonst.
    Spenden
  • Damit wir die modified eCommerce Shopsoftware auch zukünftig kostenlos anbieten können:
    Spenden
  • Thema: TwengaBot ignoriert meine robots.txt

    frfantasy

    • Frisch an Board
    • Beiträge: 52
    • Geschlecht:
    TwengaBot ignoriert meine robots.txt
    am: 07. März 2013, 12:28:10
    Hallo, es ist mittlerweile echt nervig wieviel Traffic dieser besch... TwengaBot bei mir erzeugt. Leider ignoriert er anscheinend meine robots.txt. Habe bereits verschiedene Sachen ausprobiert:

    User-agent: TwengaBot-2.0
    Disallow: /
    User-agent: TwengaBot-2.0
    Crawl-delay: 120

    Hat jemand von euch ähnliche Probleme bzw. Ideen, was ich sonst noch unternehmen kann?
    mfg

    Linkback: https://www.modified-shop.org/forum/index.php?topic=25139.0

    Bernny_H_

    • Fördermitglied
    • Beiträge: 40
    • Geschlecht:
    Re: TwengaBot ignoriert meine robots.txt
    Antwort #1 am: 21. Februar 2021, 13:52:15
    Hallo  frfantasy,

    Vermutlich kommt jetzt meine Antwort zu spät, aber vlt. hilfts ja ein paar anderen Leuten mit Problemen, wie z.B. (war auch bei mir noch mit dem BigWare-Shop) dass dieser plötzlich extrem langsam wurde und teiweise sogar einen Timeout 501 Fehler erzeugte. Ursache bei mir ein Boot mit der IP.  17.58.xx.xx der im Viertelsekundenrythmus meine Seiten gescannt hatte, das über Tage und Wochen, ist sogar heute noch aktiv. Klar hat der die in der Robots stehende Anweisung User-agent: * / Disallow: /
    (*) war mal versuchsweise generelle Sperre für alle Spyder und Boots, einfach ignoriert. Abhilfe dann letztendlich in der Serverkonfiguration:  Einstellungen für Apache & nginx für hosting.... ->Zugriff auf Website verweigern ->Eigenen Wert eingeben: hier dann den Eintrag z.B. 17.58 (Ohne Punkt hinter 58, sperrt alle IP-Adressen die mit 17.58 beginnen) . Kann bei Euch auch wieder eine andere IP sein, da müsst ihr dann einfach mal in die Server-Protokolle schauen. Durch diesen Boot hatte ich extremen Ausfall an Bestellungen und bin dann hier zu modified gewechselt.
    LG Benny

    noRiddle (revilonetz)

    • Experte
    • Beiträge: 13.743
    • Geschlecht:
    Re: TwengaBot ignoriert meine robots.txt
    Antwort #2 am: 23. Februar 2021, 00:38:52
    ...
    Vermutlich kommt jetzt meine Antwort zu spät, ...
    ...

    Nöö, wieso, ist doch erst 8 Jahre her  :flee-mrgreen:
    Trade Republic - Provisionsfrei Aktien handeln
    15 Antworten
    10929 Aufrufe
    31. August 2011, 15:56:20 von franky_n
    10 Antworten
    4777 Aufrufe
    16. März 2014, 13:14:41 von dmun
    70 Antworten
    32706 Aufrufe
    01. Januar 2014, 22:44:04 von Zeeb-Shop