Problem mit Bots von compute-1.amazonaws.com

[online-beobachter]

Hallo,

die letzte Woche habe ich massive Perobleme mit Crawler / Bots die von compute-1.amazonaws.com kommen.
Ich habe über 20 IPs Nummernkreise gesperrt aber, es tauchen dauern neue auf.
Es werden eigentlich fast immer nur Kategorieseiten und Bewertungsseiten aufgerufen und legen den Shop dadurch fast lahm.
Mir ist auch nicht ganz klar was die von dem Shop wollen? Preise?
Jedenfallss nervt es total, da die Kunden dadurch auch vom bestellen abgehalten werden.
Was kann man dagegen machen?

Gruß
Michael

Linkback: https://www.modified-shop.org/forum/index.php?topic=43262.0

[Jürgen]

Wir hatten das gleiche Probleme vor einiger Zeit:

Andauernde, seltsame Zugriffe aus Singapur ap-southeast-1.compute.amazonaws.com

Danach kamen die Zugriffe von amazonaws servern aus west und east coast Amerika.'

Eigentlich war der shop in der Zeit nicht mehr nutzbar, bis zu error 500 Fehlern.

Das ganze ging über mehrere Tage.

Das einzige was geholfen hat war zuletzt folgendes in der htaccess:

Code: XML  [Auswählen]

<RequireAll>
    Require all granted
    Require not host us-west-1.compute.amazonaws.com
    Require not host us-west-2.compute.amazonaws.com
    Require not host us-east-1.compute.amazonaws.com
    Require not host us-east-2.compute.amazonaws.com
    Require not host compute-1.amazonaws.com  
    Require not host crawl.amazonbot.amazon
    Require not host eu-central-1.compute.amazonaws.com
</RequireAll>

Gruss

Jürgen

[online-beobachter]

Vielen Dank, läuft nun schon besser.
Weiß jemand vielleicht den Sinn dahinter? 
Das man Preise scannt, mag ja plausibel zu sein, aber was bringt es tagelang Kategorien aufzurufen oder auch die ganzen Produktbewertungen?

[newbee79]

Moin.

Ich habe auch das Problem mit dem Amazon Bot. Versuche über die robots.txt brachten überhaupt nichts.
Dann hatte ich angefangen über die htaccess die ip's teils zu sperren, aber das ist ein Ding der Unmöglichkeit, weil die sich ständig ändern...

Jetzt habe ich das gerade mal versucht von oben mit dem "RequireAll", bringt aber auch nichts - der Bot kommt lustig weiter auf die Seite.
Habe auch die host Einträge vom Bot verglichen, das sind die gleichen wie oben.

Muss ich da sonst noch was machen in der htaccess?

Grüße,
David

[HaldOn]

Moin David,
du könntest den IP-Bereich des Bot sperren, ich denke von dort kommen wohl keine menschlichen Besucher.
Aber AWS hat eine Menge IP-Bereiche.

Oder du sperrst den Bot (wenn  du den Namen kennst, zB. aus den Logfiles) mit

Code: PHP  [Auswählen]

## - Blacklist via User Agent
<IfModule mod_rewrite.c>
 RewriteEngine On
 RewriteCond %{HTTP_USER_AGENT} ^.*(botname1|botname2).* [NC]
 RewriteRule ^(.*)$ - [F,L]
</IfModule>

in der .htaccess.

Gruß Andre

[newbee79]

Hi Andre,

ich schau' mir das Schauspiel ja über "who is online" an... und da ist kein Bot Name angegeben - die laufen als "Gast".

In welchen Logfiles muss ich da genau schauen?

Gruß David

[HaldOn]

Server Logfiles.

Gruß Andre

[newbee79]

Hi Andre,

habe mal in die Server-Logs geschaut und könnte der "ClaudeBot" sein.... habe den jetzt mal nach deiner Methode gesperrt... muss mal abwarten.

Das sind übrigens die Daten, die Utrace ausspuckt über die IPs:

IP Adresse   18.224.63.87 [T]
ISP   Amazon.com, Inc.
Bundesland   Ohio (OH)
Land   Vereinigte Staaten von Amerika (US)
AS   AS16509 Amazon.com, Inc.
rDNS   ec2-18-224-63-87.us-east-2.compute.amazonaws.com
Ping   N/A

Also Ip's sperren bringt nichts, sind zu viele verschiedene...

[HaldOn]

ClaudeBot ist nur einer von mehreren die über AWS kommen.

Code: PHP  [Auswählen]

## - Blacklist via User Agent
<IfModule mod_rewrite.c>
 RewriteEngine On
 RewriteCond %{HTTP_USER_AGENT} ^.*(ClaudeBot).* [NC]
 RewriteRule ^(.*)$ - [F,L]
</IfModule>

Weitere dann mit | (senkrechter Strich) trennen.

Gruß Andre

[newbee79]

Hi Andre,

super, vielen Dank.

Habe die beiden hier gesperrt: ClaudeBot und Bytespider
und jetzt scheint erstmal wieder Ruhe reingekommen zu sein!
Jetzt weiß ich wenigstens wie's geht

Vielen Dank nochmals und Grüßle!
David

[HaldOn]

Gerne

Gruß Andre

[p3e]

Wenn da so viele Bots kommen, dass Dein Shop zwischenzeitig nicht erreichbar ist oder spürbar langsam wird, stimmt vermutlich auch etwas mit dem Server nicht. Wie Du das beschreibst, geht das ja Richtung ddos-Angriff.