Suchmaschine eintragen

[hzs123456]

modified-shop_2.0.3.0
tpl_modified_responsive_v2.0.3.0

Hallo
Ich habe "apnic" in xtc_check_agent.inc eingetragen, aber es werden trotzdem mehrere IP's als Gast angezeigt:
159.138.158.98
159.138.157.193
159.138.153.199 etc.
Was ist falsch?
Danke

Linkback: https://www.modified-shop.org/forum/index.php?topic=40676.0

[sEdeMi]

Du scheinst das mit der xtc_check_agent.inc offenbar falsch verstanden zu haben. apnic ist kein Bestandteil eines User Agents. apnic steht für:"Regional Internet Registry administering IP addresses for the Asia Pacific"
https://www.apnic.net/

Die aufgeführten IP Adressen gehören zu HUAWEI, bzw. dessen Cloud Server. Wenn Du bestimmte IP Adressen, bzw. User Agents von vermeintlichen Bots hinzufügen willst, müsstest Du mal in der access_log vom Server nachsehen. Zu den IP Adressen findest Du dann auch den String für den User Agent. Der muss aber eindeutig sein, sodass es sich bei diesem wirklich um einen Bot handelt.

[hzs123456]

Hallo

Danke erstmal, aber das ist mir nicht verständlich:
> wo finde ich die access_log?
> reicht es nicht, unter "wer ist online" auf die IP zu klicken, um das nötige herauszufinden?
> "huawei" ist auch in der  xtc_check_agent.inc eingetragen ... also warum werden diese IP's nicht als Suchmaschine erkannt?

[Timm]

Das access_log findest du im Ordner log welches eine Ebene über deinem shoproot liegt. Allerdings nur wenn dein Hoster dich auf diese Ebene lässt.

Dort musst du nach den ip Adressen suchen und gucken was dort als User Agent angegeben wurde.

Gruß Timm

[sEdeMi]

1.) access_log == Deinen Provider fragen, weil die Location unterschiedlich ist. Du solltest aber ein wie auch immer geartetes Control Panel zu Deinem Server haben, worüber Du eigentlich Zugriff auf die access_log haben solltest. Andernfalls Deinen Provider fragen, der sicherlich ein Wiki hat in dem mit Sicherheit auch drinsteht, wo Du die access_log findest.

2.) Wer ist online == Da steht kein User Agent drin. Den brauchst Du aber und findest Du in der access_log.

3.) Huawei == Du verwendest eine ältere Modified Version und da mag Huawei noch drin stehen. Huawei ist aber kein User Agent. Der Verweis auf Huawei galt nur der Nennung des Eigentümers der IP Adresse und hat mit der xtc_check_agent.inc.php rein gar nichts zu tun.

Dein Problem löst sich ohne weiteres in Frage stellen, wenn Du die access_lo lokalisiert hast. Dort steht drin, was Du brauchst.

[hzs123456]

ok ... zur Info: "huawei" habe ich selbst hineingeschrieben
ich kopiere mal das raus, was bei den IP's 159.138.x.x steht:

159.138.158.212 - - [31/Dec/2019:03:13:57 +0100] "GET /shop/..................... HTTP/1.1" 200 20 "-" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN" www.....................

159.138.152.195 - - [31/Dec/2019:03:13:58 +0100] "GET /shop/..................... HTTP/1.1" 200 9448 "-" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN" www.....................

159.138.156.23 - - [31/Dec/2019:03:15:09 +0100] "GET /shop/..................... HTTP/1.1" 200 20 "-" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36" www......................

159.138.151.190 - - [31/Dec/2019:03:15:13 +0100] "GET /shop/..................... HTTP/1.1" 200 9520 "-" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36" www......................

hier andere IP's ... erkenne ich an dem Link, dass es sich um eine Suchmaschine handelt?
85.25.185.103 - - [31/Dec/2019:03:50:10 +0100] "GET /shop/........................ HTTP/1.1" 200 20 "-" "Mozilla/5.0 (compatible; adscanner/)/1.0 (http://seocompany.store; spider@seocompany.store)" www.........................
54.36.150.110 - - [31/Dec/2019:03:51:08 +0100] "GET /shop/........................ HTTP/1.1" 200 37509 "-" "Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)" www.........................
207.46.13.43 - - [31/Dec/2019:03:51:51 +0100] "GET /shop/........................ HTTP/1.1" 200 10874 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" www........................
216.244.66.247 - - [31/Dec/2019:03:52:13 +0100] "GET /shop/........................ HTTP/1.1" 301 278 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" www.........................

[sEdeMi]

Also abschließend zum Thema Huawei. Huawei taucht hier als Gerätehersteller auf, ist für die Verwendung in der xtc_check_agent.inc.php allerdings nebensächlich. Vergiss also mal Huawei.

Bei den zuletzt aufgeführten Einträgen, die Du fett markiert hast, kommen wir der Sache schon näher. Was Du jetzt machen musst, sind die Anhaben zu:

adscanner
AhrefsBot
DotBot
Der Bingbot sollte schon vorhanden sein.

mit den schon vorhandenen Einträgen in Deiner xtc_check_agent.inc.php abzugleichen. Wenn diese also fehlen, kannst Du die dort nach dem gleichen Schema der schon vorhandenen eintragen. Du kannst aber auch die ggf. aktuellere xtc_check_agent.inc.php aus der aktuellen Modified Version verwenden, sofern dieser aktueller ist. Das kann ich Dir aus dem Gedächtnis heraus leider nicht sagen. Du solltest jetzt aber wissen, was und wie was zu tun ist, oder?

[hzs123456]

Sagen wir so: Ich komme der Sache näher

"Der Bingbot sollte schon vorhanden sein."
Woran erkenne ich das? "Bing" oder "Bingbot" steht ja nicht in der xtc

[sEdeMi]

Wenn Bing oder bingbot nicht drin steht, ergänze diesen einfach. Der Bingbot scheint auch in der aktuellen Version zu fehlen.

Zu Deinem Verständnis wie das funktioniert. Bei jedem Aufruf des Shops übersendet der Client u.a. den User Agent an den Webserver, bzw. an den Shop und der Shop schaut in der xtc_check_agent.inc.php nach, ob es Übereinstimmungen mit Fragmenten im User Agent gibt. Ist dies der Fall, wird er als Bot identifiziert und taucht dann nicht unter Who is Online auf. Alles recht simple, weshalb auch fehlertolerant, aber mehr will dieses Who is Online auch nicht. Ich könnte meinen User Agent also ganz schnell ändern und mich als Googlebot ausgeben und Du könntest mich in Who is Online nicht sehen. Häng Dich also nicht zu sehr daran auf.....

[Tomcraft]

Die Ergänzung des Bing Bots habe ich in Ticket #1732 festgehalten.

Grüße

Torsten

[hpzeller]

[...]
"Der Bingbot sollte schon vorhanden sein."
Woran erkenne ich das? "Bing" oder "Bingbot" steht ja nicht in der xtc

Der Code in der inc/xtc_check_agent.inc.php ist bezüglich der Detektion der Crawlers sehr indifferent, deshalb genügt das Wort "bot" in $Robots um Bingbot welcher sich z.B. mit dem User Agent String  "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" meldet als Crawler zu identifizieren.

Gruss
Hanspeter

[hzs123456]

ok danke an alle
 

[Timm]

Hier Dauerzugriffe durch chinesische IPs eine Lösung, wie man die sperren kann. Bringt ja nichts, wenn man die Einträge bündelt und man sie so nur einmal in whois online sieht, die aber dennoch den Server unnötig belasten. Mal abgesehen davon, dass die nicht alle nett sind.

Gruß Timm

[sEdeMi]

falsches Thema

[Biki]

Hallo,
update auf 2.0.5.1 - Bingbot und Baidu sind eingetragen - wunderbar
und es soll auch der Name der Suchmaschine bei Whoisonline sichtbar sein.
Tolle Idee aber leider funktioniert die "foreach Lösung" nicht ganz.
Mit dem Code von noRiddle aus dem Ticket #1796 klappt es super:

Code: PHP  [Auswählen]

for ($i=0, $n=count($bot_array); $i<$n; $i++) {
        if (strpos($user_agent_1, $bot_array[$i]) !== false || strpos($user_agent_2, $bot_array[$i]) !== false) {
          if($name === true) {
             return $bot_array[$i];
          }
        return 1;
//new if-clause, noRiddle

Man ist ja schließlich neugierig, welche Suchmaschine sich da so 'rumtreibt ...
Dankeschön dafür