Optimierte Sitemap

[ShopNix]

Gerade habe ich den ersten Abschnitt einer optimierten Sitemap fertiggestellt.

Die Grundidee habe ich aus einem kleinen CMS, das die Sitemap dynamisch generiert. Bei Google und Bing kann ich als Sitemap eine beliebige URL, auch mit Parametern, einreichen. Die werden auch verarbeitet,  das habe ich bei beiden geprüft.

Der Vorteil ist, dass die Sitemap genau zu dem Zeitpunkt erzeugt wird, zu dem die Suchmaschine geruht, sie abzurufen.

Nun kann ich einer SuMa natürlich nicht zumuten, ewig auf die Erzeugung zu warten. Die vorhandene Sitemap braucht entschieden zu lange für den Aufbau. Schaut man sich die Anzahl der Queries an, die während des Aufbaus an die Datenbank gehen, wird auch klar, warum das so ist.

Der Testdatenbestand, auf dem ich aktuell gearbeitet hat, besteht aus 290 aktiven Kategorien und 4 Artikeln, Englisch ist inaktiv, wenn auch nicht gelöscht. Das vorhandene Modul meint, es habe 582 Kategorien und 8 Produkte exportiert.

Dazu werden sage und schreibe 3622 Queries an die Datenbank geschickt.

Nun habe ich die Sitemap für die Kategorien gebaut und komme dabei mit 17 Queries auf dem gleichen Datenbestand aus, das Ergebnis kommt sofort.

Mit ein paar Spieldaten habe ich das Dingen ins Netz gestellt, wer mag kann unter

http://bastelschwein.de/xtm/siteMap.php

mal probieren.

Das Dingen hat (abgesehen von den fehlenden Artikeln) noch ein paar Schwächen. Lösungsmöglichkeiten würde ich gern mit Euch diskutieren.
 

• Eigentlich will ich die Sitemap nicht jedem geben. Es toben allzuviele Schädlinge durchs Netz. Ich dachte, ich könnte die Routine durch einen reverse lookup absichern. Wer nicht zu den Erwünschten gehört, kriegt eine leere Seite oder eine Fehlermeldung
  
• Weil ich das Rad nicht neu erfinden wollte, habe ich auf die im Shop vorhandenen Funktionen zur Aufhübschung der URL zruückgegriffen. Ist das Team evtl bereit, eine dieser Funktionen ins /inc-Verzeichnis zu packen, dann könnte ich das (vermutlich besser gepflegte) Original inkludieren
• Aktuell gebe ich die Sprache fix vor. Ist es für Euch in Ordnung, bei den Webmastertools einen Link pro Sprache anzugeben? Ich halte das für die ideale Variante, weil ich damit auch die Suchergebnisse pro Geotarget in den Tools einstellen kann.
• Hab' ich vergessen.

Linkback: https://www.modified-shop.org/forum/index.php?topic=28918.0

[ShopNix]

So, nun sind auch die Produkte drin.

Hier eine Ausgabe der Testmaschine, die ich selbst kaum glauben kann:

Code: SQL  [Auswählen]

mysql> SHOW SESSION STATUS LIKE '%quer%';
+-------------------------+----------+
| Variable_name           | VALUE    |
+-------------------------+----------+
| Com_empty_query         | 0        |
| Last_query_cost         | 0.000000 |
| Qcache_queries_in_cache | 328      |
| Queries                 | 82730    |
| Slow_queries            | 0        |
+-------------------------+----------+
5 ROWS IN SET (0.02 sec)

mysql> SHOW SESSION STATUS LIKE '%quer%';
+-------------------------+----------+
| Variable_name           | VALUE    |
+-------------------------+----------+
| Com_empty_query         | 0        |
| Last_query_cost         | 0.000000 |
| Qcache_queries_in_cache | 328      |
| Queries                 | 82748    |
| Slow_queries            | 0        |
+-------------------------+----------+
5 ROWS IN SET (0.00 sec)

mysql> SELECT COUNT(*) FROM products;
+----------+
| COUNT(*) |
+----------+
|     4438 |
+----------+
1 ROW IN SET (0.00 sec)

mysql> SELECT COUNT(*) FROM categories;
+----------+
| COUNT(*) |
+----------+
|      318 |
+----------+
1 ROW IN SET (0.00 sec)

mysql> SHOW SESSION STATUS LIKE '%quer%';
+-------------------------+----------+
| Variable_name           | VALUE    |
+-------------------------+----------+
| Com_empty_query         | 0        |
| Last_query_cost         | 0.000000 |
| Qcache_queries_in_cache | 407      |
| Queries                 | 84227    |
| Slow_queries            | 0        |
+-------------------------+----------+
5 ROWS IN SET (0.01 sec)

mysql> SHOW SESSION STATUS LIKE '%quer%';
+-------------------------+----------+
| Variable_name           | VALUE    |
+-------------------------+----------+
| Com_empty_query         | 0        |
| Last_query_cost         | 0.000000 |
| Qcache_queries_in_cache | 15314    |
| Queries                 | 184757   |
| Slow_queries            | 0        |
+-------------------------+----------+
5 ROWS IN SET (0.00 sec)
 

die ersten beiden Blöcke zeigen die Zahl der Queries vor und nach meiner Sitemap, die letzen beiden vor und nach der Sitemap aus der aktuellen Version 1.06 r4642

Wenn ich meinen Augen trauen kann, habe ich also runde 100.000 Queries eingespart. Nun komme ich mir fast schon geizig vor.

[Modulfux]

Solche Verbesserungen habe ich schon selber durchgeführt, insbesondere in Verbindung mit Shopstat-URL und einer hohen Anzahl von Kategorien. Wenn man dann noch ein Megadropwdown oder Superfish für die Kategorien verwendet, schnellt die Anzahl der Queries in die Höhe.

Und gerade bei der Sitemaperstellung ist es ein enormer Vorteil, sowohl für den User, als auch den Bot selber, wenn die Erstellung sehr flott geht.

Gruß
Ronny

[ShopNix]

Sehr schön.

Warum musste ich nun das Rad noch einmal erfinden? 

[Modulfux]

Nein, das hast du in den falschen Hals bekommen. Es handelte sich nur um Spielereien auf einem lokalen System. Ich hatte dort nachgeforscht, weil ich bei 190 aktiven verschachtelten Kategorien und Shopstat-URL allein über 800 Queries nur für den Kategoriebaum hatte.

Wenn es "releasefähig" gewesen wäre, kannst du mir glauben, dass ich das schon längst hier Kund getan hätte.

Gruß
Ronny

[ShopNix]

Na gut, ich verzeih' Dir nochmal.

Auch wenn ich mir eigentlich Rückmeldungen zum Thema gewünscht hätte, von der Allgemeinheit besonders zum Punkt 1,
vom Team zu Punkt 2.

Das Dingen soll sich in die Umgebung des Shops einfügen, und deshalb würde ich gern die Funktion shopstat_hrefMask allein einbinden. Die liegt momentan in einem größeren Block, den ich wegen eines Rattenschwanzes von Abhängigkeiten nicht inkludieren will.

[web28]

Der derzeitige 1.06 Sitemap Generator (google_sitemap.php) ist schlecht, bzw. nur für Shops mit relativ wenigen Artikeln brauchbar.

Einen OnTheFly Sitemapgenerator sollte man nicht machen, der funktioniert nur mit einer kleinen Artikelanzahl schnell genug. Bei meheren tausend Artikeln wird es schon eng.

Für mehr Performance bei vielen Kategorien kann man sich die Funktion

Code: PHP  [Auswählen]

function buildCAT($catID)

bei diversen Exportmodulen ansehen.

Für die URLs sollte grundsätzlich immer die Funktion xtc_href_link benutzt werden.

Neue Ideen zur Performanceverbesserung sind hier immer willkommen!

Gruss Web28

[ShopNix]

[...]
Einen OnTheFly Sitemapgenerator sollte man nicht machen, der funktioniert nur mit einer kleinen Artikelanzahl schnell genug. Bei meheren tausend Artikeln wird es schon eng.
[...]

Du würdest Dich wundern.

Aber gut, der Ball ist bei mir. Ich bastle noch eine Stoppuhr mit rein, dann kann ich Zahlen nennen.

[jannemann]

Guten Abend, shopnix,

Deine neue Sitemap gefällt mir!

Wenn gewünscht kann ich mich als Tester anbieten. Wir haben ca 8900 Artikel im Shop und zwei Sprachen aktiv. Du kannst mich gerne per Mail anschreiben.

Schöne Grüße,
Jan

[noRiddle (revilonetz)]

Interessantes Projekt, ShopNix.
Bin gespannt was du letztendlich anbieten kannst.
Leider fehlt vielen die Zeit sich um Zwischentests zu kümmern (auch mir).
Deshalb poste ich auch (meist) nur fertige und getestete Erweiterungen/Module, eben weil es fast allen so geht
(die die sowieso nur abgreifen wollen mal außen vor gelassen).

Gruß,
noRiddle

[ShopNix]

4.0871779918671 s
4.438 Artikel in 318 Kategorien.

Noch irgendwelche Fragen?

[noRiddle (revilonetz)]

Spitzenwert.
Caching benutzt ?
Wenn ja, was ist beim allerersten Versuch die Sitemap zu generieren ?

Gruß,
noRiddle

[ShopNix]

Keine Tricks, kein doppelter Boden.

http://shopnix.de/downloads.html

[Modulfux]

Top-Wert. Wieviele Queries?

Gruß
Ronny

[voodoopupp]

Also ich finde das auch ein sehr interessantes Projekt.... Nur kann ich technisch nichts dazu beitragen

Aber bitte dringend Geld weitermachen, die aktuelle Sitemap Funktion ruft nicht unbedingt Begeisterungsstürme hervor