Shopbereich extreme Ladezeit

[papa.schlumpf]

Hallo allerseits,
Wir haben folgende Situation
viele Kategorien ~ 2000
Artikelanzahl ~ 900.000
Time to First byte  20 bis 24 Sekunden.
Server Centos 8, (Vserver mit garantierter Hardware Ressourcen) (netcup)
4 Core mit 16 GB Ram + Plesk.
Apache 2.4 mit vorgeschaltetem NGINX Cache + FPM
PHP (7.3.18)
Settings
Memory Limit 1024
Post / Upload Max 512MB
Als Design Karls Bootstrap 4 ( auch mit dem Standarddesign gleiche Timings)
liegt das evtl am Rendern der (evt zu vielen )Kategorien
CPU Last schwillt an bis 100 %
Für Hilfe wäre ich dankbar

Linkback: https://www.modified-shop.org/forum/index.php?topic=41119.0

[papa.schlumpf]

Nachtrag läuft auf MySQL 5.5.5-10.3.17-MariaDB

[online-beobachter]

Welches Template verwendest Du?

[Q]

Hat er doch geschrieben:

Als Design Karls Bootstrap 4 ( auch mit dem Standarddesign gleiche Timings)

[fiveBytes]

Hallo papa.schlumpf,
bei einer solchen Anzahl Kategorien/Artikel wirst Du nicht drum rum kommen diverse SQLs anzupassen. Ich habe vor einiger Zeit mal einen Shop mit rund 3K Kategorien und 1.5 Mio Produkten umgestezt, das ging nur mit diversen Änderungen/Anpassungen und auch mit meinem "Servermenschen" habe ich Tage-/Wochenlang rumgetrickst, um die Sache einigermaßen Ladezeitneutral hinzubekommen.

Im ersten Step würde ich mal nach und nach die einzelnen Boxen rausnehmen (Bestseller, Neue Produkte usw.), dann siehst Du hoffentlich schon an welchen Stellen Du ggf. was rausholen kannst. Hier sind das dann auch erst mal nur Änderungen an Templatedateien (templates/DEIN_TEMPLATE/source/boxes). Wenn das nicht reicht, musst Du Dich weiter durcharbeiten es gibt da diverse Software/Tools, um die Serverlast der einzelen SQLs bei einem Seitenaufruf anzuzeigen (im BackEnd kannst Du auch einstellen, dass Logfiles mit Ladezeitintensiven SQLs erzeugt werden).

Im Livebetrieb sollte der Shop außerdem mit aktivem Cache laufen, das bringt dann auch noch mal wein wenig Geschwindigkeit.

Du kannst Dich dazu auch gern mal mit mir direkt in Verbindung setzen (Kontaktdaten sind auf meiner Webseite zu finden), gerade wenn es ums "Servertuning" geht, könnte ich Dich dann ggf. noch meinem Servermenschen zusammenbringen.

Gruß Stefen

[Timm]

Die Frage wäre ja auch, ob das plötzlich auftrat und vorher anders war? Und ob es sich um alle Shopseiten handelt oder nur um die Startseite zb.

Und was sagt denn die Netzwerkkonsole des Browsers oder Web Page Testtools, wo die meisten Zeit für drauf geht?

Gruß Timm

[papa.schlumpf]

[ Für Gäste sind keine Dateianhänge sichtbar ]

[ Für Gäste sind keine Dateianhänge sichtbar ]

Nein das Problem war von Anfang an,
 an den Designs wurde auch nichts verändert.
Was mir auffällt Beim Start des Shops
Der prozentuale CPU  Anteil von Mysql blitzartig auf 100 % hochgeht.
Der prozentuale Ram Anteil  grade mal 2 %.
Gruss
Chris

[online-beobachter]

Ich kenn das Problem auch von vielen Templates, das Bootstrap 4 hatte ich bisher aber nicht getestet.
Letztes Jahr habe ich die Erfahrung aber auch gemacht und das falsche Template kann einen Server in die Knie zwingen.
Aktuell nutze ich das Bootstrap 3, aber auch die Standardtemplates funktionieren einwandfrei, würde ich mal an Deiner stelle testen. Die Funktionen wie Kunden kauften auch sind dabei extrem fordernd, am besten mal auf Null setzten.

[papa.schlumpf]

Das Problem ist beim Standard Theme genauso.
So Zwischenstand
nach Veränderung der  my.cnf zu
innodb_buffer_pool_size=8192M
query_cache_size=512M

 konnte jetzt die Ladezeit halbiert werden auf ~ 10 Sekunden.
Was natürlich immer noch zu lange ist.

[papa.schlumpf]

So weiterer Zwischenstand .
Dürfte ganz interessant auch sein für User die mal auf ein ähnliches Problem stossen.
Mit aktiviertem Cache , DB-Cache
Veränderung der My.cnf  zu
innodb_buffer_pool_size=8192M
query_cache_size=512M

 sieht es jetzt gut aus.
Ladezeit  160 ms
Gruss Chris

[sb_cbo-do]

Hallo,

ich glaube die Komprimierung der Webseite funktioniert bei dir nicht richtig.
Ich habe das gleiche Problem letzte Woche auch gehabt.
Ich lasse die Komprimierung durch den Apache bearbeiten und habe deshalb bei nginx "Intelligente Bearbeitung statischer Dateien" deaktiviert und "Statische Dateien direkt durch nginx bedienen" aktiviert, hier habe ich aber css, js, ico, jpg & jpeg entfernt und dann wurde die Webseite wieder durch den Apache bearbeitet und die Webseite wurde schneller.
Ich hoffe das hilft etwas.

Ach "nginx-Caching aktivieren" habe nicht nicht aktiviert.

Überprüfe auch mal die Sprachen, weil bei die englischsprachige Seite nicht richtig angezeigt wird.
Da fehlen zum Beispiel die Kategorien.

Gruß,

Sven

[papa.schlumpf]

Guter Tipp aber
Es ist nicht ein Apache/Nginx Problem sondern durch die vielen Artikel/Kategorien MYSQL CPUlast Problem.
Durch aktiviertem DB Cache ist die Ladezeit auf 100 bis 250 ms runtergangen.
Gruss
Chris

[swolfram [templatix]]

Der DB-Cache vom Shop ist eine gute Lösung, aber langfristig sollte dennoch auch der Shop optimiert werden und unnötige Abfragen zumindest aus dem Template erstmal entfernt. Einige Tipps wurden ja bereits gegeben.

Wenn Dein Cache mal nicht greift oder bei einem Abruf erneuert werden muss, dann hast Du dort einen Kunden (oder Suchmaschine) die dann trotzdem 20 Sekunden wartet und den Server blockiert, bis der neue Daten sendet. Es kommt also immer wieder zu solchen Spitzen.

Das Problem ist tatsächlich in den meisten Templates, dass für diese Super-Megamenüs oder mobile Navigation halt einmal der komplette Kategoriestamm geladen werden muss. Das Standardtemplate hingegen kommt nur mit der jeweils aktuellen Kategorieebene aus und ist daher auch deutlich schneller.

[Scubi]

Ende Mai habe ich meinen Shop auf 2.0.5.1 mit Karls Bootstrap4 updaten lassen. Seit dem ist mein Shop auch wieder erheblich langsamer geworden. War so stolz, das ich mobil bei 96 und Desktop 98 bis 100 Punkte hatte. Mobil jetzt ehrer um die 70 Punkte.

Jetzt fängt das ganze Tunen wieder von vorne an. Muss nur herausfinden, ob es am Shop oder am Template liegt. Da ich das Template aber auch vorher verwendet habe, nur die letzten Änderungen mit implementiert wurden, habe ich eher die neue Shopversion im Verdacht.

Edit: Bei den Produkten ist Paypal Ratenzahlung einer der Übeltäter. Die hatte ich vorher nicht drinne.

[sb_cbo-do]

Hallo Scubi,

an der neuen Shopversion liegt es nicht. Bei uns läuft das Bootstrap 4 Template eigentlich recht gut mit der aktuellen Shop Version v2.0.5.1 rev 12725 .
Vielleicht funktioniert bei dir die Komprimierung auch nicht richtig.
Mit der Mobilenvariante bin ich auch nicht so ganz zu frieden, aber selbst da liegt der Shop jetzt bei 90 - 96 Punkten.
Am Anfang lag ich aber auch oft eher zwischen 80-90 Punkten bei Google.
Ich musste einige Einstellungen am Server verändern. Das größte Bremse war aber die nicht richtig funktionierende Komprimierung.

Gruß,

Sven