JVM-GC-Monitoringdienst-Überlast: Ursachenanalyse und Empfehlungen

Problem Beschreibung

The JvmGcMonitorService Überkopf Warnungen zeigen an, dass die Java Virtual Machine (JVM) die Old Generation Garbage Collection (GC) durchführt. Während dieses Prozesses pausiert die JVM alle anderen Aktivitäten, um Speicher zurückzugewinnen, was zu potenziellen Störungen wie:

• Unreagibilität der Elasticsearch-Knoten auf Client- oder Clusteranfragen.
• Knotentrennungen, die zu einer Instabilität des Clusters führen können.

1. Übermäßige Heap-Nutzung: Eine hohe Anzahl komplexer Abfragen oder eine übermäßige Menge an Shards, die im Verhältnis zur konfigurierten JVM-Heap-Größe zugewiesen sind.
2. Schlechte Ressourcen-Konfiguration: Nicht abgestimmte JVM-Einstellungen oder Shard-Verteilungen.

Erste Erkenntnisse und Beobachtungen

1. Heap-Nutzungstrends:

• Untersuchen Sie die JVM-Heap-Nutzung im Laufe der Zeit mit Überwachungstools (z.B. Kibana’s Stack Monitoring oder Metriken aus der _nodes/stats API).
• Identifizieren Sie Zeiträume der Heapsättigung oder verlängerte GC-Pausen.

1. Befehl zur Verwendung:
2. GET /_nodes/stats/jvm
3. Shard-Zuweisung und Größen:

• Überprüfen Sie die Anzahl der Shards pro Knoten und deren Größen mit _cat/shards. Übermäßige Shard-Anzahlen führen zu einem höheren Speicherverbrauch.

1. Befehl zur Verwendung:
2. GET /_cat/shards?v
3. Abfrage-Komplexität:

• Analysieren Sie langsame Abfragelogs oder überwachen Sie häufig ausgeführte Abfragen. Komplexe Aggregationen oder Wildcardsuchen belasten oft den JVM-Speicher.

1. Befehl zum Aktivieren langsamer Logs:
2. # Hinzufügen zu elasticsearch.yml
3. index.search.slowlog.threshold.query.warn: 10s
4. index.search.slowlog.threshold.fetch.warn: 5s
5. Ungewöhnliche Muster:

• Überprüfen Sie Spitzen beim Indexieren, bei Suchraten oder bei anderen ungewöhnlichen Aktivitäten während der GC-Überkopfvorfälle.

Empfehlungen

Optimieren Sie die JVM-Heap-Einstellungen:

• Stellen Sie sicher, dass die Heap-Größe angemessen eingestellt ist (50% des verfügbaren Speichers, bis maximal 30 GB, um zu verhindern, dass komprimierte Objektzeiger deaktiviert werden).
• Aktivieren Sie G1GC, das bietet eine bessere Leistung für große Heaps und Szenarien mit hoher Durchsatzrate.

Reduzieren Sie die Shard-Anzahl:

• Kombinieren Sie kleine Indizes oder verwenden Sie die Rollover API zur Verwaltung des Indexwachstums.
• Zielen Sie auf 20 Shards pro GB Heap-Speicher als allgemeine Richtlinie ab.

Optimieren Sie Abfragen:

• Überarbeiten Sie teure Abfragen, um die Effizienz zu verbessern (z.B. vermeiden Sie * oder ? in Wildcards).
• Cachen Sie häufig verwendete Abfragen mit dem Suchabfrage-Cache.

Implementieren Sie Überwachung und Warnungen:

• Verwenden Sie die Überwachungstools von Elastic, um Warnungen für hohe Heap-Nutzung oder langsame GC-Zeiten zu erstellen.

Skalieren Sie den Cluster:

• Sollten die Arbeitslastanforderungen die Kapazität regelmäßig überschreiten, ziehen Sie in Betracht, dem Cluster Knoten hinzuzufügen, um die Last zu verteilen.

Fazit