Overhead del Servizio di Monitoraggio GC in JVM: Causa Principale e Raccomandazioni

Descrizione del problema

The Sovraccarico del JvmGcMonitorServiceavvertenze indicano che la Java Virtual Machine (JVM) sta eseguendo la Garbage Collection (GC) dell’Old Generation. Durante questo processo, la JVM interrompe tutte le altre attività per recuperare memoria, portando a potenziali interruzioni come:

• Non rispondenzadei nodi Elasticsearch alle richieste dei client o del cluster.
• Disconnessioni dei nodi, che possono causare instabilità del cluster.

1. Uso eccessivo della Heap: Un alto numero di query complesse o troppi shard allocati in relazione alla dimensione della heap JVM configurata.
2. Configurazione delle risorse inadeguata: Impostazioni JVM o distribuzioni di shardi non allineati.

Scoperte e osservazioni iniziali

1. Tendenze di utilizzo della Heap:

• Ispeziona l’uso della heap JVM nel tempo utilizzando strumenti di monitoraggio (ad es., il Monitoraggio dello Stack di Kibana o le metriche da_nodes/statsAPI).
• Identifica periodi di saturazione della heap o pause GC prolungate.

1. Comando da utilizzare:
2. GET /_nodes/stats/jvm
3. Allocazione e dimensioni degli shard:

• Esamina il numero di shard per nodo e le loro dimensioni usando_cat/shards. Conteggi eccessivi di shard portano a un consumo di memoria più elevato.

1. Comando da utilizzare:
2. GET /_cat/shards?v
3. Complessità delle query:

• Analizza i log delle query lente o monitora le query eseguite frequentemente. Aggregazioni complesse o ricerche wildcard spesso sollecitano la memoria JVM.

1. Comando per abilitare i log lenti:
2. # Aggiungi a elasticsearch.yml
3. index.search.slowlog.threshold.query.warn: 10s
4. index.search.slowlog.threshold.fetch.warn: 5s
5. Schemi insoliti:

• Controlla per picchi nelle velocità di indicizzazione, di ricerca o altre attività anomale durante gli incidenti di sovraccarico GC.

Raccomandazioni

Ottimizza le impostazioni della Heap JVM:

• Assicurati che la dimensione della heap sia impostata correttamente (50% della memoria disponibile, limitata a 30 GB per evitare di disabilitare i puntatori di oggetti compressi).
• Abilita G1GC, che offre migliori prestazioni per heap di grandi dimensioni e scenari ad alta velocità.

Riduci il numero di shard:

• Combina indici piccoli o usaRollover API per gestire la crescita dell’indice.
• Punta a 20 shard per GB di memoria heap come linea guida generale.

Ottimizza le query:

• Riscrivi le query dispendiose per migliorarne l’efficienza (ad esempio, evita*o? nei wildcard).
• Cache per le query utilizzate frequentemente usando la cache delle query di ricerca.

Implementa il monitoraggio e gli avvisi:

• Usa gli strumenti di monitoraggio di Elastic per creare avvisi per un alto utilizzo della heap o tempi di GC lenti.

Scala il cluster:

• Se le richieste di lavoro superano costantemente la capacità, considera l’aggiunta di nodi al cluster per distribuire il carico.

Conclusione