지식 비트

데이터 처리 및 메시징 시스템의 세계에서 “큐”와 “스트리밍”과 같은 용어가 자주 등장합니다. 이들은 비슷하게 들릴 수 있으나, 각각의 목적은 다르며 시스템이 데이터를 처리하는 방법에 큰 영향을 미칠 수 있습니다. 이러한 차이를 간단히 설명해보겠습니다. 메시지 큐란 무엇인가? 고객이 온라인 또는 직접 주문을 하는 커피숍을 상상해보세요. 주문이 처리되면 고객에게 픽업 알림이 전송됩니다. 이 비유에서, 주문은 큐의 메시지처럼 […]

이벤트 스트리밍은 이벤트라는 작고 변경 불가능한 데이터 조각이 실시간으로 지속적으로 생성되고 캡처되며 처리되는 강력한 데이터 처리 패러다임입니다. Apache Kafka는 오픈 소스 분산 이벤트 스트리밍 플랫폼으로서 모던 시스템에서 이벤트 스트리밍을 구현하기 위한 대표 솔루션이 되었습니다. 이벤트와 스트림 이해하기 An 이벤트는 사용자가 버튼을 클릭하거나 온도 센서가 읽기를 보고하거나 전자상거래 플랫폼이 구매를 기록하는 것과 같은 발생의 기록입니다. 이러한 이벤트들은 […]

매우 드물게 발생하지만, 때때로 클러스터가 빨간색 상태가 되기도 합니다. 빨간색 상태란 기본 샤드를 잃어버린 것은 물론이고 동일한 위치에 있는 복제본 또한 기본 샤드로 업그레이드되지 않았음을 의미합니다. 그러나 노란색 상태의 경우와 마찬가지로, Elasticsearch는 자동으로 상황을 복구할 수 있는 메커니즘을 가지고 있으므로 무엇이 일어나고 있는지 알아보지 않고 명령을 시작하는 것에 대해 당황하지 말아야 합니다. 1: 할당 실패의 […]

SPL에서 필드를 작업할 때, 필드 내에서 발견된 텍스트의 일부를 검색하고 교체하는 것이 유용할 수 있습니다. 이를 수행하는 몇 가지 이유는 다음과 같습니다:– 필드 크기를 줄이기 위해 공백 제거– 보기 좋게 보이는 문자로 필드 구분자를 교체– 더 적절한 순서로 필드의 값을 재배열하기 (예: 이름을 성, 이름 형태로 표시하거나 반대로) 필드의 텍스트를 교체하려면, 다음 구문을 사용하여 rex […]

Apache Kafka는 강력한 분산 메시징 시스템이지만, 모든 시스템과 마찬가지로 성능 병목 현상을 겪을 수 있습니다. 가장 흔한 문제 중 하나는 Kafka 지연입니다. 이는 메시지를 생산하고 소비하는 사이의 지연을 말합니다. Kafka 지연을 해결하는 것은 실시간 데이터 파이프라인을 유지하고 최적의 성능을 보장하는 데 필수적입니다. 이 기사에서는 Kafka 지연을 줄이고 효율적인 메시지 처리를 달성하기 위한 실질적인 전략을 탐구합니다. […]

Apache Kafka는 전 세계 기업을 위한 신뢰할 수 있고 확장 가능한 데이터 파이프라인을 가능하게 하는 현대 이벤트 스트리밍 아키텍처의 초석이 되었습니다. 전통적으로 Kafka는 메타데이터, 구성 및 클러스터 조정을 관리하기 위해 ZooKeeper에 의존해 왔습니다. 그러나 KRaft (Kafka Raft)의 도입은 ZooKeeper의 필요성을 제거하고 클러스터 관리를 단순화하며 Kafka 아키텍처에 중대한 변화를 가져옵니다. KRaft란 무엇입니까? KRaft는 ZooKeeper를 대체하기 위해 도입된 새로운 […]

AWS Web Application Firewall (WAF)는 다양한 공격으로부터 웹 애플리케이션을 보호하기 위한 강력한 도구입니다.  Regex 패턴 세트 AWS WAF에서 복잡한 문자열 패턴을 매치시켜 악성 요청을 필터링하거나 특정 규칙을 강제할 수 있도록 합니다. 다음은 AWS WAF에서 Regex 패턴 세트를 생성하는 단계별 가이드입니다. 사용 사례 이해 Regex 패턴 세트를 생성하기 전에 매치를 원하는 특정 패턴을 파악하십시오. 예를 들어, […]

Apache Kafka는 실시간 데이터 파이프라인과 스트리밍 애플리케이션을 구축하기 위해 설계된 오픈 소스 플랫폼입니다. 처음에는 LinkedIn에서 개발하고 나중에 Apache Software Foundation에 기증된 Kafka는 대규모, 고처리량, 저지연 데이터 스트림을 처리하는 필수 요소가 되었습니다. 본질적으로 Kafka는 분산 메시징 시스템으로 작동합니다. 시스템이 레코드 스트림을 게시하고 구독할 수 있게 해주어 메시지 큐나 기업 메시징 시스템과 유사하지만 추가적인 견고성과 유연성을 제공합니다. […]

OpenSearch Dashboards는 OpenSearch 데이터를 시각화하고 상호 작용할 수 있는 강력한 도구입니다. 그러나 이를 최대한 활용하려면 로깅과 관련된 구성 설정을 이해해야 합니다. 아래에서는 주요 옵션과 배포에 대한 의미에 대해 깊이 탐구합니다.   1. 로깅 쿼리 설정: opensearch.logQueries이 설정은 대시보드에서 OpenSearch로 전송되는 모든 쿼리의 로깅을 활성화합니다. 기본적으로는 비활성화되어 있습니다 (false) 하지만, 활성화되면 (true), 그리고 logging.verbose와 결합되면, 대시보드가 생성하는 쿼리에 […]

문제 설명 The JvmGcMonitorService 오버헤드경고는 Java 가상 머신(JVM)이 Old Generation Garbage Collection(GC)을 수행하고 있음을 나타냅니다. 이 과정 동안 JVM은 메모리를 회수하기 위해 다른 모든 작업을 일시 중지하며, 다음과 같은 잠재적인 중단을 초래할 수 있습니다: 응답 없음Elasticsearch 노드가 클라이언트 또는 클러스터 요청에 응답하지 않음. 노드 연결 끊김, 이는 클러스터의 불안정을 초래할 수 있습니다. 이 동작은 다음에 […]