집계 연산 정확도/근차치

일부 집계 연산의 경우 성능 이슈가 있어서 근사치를 기반으로 집계를 하는 경우가 있다. 아래는 근사값을 이용하여 집계되는 연산이다

• 카디널리티 집계
• 백분위 수 집계
• 백분위 수 랭크 집계

분산 집계

엘라스틱서치는 루씬에서 제공해주는 그룹핑 기술인 Facet API를 사용하지 않는다.

• 루씬은 분산처리를 지원하지 않기 때문에 Facet에서 제공하는 집계 기능이 대용량 분산처리에서는 적합하지 않다. 그래서 엘라스틱서치에서는 독자적인 그룹핑 기술인 Aggregation API를 사용한다.

집계 연산이 들어올 경우 각 샤드 내에서 1차적으로 집계 작업을 수행하고 중간 결과를 모두 취합하여 최종 결과를 만들어 제공한다.

일반 메트릭 집계의 경우 각 샤드에서 중간 집계 결과값만 코디네이터로 보내면 되지만, 카디널리티 집계의 경우 중복을 제거한 데이터 자체를 코디네이터로 전달해야한다. 그래서 카디널리티 집계의 경우 일반 메트릭 집계에 비해 네트워크 사용량이 많다. 또한 메모리에 데이터를 올려서 데이터를 처리 하기 때문에 메모리 사용량도 데이터 크기에 비례한다.

• 따라서 분산환경의 특성을 고려하여 정확도 / 실시간성 등의 트레이드오프를 고려해한다.

다음은 트레이드오프 유형이다.

(1) 분산환경을 포기

• 단일 서버로 구성하고 모든 데이터를 메모리에 올려서 처리 (정확도와 실시간성)
• 처리 가능한 데이터 크기에 제한이 있음

(2) 실시간성을 포기

• 분산 환경의 디스크 기반으로 구성 (분산과 정확도 - 예: 하둡)
• 데이터 크기에 제한이 없고 대용량 데이터 처리 가능

(3) 정확도를 포기

• 분산 환경의 메모리 기반으로 구성