[엘라스틱 서치 실무 가이드] 5장 데이터 집계

aggs : { // 집계 선언 agg_name :{ // 집계 이름(내가 짓고 싶은 이름) agg_type : { // terms, date_histogram, sum agg_body } } }

{ "took" : 106, // ES가 검색을 실행하는데 소요된 시간 "timed_out" : false, // 검색 시간이 초과됐는지 여부 "_shards" : { // 검색에 영향받은 샤드에 대한 정보 "total" : 5, // 검색에 영향받은 샤드에 대한 총 개수 "successful" : 5,// 검색 요청에 대한 정상 샤드 수 "skipped" : 0, // 검색 요청에 대한 건너뛴 샤드 수 "failed" : 0 // 검색 요청에 대한 실패한 샤드 수 }, "hits" : { // 검색 결과 "total" : { "value" : 10000,// 검색 기준과 일치하는 총 문서 수 "relation" : "gte" }, "max_score" : null, // 검색 결과에 포함된 문서의 최대 스코어 값 "hits" : [ ] // 검색 결과 문서들의 배열(기본 10개) }, "aggregations" :[] // 집계 결과 }

GET /index/_search { query : { constant_score(필터에 해당하는 문서에 같은 스코어를 부여) : { "match" : { "geo.city_name" : "Paris" } } } aggs : { "agg_name" : { "sum" : { // "field" : "bytes" 기본 단일 숫자 통계 "script" : { // 만약 단위를 바꾼다면 script 사용 "lang" : "painless" , //"source" : "doc.bytes.value / params.divide_value", "source" : "doc.bytes.value / (double)params.divide_value", // 아래 문제를 해결하기위해 캐스팅 "params" : { "divide_value" : 1000 // 이럴 경우 문서의 개별적인 값에서 1000으로 나와 처음 값과 다른 값이 나옴 } } } } } }

GET /apache-web-log/_search?size=0 { "aggs": {"avg_bytes" : {"avg" : {"field" : "bytes"}}} } ... GET _search?size=0 { "query" : {"constant_score" : {"filter" : {"match" : {"geoip.city_name" : "Paris"}}}}, "aggs": {"avg_bytes" : {"avg": {"field" : "bytes"}}} }

GET /apache-web-log/_search?size=0 {"aggs" : {"min_bytes" : {"min" : {"field" : "bytes"}}}} GET /apache-web-log/_search?size=0 {"query" : {"constant_score" : {"filter" : {}} ,"match" : { "geoip.city_name" : "Paris" },"aggs" : {"min_bytes" : {"min" : {"field" : "bytes"}}}}}

GET /apache-web-log/_search?size=0 { "query": { "constant_score": { "filter": { "match": { "geoip.city_name": "Paris" } } } }, "aggs": { "max_bytes": { "max": { "field": "bytes" } } } }

GET /index/_search { query : { constant_score(필터에 해당하는 문서에 같은 스코어를 부여) : { "match" : { "geo.city_name" : "Paris" } } } aggs : { "agg_name" : { "value_count": : { "field" : "bytes" } } } }

GET /index/_search { query : { constant_score(필터에 해당하는 문서에 같은 스코어를 부여) : { "match" : { "geo.city_name" : "Paris" } } } aggs : { "bytes_stats" : { "stats": : { "field" : "bytes" } } } }

GET /index/_search?size=0 { "aggs" : { "bytes_stats" : { "extended_stats": { "field" : "bytes" } } } }

{ "aggregations" : { "bytes_stats" : { "count" : 9330, "min" : 35.0, "max" : 6.9192717E7, "avg" : 294456.8601286174, "sum" : 2.747282505E9, "sum_of_squares" : 1.18280314234513344E17, // 제곱합 "variance" : 1.2590713617814016E13, // 확률변수의 분산 "variance_population" : 1.2590713617814016E13, "variance_sampling" : 1.2592063249459188E13, "std_deviation" : 3548339.5578515334, // 표준편자 "std_deviation_population" : 3548339.5578515334, "std_deviation_sampling" : 3548529.730671449, "std_deviation_bounds" : { // 표준편차의 범위 "upper" : 7391135.975831684, // 표준편차의 상한 값 "lower" : -6802222.25557445, // 표준편차의 하한 값 "upper_population" : 7391135.975831684, "lower_population" : -6802222.25557445, "upper_sampling" : 7391516.321471516, "lower_sampling" : -6802602.60121428 } } } }

GET /index/_search { "query" : { "constant_score": { "filter" : { "match" : { "geoip.country_name" : "United States" } } } }, "aggs" : { "us_card" : { "cardinality": { "field" : "geoip.city_name.keyword" } } } }

GET /index/_search?size=0 { aggs : { "bytes_percentiles" : { "percentiles": : { "field" : "bytes", "percents" : [10,20,30,40 ~~ 90] // 직접 백분위에 입력 가능 } } } } // 결과 "aggregations" : { "bytes_percentiles" : { "values" : { "1.0" : 229.0, "5.0" : 358.38888888888886, "25.0" : 3644.220869565217, "50.0" : 12217.633591101996, "75.0" : 37335.65963636364, "95.0" : 171334.22222222222, "99.0" : 1204031.8000000163 } } }

GET /index/_search?size=0 { aggs : { "bytes_percentiles" : { "percentiles_ranks": : { "field" : "bytes", "values" : [5000, 10000] // 직접 백분위에 입력 가능 } } } }

GET /index/_search { aggs : { "bytes_range" : { "range": : { "field" : "bytes", "ranges" : [ { "from" : 1000, "to" : 2000 } ] } } } }

GET /index/_search { aggs : { "my_date_range" : { "date_range": : { "field" : "@timestamp", "ranges" : [ { "from" : "2020-10-10T05:14:00.000Z", "to" : "2020-10-31T05:14:00.000Z" } ] } } } }

GET /index/_search { aggs : { "bytes_histogram" : { "histogram": : { "field" : "@timestamp", "interval" : 10000, "min_doc_count" : 1 //최소 숫자까지 포함(해당은 0인 문서는 제외) } } } }

GET /index/_search { aggs : { "my_date_histogram" : { "date_histogram": : { "field" : "timestamp", "interval" : "minute", //30m , 1.5h 같이 세밀한 표현도 가능 "format" : "yyyy-MM-dd" // 포맷 설정 가능 "time_zone" : "+09:00" // 한국 시간으로 변경 "offset" : "+3h" // 집계 기준이 일자별이라면 offset을 주어 3시부터 집계 가능 } } } }

GET /index/_search { aggs : { "my_terms" : { "terms": : { "field" : "country", "size" : 100 // 사이즈를 주어 모든 문서가 포함되게 함 } } } }

>> 결과 "aggregations": { "request count by country": { "doc_count_error_upper_bound": 47, "sum_other_doc_count": 2334, "buckets": [ { "key": "United States", "doc_count": 3974 }, { "key": "France", "doc_count": 855 }, { "key": "Germany", "doc_count": 510 }, { "key": "Sweden", "doc_count": 440 } ] } }

AGG_SEPARATOR = '>' , METRIC_SEPARATOR = ' . ' AGG_NAME = 〈집계 이름〉 ; METRIC = 〈메트릭 집계 이름(다중 메트릭 집계인 경우)〉 ; PATH = <AGG_NAME > [ <AGG_SEPARATOR >, <AGG_NAME > ]* [ <METRIC_SEPARATOR >, <METRIC> ] ;

GET index/_search { "aggs" : { "histo" : { "date_histogram" : { "field" : "timestamp", "interval" : "minute" }, "aggs" : { "bytes_sum" : { "sum" : { "field" : "bytes" } } } }, "my_bucket_pipe" : { "max_bucket" : { // 버킷에 대한 종류 많음 "buckets_path" : "histo>bytes_sum" } } } }

GET /apache-web-log/_search?size=0 { "aggs": { "histo": { //부모 히스토그램 일 단위로 집계를 수행한다. "date_histogram": { "field": "timestamp", "interval": "day" }, "aggs": { "bytes_sum": { //일 단위로 데이터의 크기를 합산하는 sum 집계를 수행한다. "sum": { "field": "bytes" }, "sum_deriv": { //일 단위로 데이터 크기의 합산된 값을 버킷의 현재 값과 이전 값을 비교하는 집계를 수행 "derivative": { "buckets_path": "bytes_sum" } } } } } } }