Obsidian/Recognition/Programing/ELK/ElasticSearch 쿼리.md

템플릿 생성

PUT _template/replay_log_template
{
  "index_patterns": [
    "replay_log_*" // 적용할 인덱스 패턴
  ],
  "settings": { 
    "max_result_window" : 500000 // 50만개까지 한꺼번에 조회 가능하도록 설정
  },
  "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "header": {
          "properties": {
            "log_type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword", 
                  "ignore_above": 1 // 1 자리 이외의 데이터는 검색에서 무시
                }
              }
            },
            "msg_type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                }
              }
            },
            "recv_time": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "eager_global_ordinals": true // 집계에 많이 사용되는 필드를 캐시
                }
              }
            },
            "server_se": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 1
                }
              }
            }
          }
        },
        "message": {
          "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 1
                }
              }
        }
      }
  }
}

인덱스 생성

PUT replay_log_7_ana-2024-02-27_re
{
  "settings": { 
    "max_result_window" : 500000 
  },
  "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "header": {
          "properties": {
            "log_type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 1
                }
              }
            },
            "msg_type": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword"
                }
              }
            },
            "recv_time": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "eager_global_ordinals": true
                }
              }
            },
            "server_se": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 1
                }
              }
            }
          }
        },
        "message": {
          "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 1
                }
              }
        }
      }
  }
}

인덱스, 템플릿 삭제

// 인덱스 삭제
DELETE replay_log_7_ana-2024-02-27

// 템플릿 삭제
DELETE _template/replay_log_3_fusion-2024-02-27_re

인덱스 복사

POST _reindex
{
 "source": {
  "index": "replay_log_7_ana-2024-02-27"
 },
 "dest": {
  "index": "replay_log_7_ana-2024-02-27_re"
 }
}

SQL -> DLS 변환

GET _sql/translate
{
  "query" : "select message from "/replay_log*/" where header.msg_type in ('3', '7') and 
}

GET _sql/translate
{
  "query": "SELECT  header.recv_time, message FROM \"*-fusion\" WHERE header.recv_time >= '20240111120000.000' AND header.recv_time <= '20240111163000.000' and header.msg_type like '3' order by header.recv_time"
}

조회

POST replay_log_*_*/_search
{
  "size" : 1000,
  "track_total_hits": true,  // 하위 조건에 해당하는 전체 데이터 건수 표시 (size 필드 상관 없음)
  "query" : {
    "bool" : {
      "filter" : [
        {
          "terms" : {
            "header.msg_type.keyword" : [
              "3", "7", "8"
            ],
            "boost" : 1.0
          }
        },
        {
          "range" : {
            "header.recv_time" : {
              "from" : "20240226163800.000",
              "to" : "20240226173859.000"
            }
          }
        }
      ]
    }
  },
  "_source": ["@timestamp", "header", "message"],
  "sort" : [{"header.recv_time.keyword" : {"order" : "ASC"}}],
  "search_after" : ["0"] // 여러번 나눠서 요청하는 경우 마지막 solt값
  

총 데이터 건수 가져오기

GET [인덱스명]/_count

인덱스에 데이터 넣기

POST test_index/_bulk
{"index":{"_id":1}}
{"message":"The quick brown fox"}
{"index":{"_id":2}}
{"message":"The quick brown fox jumps over the lazy dog"}
{"index":{"_id":3}}
{"message":"The quick brown fox jumps over the quick dog"}
{"index":{"_id":4}}
{"message":"Brown fox brown dog"}
{"index":{"_id":5}}
{"message":"Lazy jumping dog"}