Obsidian/Recognition/Programing/ELK/ElasticSearch 쿼리.md

230 lines
5.0 KiB
Markdown

## 템플릿 생성
```Json
PUT _template/replay_log_template
{
"index_patterns": [
"replay_log_*" // 적용할 인덱스 패턴
],
"settings": {
"max_result_window" : 500000 // 50만개까지 한꺼번에 조회 가능하도록 설정
},
"mappings": {
"properties": {
"@timestamp": {
"type": "date"
},
"header": {
"properties": {
"log_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1 // 1 자리 이외의 데이터는 검색에서 무시
}
}
},
"msg_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
}
}
},
"recv_time": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"eager_global_ordinals": true // 집계에 많이 사용되는 필드를 캐시
}
}
},
"server_se": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1
}
}
}
}
},
"message": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1
}
}
}
}
}
}
```
## 인덱스 생성
```json
PUT replay_log_7_ana-2024-02-27_re
{
"settings": {
"max_result_window" : 500000
},
"mappings": {
"properties": {
"@timestamp": {
"type": "date"
},
"header": {
"properties": {
"log_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1
}
}
},
"msg_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword"
}
}
},
"recv_time": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"eager_global_ordinals": true
}
}
},
"server_se": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1
}
}
}
}
},
"message": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 1
}
}
}
}
}
}
```
## 인덱스, 템플릿 삭제
```json
// 인덱스 삭제
DELETE replay_log_7_ana-2024-02-27
// 템플릿 삭제
DELETE _template/replay_log_3_fusion-2024-02-27_re
```
## 인덱스 복사
```json
POST _reindex
{
"source": {
"index": "replay_log_7_ana-2024-02-27"
},
"dest": {
"index": "replay_log_7_ana-2024-02-27_re"
}
}
```
## SQL -> DLS 변환
```json
GET _sql/translate
{
"query" : "select message from "/replay_log*/" where header.msg_type in ('3', '7') and
}
GET _sql/translate
{
"query": "SELECT header.recv_time, message FROM \"*-fusion\" WHERE header.recv_time >= '20240111120000.000' AND header.recv_time <= '20240111163000.000' and header.msg_type like '3' order by header.recv_time"
}
```
## 조회
```json
POST replay_log_*_*/_search
{
"size" : 1000,
"track_total_hits": true, // 하위 조건에 해당하는 전체 데이터 건수 표시 (size 필드 상관 없음)
"query" : {
"bool" : {
"filter" : [
{
"terms" : {
"header.msg_type.keyword" : [
"3", "7", "8"
],
"boost" : 1.0
}
},
{
"range" : {
"header.recv_time" : {
"from" : "20240226163800.000",
"to" : "20240226173859.000"
}
}
}
]
}
},
"_source": ["@timestamp", "header", "message"],
"sort" : [{"header.recv_time.keyword" : {"order" : "ASC"}}],
"search_after" : ["0"] // 여러번 나눠서 요청하는 경우 마지막 solt값
```
## 총 데이터 건수 가져오기
```json
GET [인덱스명]/_count
```
## 인덱스에 데이터 넣기
```json
POST test_index/_bulk
{"index":{"_id":1}}
{"message":"The quick brown fox"}
{"index":{"_id":2}}
{"message":"The quick brown fox jumps over the lazy dog"}
{"index":{"_id":3}}
{"message":"The quick brown fox jumps over the quick dog"}
{"index":{"_id":4}}
{"message":"Brown fox brown dog"}
{"index":{"_id":5}}
{"message":"Lazy jumping dog"}
```