230 lines
5.0 KiB
Markdown
230 lines
5.0 KiB
Markdown
## 템플릿 생성
|
|
```Json
|
|
|
|
PUT _template/replay_log_template
|
|
{
|
|
"index_patterns": [
|
|
"replay_log_*" // 적용할 인덱스 패턴
|
|
],
|
|
"settings": {
|
|
"max_result_window" : 500000 // 50만개까지 한꺼번에 조회 가능하도록 설정
|
|
},
|
|
"mappings": {
|
|
"properties": {
|
|
"@timestamp": {
|
|
"type": "date"
|
|
},
|
|
"header": {
|
|
"properties": {
|
|
"log_type": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1 // 1 자리 이외의 데이터는 검색에서 무시
|
|
}
|
|
}
|
|
},
|
|
"msg_type": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
}
|
|
}
|
|
},
|
|
"recv_time": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"eager_global_ordinals": true // 집계에 많이 사용되는 필드를 캐시
|
|
}
|
|
}
|
|
},
|
|
"server_se": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1
|
|
}
|
|
}
|
|
}
|
|
}
|
|
},
|
|
"message": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1
|
|
}
|
|
}
|
|
}
|
|
}
|
|
}
|
|
}
|
|
|
|
```
|
|
|
|
## 인덱스 생성
|
|
```json
|
|
PUT replay_log_7_ana-2024-02-27_re
|
|
{
|
|
"settings": {
|
|
"max_result_window" : 500000
|
|
},
|
|
"mappings": {
|
|
"properties": {
|
|
"@timestamp": {
|
|
"type": "date"
|
|
},
|
|
"header": {
|
|
"properties": {
|
|
"log_type": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1
|
|
}
|
|
}
|
|
},
|
|
"msg_type": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword"
|
|
}
|
|
}
|
|
},
|
|
"recv_time": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"eager_global_ordinals": true
|
|
}
|
|
}
|
|
},
|
|
"server_se": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1
|
|
}
|
|
}
|
|
}
|
|
}
|
|
},
|
|
"message": {
|
|
"type": "text",
|
|
"fields": {
|
|
"keyword": {
|
|
"type": "keyword",
|
|
"ignore_above": 1
|
|
}
|
|
}
|
|
}
|
|
}
|
|
}
|
|
}
|
|
```
|
|
## 인덱스, 템플릿 삭제
|
|
```json
|
|
// 인덱스 삭제
|
|
DELETE replay_log_7_ana-2024-02-27
|
|
|
|
// 템플릿 삭제
|
|
DELETE _template/replay_log_3_fusion-2024-02-27_re
|
|
```
|
|
## 인덱스 복사
|
|
```json
|
|
|
|
POST _reindex
|
|
{
|
|
"source": {
|
|
"index": "replay_log_7_ana-2024-02-27"
|
|
},
|
|
"dest": {
|
|
"index": "replay_log_7_ana-2024-02-27_re"
|
|
}
|
|
}
|
|
|
|
|
|
```
|
|
## SQL -> DLS 변환
|
|
```json
|
|
|
|
GET _sql/translate
|
|
{
|
|
"query" : "select message from "/replay_log*/" where header.msg_type in ('3', '7') and
|
|
}
|
|
|
|
GET _sql/translate
|
|
{
|
|
"query": "SELECT header.recv_time, message FROM \"*-fusion\" WHERE header.recv_time >= '20240111120000.000' AND header.recv_time <= '20240111163000.000' and header.msg_type like '3' order by header.recv_time"
|
|
}
|
|
|
|
```
|
|
## 조회
|
|
```json
|
|
|
|
POST replay_log_*_*/_search
|
|
{
|
|
"size" : 1000,
|
|
"track_total_hits": true, // 하위 조건에 해당하는 전체 데이터 건수 표시 (size 필드 상관 없음)
|
|
"query" : {
|
|
"bool" : {
|
|
"filter" : [
|
|
{
|
|
"terms" : {
|
|
"header.msg_type.keyword" : [
|
|
"3", "7", "8"
|
|
],
|
|
"boost" : 1.0
|
|
}
|
|
},
|
|
{
|
|
"range" : {
|
|
"header.recv_time" : {
|
|
"from" : "20240226163800.000",
|
|
"to" : "20240226173859.000"
|
|
}
|
|
}
|
|
}
|
|
]
|
|
}
|
|
},
|
|
"_source": ["@timestamp", "header", "message"],
|
|
"sort" : [{"header.recv_time.keyword" : {"order" : "ASC"}}],
|
|
"search_after" : ["0"] // 여러번 나눠서 요청하는 경우 마지막 solt값
|
|
|
|
```
|
|
|
|
## 총 데이터 건수 가져오기
|
|
```json
|
|
|
|
GET [인덱스명]/_count
|
|
|
|
```
|
|
|
|
## 인덱스에 데이터 넣기
|
|
```json
|
|
|
|
POST test_index/_bulk
|
|
{"index":{"_id":1}}
|
|
{"message":"The quick brown fox"}
|
|
{"index":{"_id":2}}
|
|
{"message":"The quick brown fox jumps over the lazy dog"}
|
|
{"index":{"_id":3}}
|
|
{"message":"The quick brown fox jumps over the quick dog"}
|
|
{"index":{"_id":4}}
|
|
{"message":"Brown fox brown dog"}
|
|
{"index":{"_id":5}}
|
|
{"message":"Lazy jumping dog"}
|
|
|
|
|
|
``` |