diff --git a/4. logsatsh 설정 정보 b/4. logsatsh 설정 정보 deleted file mode 100644 index 18ee162..0000000 --- a/4. logsatsh 설정 정보 +++ /dev/null @@ -1,79 +0,0 @@ -4. logsatsh 설정 정보 - -1) logstash.yml - http.host: 0.0.0.0 - - node.name: logstash - -2) logsatsh.conf - logstash 설정 소스를 작성 - - input { - kafka { - bootstrap_servers => "118.220.143.172:9091,118.220.143.173:9091,118.220.143.173:9092" - topics => ["sacp1","sacp2","sacp3","sacp4","sacp5","sacp6","sacp7", "sacp8", "asde"] - consumer_threads => 3 - # consumer_threads 토픽에서 데이터를 읽을 때 사용하는 컨슈머 스레드 수를 설정하는 옵션 메모리 양이 충분하지 않으면 부하 문제가 발생 일반적으로 1-4개의 컨슈머 스레드를 사용 - decorate_events => true #filter 부분에 필요한 정보가 있는 경우 - } - - #파일 부분은 더 확인이 필요 - file { - path => "/home/gmt/ASDE/logs/sendlog/*.log" - type => "logs" - start_position => "beginning" - } - - #beats { - #port => 5044 - #} - - tcp { - port => 50000 - } - } - - filter { - if [type] == "logs" { - grok { - match => { "path" => "/home/gmt/ASDE/logs/sendlog/%{GREEDYDATA:filename}\.log" } - } - mutate { - add_field => { "file_name" => "%{filename}" } - } - } - else { - #데이터 직렬화 부분 수정 필요 (json형식으로 변환 후 ruby 활용해 데이터 변환 후 삭제 처리 형식) - - json { source => "message" } - ruby { - code => " - event.set('newfield', event.get('trgt_id')+','+event.get('cat_ty')+',') - " - } - - mutate { - remove_field => [ - "trgt_id", "cat_ty", - "@version", "@timestamp", "host", "path", "message" ] - } - } - - } - - output { - elasticsearch { - if "file_name" in [fields] { - index => "spring-%{[file_name]}-2023-03-06" - } else { - index => "spring-%{[@metadata][kafka][topic]}-2023-03-06" - } - user => "elastic" - password => "changeme" - hosts => ["118.220.143.172:9200","118.220.143.173:9201","118.220.143.173:9202"] - } - } - - - -