3

333

4. logsatsh 설정 정보

@@ -1,79 +0,0 @@
-4. logsatsh 설정 정보
-
-1) logstash.yml
-	http.host: 0.0.0.0
-
-	node.name: logstash
-
-2) logsatsh.conf
-	logstash 설정 소스를 작성
-
-	input {
-         kafka {
-                bootstrap_servers => "118.220.143.172:9091,118.220.143.173:9091,118.220.143.173:9092"
-                topics => ["sacp1","sacp2","sacp3","sacp4","sacp5","sacp6","sacp7", "sacp8", "asde"]
-                consumer_threads => 3 																			
-                # consumer_threads 토픽에서 데이터를 읽을 때 사용하는 컨슈머 스레드 수를 설정하는 옵션 메모리 양이 충분하지 않으면 부하 문제가 발생 일반적으로 1-4개의 컨슈머 스레드를 사용
-                decorate_events => true #filter 부분에 필요한 정보가 있는 경우 
-        }
-
-        #파일 부분은 더 확인이 필요
-        file {
-		    path => "/home/gmt/ASDE/logs/sendlog/*.log"
-		    type => "logs"
-		    start_position => "beginning"
-		}	
-
-        #beats {
-               #port => 5044
-        #}
-
-        tcp {
-                port => 50000
-        }
-	}
-
-	filter {
-		if [type] == "logs" {
-			grok {
-		    	match => { "path" => "/home/gmt/ASDE/logs/sendlog/%{GREEDYDATA:filename}\.log" }
-		  	}
-		  	mutate {
-		    	add_field => { "file_name" => "%{filename}" }
-		  	}
-		} 
-		else {
-			#데이터 직렬화 부분 수정 필요 (json형식으로 변환 후 ruby 활용해 데이터 변환 후 삭제 처리 형식)
-		
-	 		 json { source => "message" }
-				 ruby {
-	   			 code => "
-				      event.set('newfield', event.get('trgt_id')+','+event.get('cat_ty')+',')
-			    	"
-			 }
-
-			mutate {		
-	        		remove_field => [ 
-					"trgt_id", "cat_ty",
-					"@version", "@timestamp", "host", "path", "message" ]
-	        }		
-		}
-
-	}
-
-	output {		
-	        elasticsearch {				
-				if "file_name" in [fields] {
-		            index => "spring-%{[file_name]}-2023-03-06"
-		        } else {
-		            index => "spring-%{[@metadata][kafka][topic]}-2023-03-06"
-		        }
-                user => "elastic"
-                password => "changeme"
-                hosts => ["118.220.143.172:9200","118.220.143.173:9201","118.220.143.173:9202"]
-	        }		
-	}
-
-
-
-