Logstash의 Filter 란? 정형화되어있는 데이터(예 RDB, CSV 등)를 ES에 저장하기 위해 알맞게 가공하는 것으로 Logstash 7.6 기준으로 46개의 Filter Plugin을 지원합니다. 상세한 정보는 공식 홈페이지 참고하시기 바랍니다. Filter plugins | Logstash Reference [7.6] | Elastic www.elastic.co CSV Filter 설정값 CSV는 쉼표(,)로 구분된 정형화된 데이터입니다. CSV Filter Plugin을 사용하여 ES에 저장하기 위해서는 CSV Filter 설정값을 확인해야 합니다. 설정값에 대한 설명은 첨부해드리는 링크 확인해 주시기 바라며, 많은 옵션중 우리가 사용할 옵션 위주로 살펴보도록 하겠습니다. (CSV Fil..
Grok Pattern을 사용하여 사용자가 원하는 데이터로 Parsing 해보자 1. 사용할 Apache Access Log 데이터 확인 # Access Log 예시 1.2.3.4 - - [28/Apr/2019:00:01:58 +0900] "GET /assets/css/reset.css HTTP/1.1" 200 1075 "https://www.example.com/login/form.do" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" 항목 설명 사용여부 1.2.3.4 IP Y - 클라이언트의 RFC 1413 신원 N - 사용자의 userid N [28/Apr/2019:00:01:58 +0900] 요청 마친 시간 Y GET..
Grok Debugger를 사용하여 Apache Access Log Parsing 해보자. 1. Combined 로그 형식 access_log 출력 예시 #log/access_log 1.2.3.4 - - [28/Apr/2019:00:01:58 +0900] "GET /assets/css/reset.css HTTP/1.1" 200 1075 "https://www.example.com/login/form.do" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko" httpd.conf 설정 값 확인 # httpd.conf LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-age..
