[Elasticsearch] ELK stack에 관하여

-elastic

 

▶ 들어가며

이번에는 ELK Stack에 관해서 찍먹을 해보자.
전체적인 플로우를 먼저 잡아두면, 이 기술을 왜 사용하는지, 어떤 구조로 동작하는지 이해하기가 훨씬 쉬워진다.

그래서 이번 글에서는 ELK Stack을 구성하는 요소들이 각각 어떤 역할을 하는지,
그리고 전체 흐름이 어떻게 연결되는지를 가볍게 정리해보려고 한다.

 

---

▶ ELK Stack 전체 구조

-ELK stack

 

위 사진은 ELK Stack의 전체적인 구조를 보여주는 대표적인 그림이다. ELK Stack의 핵심 요소는 이름 그대로 아래 3가지이다.

로고가 아주 찰떡이야

• Elasticsearch
• Logstash
• Kibana

그리고 가장 왼쪽에 있는 data 구간은 Beats라는 별도의 구성요소로 구분된다.

그럼 이제 각 단계가 어떤 역할을 하는지 하나씩 살펴보자.

 

---

▶ Beats

-Beats

 

사진에서 가장 왼쪽에 있는 요소들이 Beats이다.
Beats는 “가벼운 수집 프로그램”들이고, 서버에 설치해서 데이터를 긁어 Elasticsearch 또는 Logstash로 보내는 데이터 수집기 역할을 한다.

즉 Beats는 서버에 설치해서 백그라운드에서 동작하는
👉 경량 수집 agent 프로그램이라고 이해하면 된다.

 

Beats는 종류가 여러 가지가 있는데 대표적으로 아래와 같다.

• Filebeat : 서버의 로그 파일(log file)을 수집
• Metricbeat : CPU, RAM, Disk 사용량 같은 서버 metric 정보를 수집
• Packetbeat : 네트워크 패킷(wire data)을 분석하여 트래픽 정보를 수집
• Winlogbeat : Windows 이벤트 로그를 수집

!! Beats가 하는 일을 정리하면 이런 느낌이다!!

• 웹서버, 백엔드 서버, DB 서버, 운영 서버 등에 설치
• 로그 파일을 읽거나, metric을 수집하거나, 네트워크 패킷을 분석해서
• Elasticsearch 또는 Logstash로 전송

즉, 빅데이터 관점에서 보면 Beats는
👉 Ingestion(수집) 단계에 해당한다고 보면 된다.

 

---

▶ Logstash

-logstash

Logstash는 ELK에서 Beats로부터 로그를 받아서
👉 가공한 뒤 목적지로 보내는 중간 처리 서버 역할을 한다.

 

Logstash는 단순 전달이 아니라, 로그 데이터를 검색 가능한 형태로 바꿔주는 파이프라인 엔진이라고 볼 수 있다.

Logstash는 크게 아래 3단계 구조로 동작한다.

• Input : 데이터를 입력받음
• Filter : 데이터를 파싱하고 변환함
• Output : 데이터를 Elasticsearch 등 목적지로 보냄

예를 들어 앱 서버가 아래처럼 단순 텍스트 로그를 보낸다고 해보자.

user=kim age=26

 

Logstash는 이를 입력으로 받은 뒤, filter 단계에서 파싱 해서 아래처럼 JSON 형태로 구조화할 수 있다.

{ "user": "kim", "age": 26 }

 

이렇게 구조화된 데이터는 Elasticsearch에서 검색하기 훨씬 쉬워진다.
즉 Logstash는
👉 로그를 분석 가능한 형태로 바꾸는 전처리(ETL) 단계라고 볼 수 있다.

 

-Logstash 설정 예시

Logstash는 logstash.conf 같은 설정 파일을 코드처럼 작성해두고, 이 설정대로 파싱 및 변환 작업을 수행한다.

예시 설정은 다음과 같다.

input {
  http {
    port => 8080
  }
}

filter {
  json {
    source => "message"
  }

  mutate {
    convert => { "age" => "integer" }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "users"
  }

  stdout { codec => rubydebug }
}

 

위 설정을 보면,

• HTTP로 들어오는 요청을 받아서
• JSON 파싱 후
• age를 integer로 변환하고
• Elasticsearch에 저장하는 구조이다.

그리고 중요한 점은 Logstash는 필수는 아니다.

Beats가 바로 Elasticsearch로 보내는 구조도 가능하지만,
로그가 너무 지저분하거나 여러 시스템의 로그를 하나의 형태로 통합해야 하는 경우 Logstash가 필요해진다.

즉 Logstash는 빅데이터 관점에서 보면
👉 Streaming ETL / Transform 단계라고 이해하면 된다.

---

▶ Elasticsearch

-elasticsearch

 

Elasticsearch는 전처리된 로그/데이터를 저장하면서 동시에
👉 검색 가능한 구조(index)로 만들어주는 단계이다.

즉, 단순 저장소(DB)가 아니라 검색/분석이 가능하도록 인덱스를 만들어서 저장하는 저장소 검색엔진이라고 이해하면 된다.

Elasticsearch는 데이터를 SQL 테이블 row 형태로 저장하는 것이 아니라,
JSON 형태의 Document로 저장한다.

예를 들어 아래 데이터는 Elasticsearch에서 document 한 개가 된다.

{ "user": "kim", "name": "bo", "age": 26 }

 

이 document는 특정 index(예: users)에 저장된다. 

 

그리고 Elasticsearch가 단순 DB가 아니라 검색엔진이라고 불리는 이유는, 저장 과정에서 검색을 위한 구조를 만들어두기 때문이다. 대표적으로 Elasticsearch는
👉 Inverted Index(역색인) 구조를 사용한다.

이 덕분에 특정 단어가 포함된 document를 빠르게 찾을 수 있고, 검색 성능이 매우 뛰어나다.

자세한 내용은 다음 포스팅에서...

 

-Aggregation(집계) 기능

Elasticsearch는 단순히 검색만 하는 것이 아니라, Aggregation(집계) 기능도 제공한다.

예를 들어 다음과 같은 분석이 가능하다.

• 특정 시간대별 로그 개수
• status code 별 요청 수
• 가장 많이 등장한 user top 10
• 특정 키워드 검색 결과 집계

즉, Elasticsearch는 빅데이터 관점에서 보면
👉 저장 + 검색 + 집계 분석을 동시에 수행할 수 있는 핵심 저장소 역할을 한다.

 

---

▶ Kibana

-kibana

 

이전에도 설명했지만, Kibana는 Elasticsearch에 저장된 데이터를 시각화해 주는 GUI 단계이다. 즉 Kibana는 ELK Stack에서
👉 프론트엔드 역할을 한다고 보면 된다.

Kibana를 사용하면 아래와 같은 작업이 가능하다.

• Elasticsearch index에 저장된 로그 검색
• 필터 조건을 걸어 원하는 로그만 확인
• 시간대별 트래픽 변화 그래프 확인
• 대시보드(Dashboard)를 구성하여 모니터링 화면 제작

즉 Kibana는 단순히 데이터를 보여주는 툴이 아니라,
운영 환경에서 로그 분석과 모니터링을 할 수 있도록 도와주는 도구이다.

 

---

▶ ELK Stack 전체 과정 정리

전체 흐름을 정리하면 다음과 같다.

1. 서버에서 로그/metric 데이터가 생성됨
2. Beats가 해당 데이터를 수집해서 전송함
3. Logstash가 있다면 데이터를 파싱/변환/정제함
4. Elasticsearch가 데이터를 저장하고 검색 가능한 구조로 인덱싱함
5. Kibana가 Elasticsearch 데이터를 시각화하여 보여줌