ELK(Elasticsearch/Logstash/Kibana) 스택

선별해서 보시기 바랍니다.

---

Elastic Stack ≡ ELK Stack = Elasticsearch, Kibana, Beats, Logstash 

 

---

 

 

ELK는 Elastic Search, Logstash, Kibana의 약자로 데이터를 수집하고 분석하는 도구 모음을 의미

Beats라는 경량 데이터 수집 도구가 추가되어, 이를 묶어 ELK Stack 이라고 부른다.

 

• Beats는 경량 데이터 수집기
• Logstash는 데이터 처리 파이프라인 도구
• Elastic Search는 검색 엔진
• Kibana는 데이터 시각화 대시보드

---

 

요소	개념	특징
Elasticsearch	JSON 기반의 분산형 검색 및 분석 엔진	- JSON 문서를 기반으로한 검색 및 분석 가능 - 확장성이 뛰어나며 대용량 데이터 처리에 적합 - RESTful API를 통해 데이터 검색 및 색인 가능 - 다양한 플러그인 및 확장성 제공
Logstash	데이터 수집 및 전환 도구	- 다양한 소스에서 데이터 수집 및 가공 가능 - 다양한 입력 및 출력 플러그인 제공 - 필터를 사용하여 데이터 변환 및 정제 가능 - 실시간 데이터 파이프라인을 구성하여 데이터 처리
Kibana	데이터 시각화 및 탐색 도구	- 데이터 시각화 및 대시보드 생성 및 관리 가능 - 실시간으로 데이터 모니터링 및 분석 가능 - 사용자 친화적인 인터페이스 및 다양한 차트 지원 - Elasticsearch 데이터를 직접 조작할 수 있는 기능
Beats	경량 데이터 수집 에이전트	- 경량화된 에이전트로 설계, 자원 사용이 상대적으로 적음 - 설치 및 배포가 간편, 높은 효율성 보장 - 다양한 모듈 및 특정 데이터 유형에 특화된 수집 기능 제공  . Filebeat 로그 파일 및 데이터 파일의 변경을 감지 / 전송  . Metricbeat 시스템 및 서비스의 성능 메트릭 수집 - 실시간 데이터 전송 기능 지원

 

Logstash 와 Beats 비교

 

구분	Logstash	Beats
용도	데이터 수집, 변환, 전송을 위한 서버	경량 데이터 수집 에이전트
구조	중앙집중식 아키텍처	분산형 에이전트 아키텍처
설치 및 설정	Java 기반, 별도의 설치 및 설정이 필요	각각의 모듈이나 모듈 집합으로 경량화 및 단순한 설정
데이터 파이프라인	다양한 입력, 필터, 출력을 사용하여 데이터 처리	각 Beat 모듈은 특정 데이터 유형에 특화된 역할 수행
유연성	다양한 데이터 소스 및 출력에 대한 지원	경량화된 에이전트로 특정 데이터 유형에 특화
성능	Java 기반으로 메모리를 많이 사용하는 경우가 있음	경량화된 구조로 더 적은 자원 소모 및 빠른 전송 속도
플러그인 및 모듈	다양한 입력, 필터, 출력 플러그인을 지원	각 Beat 모듈은 특정 데이터 유형에 특화된 모듈 제공
사용법	설정이 복잡하고 상대적으로 높은 학습 곡선	경량화된 에이전트로 간단한 설정 및 사용이 용이
확장성	대규모 데이터 처리 및 다양한 확장성 제공	경량화된 구조로 확장성이 뛰어남

참고 자료

 

[ELK] ELK Stack 이란? 소개, 정의 (velog.io)

[ELK] ELK Stack 이란? 소개, 정의

 

ChatGPT

 

Bing

 

Elastic Stack: Elasticsearch, Kibana, Beats, Logstash | Elastic

Elastic Stack: Elasticsearch, Kibana, Beats, Logstash

Elasticsearch, Kibana, Beats, Logstash(ELK Stack이라고도 함) 등으로 구성

 

ELK Stack 훑어보기 (hudi.blog)

ELK Stack 훑어보기