node js 실시간 로그 수집 및 검색 -1

안녕하세요 엄청 오랜만에 글을쓰는거같은 기분입니다. ㅋㅋㅋ

 

오늘 작성하려는 글은 실시간 로그 수집 및 검색으로 예전에 작성한 글에서 추가하여 진행하게 되었습니다.

 

https://programmerk.tistory.com/49

[nodejs] - 한국시간 로그 남기기 (with docker)

 

 

 

음.. 처음에는 docker 로 nodejs를 사용할때 log를 남겨야겠다는 단순한 생각으로 위에 처럼 하게 되었습니다.

 

실제로 서버에 아래처럼 구조를 만들어서 사용하고 있엇습니다. 

아래는 docker  volume 에 winston으로 남겨놓은 로그들입니다. 

실제 로그 디렉토리들..

 

 

 

 

 

그런데 운영서버나 테스트서버에서 에러가 발생해서 로그를 보려면...

 

파일질라를 실행해서 서버에서 로그 파일을 다운받아서 해당 로그를 하나하나 찾아야하는 불편함이..

파일질라로 로그 다운로드 하는경우 

 

 

언제 다운받고 언제 보냐고....

 

 

 

 

매번 이렇게 파일을 다운받아 해당 부분을 찾기에는 너무 불편하게아닌가...  생각이들었습니다.

 

그래서 실시간 로그를 가져와 검색하고 간편하게 볼수 있는 방법을 찾다가

 

filebeat & ELK 를 알게 되어 적용해볼 예정입니다.

- filebeat : nodejs의 로그 파일을 logstash로 전송함

- Elastic & Elasticsearch :  검색 엔진

- logstash: 로그 저장소 

- Kibana : 데이터 시각화 툴 

 

자세한 설명은 여기가 좋네요

https://coding-start.tistory.com/187

ELK Stack - Filebeat(파일비트)란? 간단한 사용법

 

 

 

서버 구조는 아래처럼 바뀝니다.

docker 에다가 다 올려버릴꺼에요 ㅋㅋㅋㅋ  왜냐면 올해 하반기에 클라우드 이전 작업이 있을 예정이라.. 

 

다음 편에서는 코드를 실제 돌려보고 검색하는 방법을 보여드리도록 하겟습니다.

 

 

 

제가 따라해본 예제는 아래와 같습니다.

https://blog.eunsukim.me/posts/build-logging-system-with-docker-elk-filebeat-nodejs

Docker-ELK와 Filebeat, Node.js 로 로그 시스템 구축하기 - Eunsu's Dev Blog