prometheus로 서버 장애를 먼저 잡는 방법

1회
prometheus로 서버 장애를 먼저 잡는 방법

얼마 전 방문자가 거의 없는 사이트에서 5분씩 접속이 끊기는 일을 봤다. 트래픽은 평소와 같았는데 디스크가 꽉 차면서 웹서버가 로그를 쓰지 못했다. 이런 장애를 겪으면 서버 사양부터 올리기 쉽다. 하지만 필요한 건 더 큰 서버보다 디스크 사용량이 언제부터 늘었는지 보여주는 기록인 경우가 많다. prometheus는 서버와 서비스의 수치를 주기적으로 모아 그 기록을 남기는 도구다.

먼저 무엇을 볼지 좁혀서 시작한다

작은 웹사이트라면 처음부터 수백 개 지표를 볼 필요가 없다. CPU 사용률, 사용 가능한 메모리, 파일시스템 여유 공간, 웹 요청 수와 오류 비율 정도면 장애의 윤곽이 나온다. 서버 수치는 Node Exporter가 내보내고, 웹 애플리케이션의 요청 수와 오류 수는 애플리케이션이나 웹서버용 exporter에서 가져온다. 단순한 프로세스 생존 확인과 실제 페이지 접속 성공은 다르므로, 이용자 관점의 접속 확인도 별도로 두는 편이 좋다.

prometheus는 수집 대상의 지표를 일정 간격으로 읽는다. 운영 중인 사이트 몇 대라면 30초 간격부터 시작해도 충분한 경우가 많다. 1초 간격으로 줄이면 그래프는 촘촘해지지만 수집량과 저장량도 함께 늘어난다. 반대로 5분 간격은 짧은 장애를 놓칠 수 있다. 공식 문서의 시작 예시는 15초 간격을 쓰지만, 그 값을 모든 서버에 그대로 적용할 이유는 없다. 서비스가 허용할 장애 감지 시간에 맞춰 간격을 정하면 된다.

수집 대상 화면에서 먼저 상태가 정상인지 확인한다. 대상이 내려간 것으로 보인다면 애플리케이션 장애라고 단정하지 말고 exporter 프로세스, 접근 제어, 방화벽, 수집 대상 설정 순서로 본다. 모니터링 경로만 막혀도 서비스는 정상인데 그래프에는 빈 구간이 생긴다.

서버 크기는 샘플 수로 가늠한다

prometheus 서버 비용은 방문자 수만으로 계산하기 어렵다. 수집 대상 수, 대상마다 나오는 시계열 수, 수집 간격, 보관 기간이 더 직접적인 변수다. 예를 들어 대상 20개에서 각각 시계열 500개를 30초마다 받으면 초당 약 333개 샘플이다. 14일 동안 약 4억 개 샘플이 쌓인다. 공식 문서의 샘플당 평균 1~2바이트를 단순 적용하면 데이터 블록만 대략 400~800MB 수준이다. 실제 디스크에는 쓰기 로그와 인덱스, 압축 작업 중 생기는 임시 공간도 필요하므로 이 숫자를 디스크 크기로 그대로 쓰면 안 된다.

이 정도의 작은 구성은 1~2개 가상 CPU와 메모리 2~4GB에서 시험해볼 수 있다. 다만 이는 구매 기준이 아니라 출발점이다. 고유한 시계열이 급증하거나 복잡한 조회를 여러 사람이 동시에 실행하면 메모리 사용량이 크게 달라진다. 설치 후 며칠간 실제 메모리와 디스크 증가량을 보고 조정하는 편이 정확하다. 디스크 보관량 상한을 설정한다면 공식 문서가 권하는 것처럼 할당 공간의 80~85% 이내로 잡아 압축 작업의 여유를 둔다.

특히 사용자 번호, 주문 번호, 요청별 경로처럼 값이 계속 달라지는 항목을 라벨로 넣지 않는 게 중요하다. 라벨 값의 조합마다 시계열이 새로 생긴다. 서버 3대만 보는데도 메모리가 모자란다면 대개 서버 대수보다 이 조합이 먼저 의심된다. 이런 값은 지표보다 로그에서 찾는 편이 맞다.

광고

알림은 조치할 수 있는 증상에 건다

CPU가 잠깐 90%를 넘었다고 바로 깨우면 알림은 금방 무시된다. 실제 운영에서는 디스크 여유가 일정 수준 아래로 내려가고 10분 이상 유지되는지, 웹 오류 비율이 평소보다 높아졌는지, 접속 확인이 연속 실패하는지를 먼저 본다. 예를 들어 디스크 여유 15%를 경고선으로 삼되, 백업 작업 때 일시적으로 줄어드는 서버라면 해당 서버의 평소 패턴을 반영해야 한다. 숫자 하나를 모든 장비에 복사하면 오탐이 많아진다.

요청 오류 비율은 오류 건수만 볼 때보다 의미가 있다. 분당 요청 10건 중 오류 5건과 요청 1만 건 중 오류 5건은 대응 우선순위가 다르다. 요청 수가 너무 적은 사이트라면 비율만으로 알림을 걸지 말고 최소 요청 건수 조건과 외부 접속 확인을 함께 쓴다. prometheus의 경보 규칙에는 조건이 일정 시간 유지될 때 알리도록 대기 시간을 둘 수 있다.

알림 전달에는 Alertmanager를 붙일 수 있다. 여러 서버가 같은 원인으로 실패했을 때 알림을 묶고, 점검 중인 장비의 알림을 잠시 멈추는 역할을 한다. 다만 알림 전달 체계도 장애가 난 서버 한 대에만 올려두면 그 서버가 꺼졌을 때 함께 사라진다. 최소한 외부에서 실제 페이지 접속을 확인하는 경로 하나는 따로 두는 게 안전하다.

백업과 복구 확인까지 운영에 포함한다

모니터링 서버를 이전할 때 설정 파일만 복사하고 과거 데이터가 따라오지 않았다는 사실을 뒤늦게 발견하는 경우가 있다. 설정, 경보 규칙, Alertmanager 설정, 저장 데이터의 보관 위치를 각각 확인해야 한다. prometheus 공식 문서는 저장 데이터 백업에 스냅샷을 권한다. 실행 중인 저장 디렉터리를 무작정 복사하면 최근 데이터가 빠지거나 일관성이 깨질 수 있다. 스냅샷을 다른 저장소에 보관하고, 복구한 서버에서 과거 그래프와 알림 규칙이 보이는지 한 번 실제로 확인해야 백업이라고 부를 만하다.

장애가 났을 때는 순서도 단순한 편이 좋다. 먼저 외부에서 접속이 되는지 확인하고, 다음으로 수집 대상 상태와 웹 오류, 디스크 여유, 메모리, CPU를 본다. 디스크가 찼다면 무엇이 늘었는지 확인한 뒤 보관 기간이나 로그 정책을 조정한다. 원인을 모른 채 서버 사양만 올리면 같은 장애가 더 비싼 요금제에서 반복된다. 작은 사이트일수록 필요한 지표 몇 개와 복구 가능한 백업을 꾸준히 관리하는 쪽이 효과가 크다.

광고

댓글 0

평가를 남기려면 로그인해 주세요.

모두 ID로 로그인

불러오는 중…