인수한 사이트를 정리하고 나면 운영이 시작됩니다. 운영의 대부분은 아무 일도 없는 달에 하는 점검입니다.
장애는 어느 날 갑자기 일어나는 것처럼 보입니다. 기록을 거슬러 보면 대부분 몇 달 전부터 신호가 있었습니다. 디스크가 조금씩 찼고, 인증서 만료일이 다가왔고, 백업 작업이 멈춰 있었습니다. 정기 점검은 이 신호를 장애가 되기 전에 찾는 일입니다.
점검 대상은 사이트 하나가 전부입니까?
자치구 포털을 2009년부터 2016년 초까지 담당했습니다. 해마다 사이트가 늘어 인계할 때는 48곳이었습니다. 구 대표 포털에 부서와 동 페이지, 외국어 사이트, 전자도서관, 문화시설, 구의회 사이트가 함께 묶여 있었습니다.
사이트 뒤에 붙은 솔루션도 여럿이었습니다. 통합관리자, 콘텐츠 관리, 통합로그인(SSO, 한 번 로그인으로 여러 사이트를 쓰는 방식), 통합검색, 애플리케이션 성능 관리, 게시판 불건전 글 차단, 미디어 서버, 접속 통계가 각각 돌았습니다.
화면이 멀쩡해도 이 중 하나가 멈추면 로그인이나 검색이 안 됩니다. 그래서 점검 목록은 사이트 수가 아니라 사이트가 기대는 서비스 수만큼 늘어납니다. 인수한 사이트라면 3편에서 만든 목록에 연동 서비스를 한 줄씩 더합니다.
열두 가지는 무엇입니까?
- 1. 접속과 응답
- 보는 것
- 대표 화면, 로그인, 검색, 신청 화면의 응답 시간
- 이상으로 보는 기준
- 지난달보다 눈에 띄게 느려짐
- 2. SSL 인증서
- 보는 것
- 만료일
- 이상으로 보는 기준
- 만료 30일 전
- 3. 도메인
- 보는 것
- 만료일, 자동 연장 결제 수단
- 이상으로 보는 기준
- 만료 60일 전, 카드 유효기간 경과
- 4. 디스크
- 보는 것
- 여유 공간과 증가 속도
- 이상으로 보는 기준
- 사용률 80% 이상
- 5. 백업
- 보는 것
- 마지막 백업 날짜, 파일 크기
- 이상으로 보는 기준
- 날짜가 백업 주기보다 오래됨, 크기가 갑자기 줄어듦
- 6. 오류 로그
- 보는 것
- 웹 서버, WAS, 애플리케이션 오류
- 이상으로 보는 기준
- 같은 오류 반복, 처음 보는 오류
- 7. 보안 업데이트
- 보는 것
- 운영체제, 언어, CMS, 플러그인
- 이상으로 보는 기준
- 보안 패치가 나왔는데 미적용
- 8. 관리자 계정
- 보는 것
- 계정 목록, 최근 접속일
- 이상으로 보는 기준
- 퇴사자 계정, 장기 미접속 계정
- 9. DB
- 보는 것
- 테이블별 용량과 행 수, 느린 쿼리
- 이상으로 보는 기준
- 한 테이블이 급격히 늘어남
- 10. 연동 서비스
- 보는 것
- 본인인증, 결제, 문자, 지도 API 키의 만료와 호출 오류
- 이상으로 보는 기준
- 계약 만료 임박, 호출 실패
- 11. 문의와 신청
- 보는 것
- 폼 접수, 알림 메일 수신
- 이상으로 보는 기준
- 접수는 됐는데 알림 메일 미수신
- 12. 접속 통계
- 보는 것
- 방문 수, 유입 경로, 비정상 접근
- 이상으로 보는 기준
- 갑자기 급증하거나 0으로 떨어짐
| 번호 | 항목 | 보는 것 | 이상으로 보는 기준 |
|---|---|---|---|
| 1 | 접속과 응답 | 대표 화면, 로그인, 검색, 신청 화면의 응답 시간 | 지난달보다 눈에 띄게 느려짐 |
| 2 | SSL 인증서 | 만료일 | 만료 30일 전 |
| 3 | 도메인 | 만료일, 자동 연장 결제 수단 | 만료 60일 전, 카드 유효기간 경과 |
| 4 | 디스크 | 여유 공간과 증가 속도 | 사용률 80% 이상 |
| 5 | 백업 | 마지막 백업 날짜, 파일 크기 | 날짜가 백업 주기보다 오래됨, 크기가 갑자기 줄어듦 |
| 6 | 오류 로그 | 웹 서버, WAS, 애플리케이션 오류 | 같은 오류 반복, 처음 보는 오류 |
| 7 | 보안 업데이트 | 운영체제, 언어, CMS, 플러그인 | 보안 패치가 나왔는데 미적용 |
| 8 | 관리자 계정 | 계정 목록, 최근 접속일 | 퇴사자 계정, 장기 미접속 계정 |
| 9 | DB | 테이블별 용량과 행 수, 느린 쿼리 | 한 테이블이 급격히 늘어남 |
| 10 | 연동 서비스 | 본인인증, 결제, 문자, 지도 API 키의 만료와 호출 오류 | 계약 만료 임박, 호출 실패 |
| 11 | 문의와 신청 | 폼 접수, 알림 메일 수신 | 접수는 됐는데 알림 메일 미수신 |
| 12 | 접속 통계 | 방문 수, 유입 경로, 비정상 접근 | 갑자기 급증하거나 0으로 떨어짐 |
WAS는 자바 사이트에서 프로그램을 실제로 실행하는 서버입니다. 톰캣이나 상용 제품이 여기에 해당합니다.
통계 도구를 바꾼 달은 숫자가 앞뒤로 이어지지 않습니다. 자치구 포털도 접속 통계를 자체 솔루션에서 구글 애널리틱스로 바꾼 해가 있었습니다. 바꾼 날짜를 점검 기록에 남겨 두면 다음 해 비교 때 혼동이 없습니다.
DB는 왜 테이블별로 봅니까?
회원 결제가 오가는 온라인 서비스 운영팀에 있을 때 외부 DB 점검 업체가 정기적으로 방문했습니다. 업체는 방문 때마다 부하가 큰 쿼리를 분석해 보냈습니다.
같은 시기에 한 로그 테이블의 자동 증가 번호(IDENTITY)가 바닥나 대응한 일이 있습니다. 자동 증가 번호는 행이 들어갈 때마다 붙는 일련번호입니다. 자료형이 담을 수 있는 최댓값에 닿으면 새 행이 들어가지 않고, 그 테이블에 기록하는 기능이 멈춥니다. 이때 오래된 데이터를 정리하는 작업도 함께 했습니다.
로그 테이블은 화면에 보이지 않아 아무도 들여다보지 않습니다. 사이트 전체 용량만 보면 이런 테이블 하나의 증가는 묻힙니다. 테이블별 행 수를 매달 기록하면 증가 속도가 숫자로 보이고, 바닥나는 시점을 미리 계산할 수 있습니다.
점검은 언제, 어떻게 합니까?
- 같은 날, 같은 순서.
매월 첫 주 화요일처럼 날짜를 고정합니다. 순서가 같으면 빠진 항목이 바로 드러납니다.
- 숫자로 기록.
"정상" 대신 디스크 사용률, 인증서 남은 일수, 테이블 행 수를 씁니다. 지난달 숫자와 나란히 놓아야 변화가 보입니다.
- 재시작이 필요하면 사전 안내.
업데이트나 서버 재시작이 필요하면 이용자가 적은 시간을 정하고 미리 공지합니다.
- 이상 항목은 그날 분류.
바로 처리할 것과 고객 결재가 필요한 것을 나눠 담당자에게 보냅니다.
이상 항목이 나오면 어떻게 합니까?
그날 처리할 수 있는 것과 결정이 필요한 것으로 나눕니다.
디스크 정리, 인증서 갱신, 퇴사자 계정 삭제는 그날 처리하고 결과를 기록합니다. 운영체제나 프레임워크처럼 큰 버전을 올려야 하는 항목은 비용과 일정이 걸려 있어 고객이 정합니다. 이때는 6편의 판단 기준을 붙여 보냅니다.
같은 이상이 두 달 연속 나오면 원인을 점검 기록에 남깁니다. 디스크가 매달 같은 속도로 찬다면 정리보다 원인이 되는 로그나 업로드 파일을 찾는 일이 먼저입니다.
점검 결과는 누구에게 갑니까?
결과는 한 장으로 사이트 담당자에게 보냅니다. 열두 항목, 이번 달 숫자, 지난달 숫자, 조치 내용 네 칸이면 충분합니다.
인수한 첫 달에는 비교할 지난달 숫자가 없습니다. 구청 교육 사이트 네 곳을 인수했을 때도 첫 달에 운영 서버 백업부터 받았습니다. 인수한 날의 상태를 숫자로 남겨 두면 그 숫자가 이후 점검의 출발점이 됩니다.
이 한 장이 매달 쌓이면 14편에서 다룰 월간 운영 보고서의 바탕이 됩니다.