본문 바로가기
운영과 유지보수 10편읽는 시간 4분

"홈페이지가 안 열려요." 연락은 대개 이 한 문장으로 옵니다.

처음 30분에 할 일은 수정보다 어디서 멈췄는지 좁히는 것입니다. 원인을 모른 채 서버부터 재시작하면 잠깐 열렸다가 다시 멈추고, 원인을 찾을 기록은 재시작과 함께 사라집니다.

연락을 받으면 무엇부터 묻습니까?

0~5분은 질문으로 씁니다. 답에 따라 볼 곳이 절반으로 줄어듭니다.

  1. 전부 안 열리나, 일부만 안 되나.

    대표 화면부터 안 열리는지, 로그인이나 신청 같은 한 기능만 안 되는지 묻습니다.

  2. 누가, 어디서.

    사내망에서만 안 되는지, 휴대폰 데이터로도 안 되는지 확인합니다. 사내망에서만 안 되면 사이트가 아니라 회사 네트워크 쪽일 수 있습니다.

  3. 어떤 브라우저로.

    크롬, 엣지, 사파리, 휴대폰 앱 안의 브라우저 중 무엇인지 묻습니다.

  4. 화면에 보이는 문구.

    오류 화면을 캡처해 받습니다. 문구 하나로 원인 후보가 정해지는 경우가 많습니다.

  5. 언제부터.

    어제 무엇을 바꿨는지, 그 시각에 업데이트나 작업이 있었는지 확인합니다.

일부만 안 될 때는 무엇이 다릅니까?

구청 예약 시스템을 담당했을 때 캘린더가 가끔 안 보인다는 연락을 받았습니다. 데이터 조회는 정상이었고 서버 오류도 없었습니다. 전달하는 파라미터 값이 잘못됐는지까지 확인했지만 문제가 없었습니다.

다른 브라우저로 열어 보니 캘린더가 보였습니다. 로그를 보려고 쓰는 자바스크립트 함수가 인터넷 익스플로러에 없어서 스크립트가 중간에 멈춘 것이었습니다.

처음에 어떤 브라우저로 열었는지 물었다면 서버를 뒤지기 전에 찾았을 문제입니다. 이 일 이후로 "가끔", "일부만"이라는 연락에는 코드보다 이용 환경을 먼저 묻습니다.

전부 안 열리면 어떤 순서로 봅니까?

  • 5~10분
    확인 대상
    도메인
    확인 방법
    후이즈 만료일, DNS 조회(nslookup)
    이 단계가 원인일 때 보이는 것
    "사이트에 연결할 수 없음", 주소를 찾을 수 없다는 오류
  • 10~15분
    확인 대상
    서버
    확인 방법
    서버 접속, 웹 서버와 WAS 프로세스, 디스크 여유 공간
    이 단계가 원인일 때 보이는 것
    응답 없음, 502나 503 오류
  • 15~20분
    확인 대상
    인증서
    확인 방법
    SSL 인증서 만료일
    이 단계가 원인일 때 보이는 것
    "연결이 비공개로 설정되어 있지 않습니다" 경고
  • 20~25분
    확인 대상
    DB
    확인 방법
    DB 접속, 연결 수, 디스크
    이 단계가 원인일 때 보이는 것
    화면 틀은 뜨는데 목록이 비거나 DB 연결 오류 문구
  • 25~30분
    확인 대상
    연동 서비스
    확인 방법
    통합로그인, 본인인증, 결제, 외부 API
    이 단계가 원인일 때 보이는 것
    특정 기능만 멈춤

밖에서 안으로 봅니다. 이용자 쪽에 가까운 것부터 서버 안쪽 순서입니다.

DNS는 주소를 서버 위치로 바꿔 주는 장치입니다. 도메인이 만료되거나 DNS 설정이 바뀌면 서버가 멀쩡해도 주소로는 찾아갈 수 없습니다.

도메인과 인증서는 만료일만 보면 되는 일이라 1분이면 끝납니다. 시간이 오래 걸리는 서버 안쪽부터 보다가 마지막에 만료일을 발견하는 경우가 생각보다 많습니다.

사이트가 여러 곳이면 무엇을 먼저 봅니까?

자치구 포털을 2009년부터 2016년 초까지 담당했습니다. 인계할 때는 사이트가 48곳이었고, 모두 같은 개발 환경(자바, 오라클 DB, 상용 WAS)과 통합로그인, 통합검색을 함께 썼습니다.

이런 구조에서는 한 사이트가 안 열린다는 연락을 받으면 다른 사이트부터 열어 봅니다. 전부 안 열리면 공통 부분인 서버, DB, 통합로그인 쪽입니다. 한 곳만 안 열리면 그 사이트의 설정이나 최근 수정입니다. 이 한 번의 확인으로 볼 곳이 바로 좁혀집니다.

원인을 바로 못 찾으면 어디를 봅니까?

오류 로그와 성능 관리 도구(APM)를 봅니다. APM은 요청 하나하나가 어디서 느려지고 어디서 실패했는지 기록하는 도구입니다.

회원 결제가 오가는 온라인 서비스 운영팀에 있을 때 이 도구에 잡힌 오류를 모아 조치하는 작업을 했습니다. APM이 없는 사이트라면 웹 서버와 WAS의 오류 로그를 장애 시각 기준으로 잘라 봅니다.

장애 직전에 바뀐 것이 있으면 그것부터 봅니다. 서버를 옮기면 DB 주소, 방화벽, 예약 작업처럼 함께 바뀌는 설정이 많습니다. 같은 운영팀에서 서버를 옮길 때도 DB 주소 변경이 함께 들어갔습니다. 옮긴 직후의 장애는 옮기면서 바꾼 설정 목록과 먼저 대조합니다.

재시작은 기록을 남긴 뒤에 합니다. 오류 로그, 프로세스 상태, 디스크 사용률, 화면 캡처를 먼저 저장합니다. 디스크가 가득 찼다면 지우기 전에 무엇이 채웠는지 기록합니다.

누구에게 어떤 순서로 알립니까?

  1. 사이트 담당자에게 첫 연락.

    연락을 받고 15분 안에 보냅니다. 확인한 증상, 지금 보고 있는 곳, 다음 연락 시각을 적습니다.

  2. 결재권자와 관련 부서.

    신청 마감이나 결제처럼 업무가 걸려 있으면 담당자를 거쳐 함께 알립니다.

  3. 이용자 공지.

    30분 넘게 걸릴 것 같으면 점검 안내 화면이나 공지로 알립니다.

  4. 복구 뒤 경위서.

    발생 시각, 원인, 조치, 재발 방지 대책을 5편 보고서와 같은 형식으로 냅니다.

첫 연락에서 가장 중요한 줄은 다음 연락 시각입니다. 원인을 아직 몰라도 "20분 뒤에 다시 연락드리겠습니다"라는 한 줄이 있으면 담당자는 윗선에 같은 내용으로 보고할 수 있습니다. 담당자가 기다리는 것은 해결 소식보다 지금 상황입니다.

홈페이지 제작, 유지보수 상담