이번 3주는 새 기능보다 감시 장치를 손봤어요

최근 21일 동안 제품 코드 변경은 한 건이었어요. 대신 뒤에서 돌아가는 자동화를 네 번 손봤습니다. 그중 세 번은 자동화가 살아 있는지 확인하는 감시 장치, 한 번은 글 초안 생성기의 검사 규칙이에요. 혼자 운영하다 보니 자동화가 멈춰도 알려주는 사람이 없어서, 이 부분을 먼저 챙기게 됐어요.

이번 글은 그 기록이에요. 만든 것, 막힌 것, 확인한 것, 아직 모르는 것을 나눠서 적어봅니다.

만든 것 1. 랜딩 페이지 테마 스크립트 정리

랜딩 페이지에는 테마를 적용하는 작은 스크립트가 있어요. 여기에 쓰이지 않는 이름 보존 도우미가 함께 딸려 나가고 있었습니다. 동작에는 문제가 없었지만, 방문자 브라우저에 필요 없는 코드를 내려보내는 셈이라 걷어냈어요.

작은 수정인데 배운 점이 있었어요. 필요 없는 코드가 섞여 있어도 화면이 멀쩡하면 눈에 안 띈다는 거예요. 앞으로는 배포 결과물을 한 번씩 직접 열어보려고 합니다.

만든 것 2. 자동화가 조용히 멈추는 걸 잡는 장치

에러보다 무서운 건 침묵이에요

제 자동화는 크게 두 가지로 실패해요. 돌긴 돌았는데 결과가 틀린 경우, 그리고 아예 안 도는 경우예요. 두 번째가 더 무서워요. 에러 로그조차 안 남으니까요. 그래서 heartbeat, 흔히 deadman 스위치라고 부르는 방식을 쓰고 있어요.

원리는 단순해요. 작업이 성공할 때마다 마지막 성공 시각을 남기고, 별도 감시자가 그 시각이 일정 시간 이상 오래됐으면 알림을 보내요. 작업 자체가 죽어도 감시자는 따로 살아 있으니 잡을 수 있어요.

작업 성공 → 마지막 성공 시각 기록
감시자(별도 경로) → 그 시각이 N분 이상 오래됐나? → 알림

감시 대상 3개 추가, 켜는 순서가 있었어요

알림 발송 대기열, 백로그 수집, 블로그 리믹스 선택. 이 세 작업을 감시 목록에 새로 올렸어요. 그런데 바로 켜지는 않았습니다. 감시를 먼저 켜면 아직 등록도 안 된 작업이 죽었다고 울리거든요.

그래서 순서를 정했어요.

• 스케줄러(launchd)에 작업이 실제로 등록됐는지 확인
• 작업이 한 번 돌아서 산출물이 실제로 생겼는지 확인
• 그 다음에 감시를 켠다

당연해 보이지만 급하면 건너뛰기 쉬운 순서예요. 이번엔 체크리스트로 적어두고 하나씩 지웠습니다.

막힌 것: 과거 에러 한 줄 때문에 영구 DOWN

리믹스 원장, 그러니까 작업 기록 파일을 감시하는 항목이 있어요. 예전에 실패한 기록 한 줄이 남아 있으면, 그 뒤로 계속 성공해도 DOWN으로 표시됐어요. 감시 규칙이 error 문구만 찾고 있었기 때문이에요.

success 패턴도 함께 보도록 규칙을 추가해서 고쳤어요. 실패 흔적만 찾던 규칙에 성공 흔적도 알아보게 한 셈이에요. 감시 규칙도 코드처럼 틀릴 수 있다는 걸 다시 배웠습니다.

브리프 정리 작업에도 deadman 추가

매일 들어오는 브리프를 요약해서 정리하는 작업이 있어요. 여기엔 감시가 없었어요. 결과물이 하루쯤 안 나와도 제가 눈치채기 어려운 자리라, 이번에 deadman 항목을 추가했어요.

만든 것 3. 초안 생성기에 구체 수치 2개 이상 강제

개발일지 초안을 자동으로 만드는 도구가 있어요. 9월 10일에 여기에 규칙을 하나 정했어요. 초안에는 미리 기록해둔 사실 시트의 구체 수치가 2개 이상 들어가야 통과. 없으면 초안을 내보내지 않아요. 원본성 게이트라고 부르는 검사에서 구체 수치 신호로 씁니다.

왜 이렇게 정했냐면, 수치가 없는 초안은 어디서나 볼 수 있는 일반론이 되기 쉬워서예요. 반대로 숫자를 지어내면 더 나쁘고요. 그래서 애초에 사실 시트에 적힌 수치만 가져오게 했어요. 없는 숫자는 못 쓰고, 있는 숫자는 반드시 쓰는 구조예요.

확인한 것

• 감시는 켜는 순서가 있다. 등록 확인, 산출물 확인, 그 다음 감시 on.
• 감시 규칙도 틀린다. 실패만 찾는 규칙은 성공을 못 알아본다.
• '돌았다'와 '결과가 나왔다'는 다르다. 산출물이 실제로 생겼는지를 본다.

아직 모르는 것

감시 항목이 늘면서 알림도 늘어요. 어느 정도부터 알림을 무시하게 되는지는 아직 몰라요. 한동안 알림을 그대로 받아보면서, 제가 실제로 반응한 알림과 흘려보낸 알림을 구분해볼 생각이에요. 결과는 나중에 다시 기록하겠습니다.

혼자 자동화를 운영하시는 분들은 조용히 멈추는 걸 어떻게 잡고 계세요? 댓글로 방식을 들려주시면 다음 실험에 참고할게요.