let's encrypt. certbot 오류로 인해 발급제한이 걸려 인증서 갱신을 못할 때 (내 사이트를 살)

TL;DR

certbot의 인증서 갱신 요청은 성공 했지만 파일권한, 심링크 문제 등 파일 시스템 오류로 매일 새로 시도, 인증서 발급 개수 제한에 걸려 168시간 제한이 걸려버렸고 인증서는 만료되어 곤란할 떄 로그와 임시파일을 통해서 최근에 성공한 인증값을 추출, 해결할 수도 있다. 모든 경우에 해결 가능한 것은 아니다.

잡설

해결 방법은 아래에 따로 적혀있으니 잡설은 패스해도 무방

본 페이지( https://figure.kim)는 현재 (2024. 07. 04.) 집에서 우분투로 서비스 하고 있다.

인증서는 let's encrypt를 사용중인데 서비스가 한 두개 씩 늘어나면서 인증서 위치도 옮기고 하다보니 인증서 참조 경로에 심링크가 꼬였는데 인지하지 못하고 있었다.
certbot이 갱신을 시도하니 파일을 찾을 수 없다고 나오면서 갱신을 실패했고 갱신이 안되니 certbot은 매일 실행되면서 갱신을 매일 시도하고 있었다,

경로문제를 해결하고 새로 갱신을 돌렸더니 요청 리미트에 걸려 갱신을 할 수 없었다.

그 사이 이 사이트는 신뢰할수 없는 피싱 사이트처럼 보일 수 밖에 없었다.

하지만 큰 문제될건 없었던 것이 개인 사이트이고 제한은 모레 오후면 풀려서 며칠만 있으면 피싱 사기범에서 평범한 30대 남자로 돌아갈 수 있었다.

하지만 로그를 보다보니 공개키 형태의 로그가 남아있었고

혹시 인증된 키를 확보할 수 있나?

라는 생각에 로그를 훑었으나 private키는 로그에서 찾아볼 수 없었다.

어딘가 익숙한 모양이 눈에 걸려버렸다.

하지만 로그상 인증서는 응답으로 받았으나 파일 시스템 문제로 파일 생성에 실패한 것이니 어딘가에는 있을것이라고 생각했고

/etc/letsencrypt/keys

에는 꽤나 많은 private key가 있었다.
여기에 생성된 키가 인증 결과의 키 라고 의심했고 이전에 성공해서 생성된 키의 시각과 로그의 시각을 대조해서 로그에 남아있던 키는 fullchain.pem으로 생성된 파일과 일치하고 /etc/letsencrypt/keys 에 비슷한 시각에 생성된 키는 private키와 일치함을 확인헀다.

해결 방법

• /var/log/letsencrypt/letsencrypt.log 에서 갱신 성공했으나 파일시스템 오류로 실패한 로그를 찾는다.
• 찍혀있는 공개키를 찾아서 Nginx에서 참조하고 있는 fullchain.pem파일에 덮어 쓰거나 생성해서 참조하도록 한다.
• /etc/letsencrypt/keys의 파일 중 로그의 시각과 비슷한 시각의 키 파일의 내용을 복사해 마찬가지로 private키를 참조하는 파일에 덮어 쓴다.
• 피싱 사기범 혐의를 벚는다.

다만 설정된 로그 레벨에 따라서 찍혀있지 않을 수도 있으니 운이 좋았기를 바란다.