AWS RDS에서 Unable to connect to the database(lock)이 발생했다!

 오늘 아침에 막 출근해서 이슈를 처리하려는데 서버에 문제가 생겼다. 서버 로그를 살펴보니 DB에 연결되지 못하고 있었고, Unable to connect to the database(lock)이 발생하고 있었다.

RDS 상태와 로그를 확인하자

 제일 먼저 RDS 상태와 로그를 확인하기 위해 콘솔에 접속했다. RDS 상태는 정상. 에러로그에도 별다른 사항이 없었고, 모니터링 지표를 봐도 문제가 될 부분이 없었다.

lock이 실제로 걸려 있는가?

 원래 잘 작동되고 있던 서버였고, lock 관련해서는 이미 테스트를 했던터라 갑자기 발생한 게 의아했다. 우선 RDS의 상태가 정상인지 확인했는데 정상이었고, datagrip으로 접속해서 lock이 걸려 있는지 확인했다. 그런데 걸려 있는 락이 없었다.

최후의 방법, 재기동을 해보자

 왜 lock이 안 걸려 있는데 걸려 있다고 하는지 도저히 이해가 안 갔던 나는 결국 재기동을 하기로 했고, RDS와 EC2 모두 재기동을 했다. 그런데도 똑같은 문제는 여전히 발생했다.

보안 그룹을 확인해보자

 사실 지금 와서 생각해보면 제일 먼저 보안 그룹 설정을 확인했으면 어떨까 싶다. 어제 EC2에 구축한 모니터링 서버를 연결한다고 보안 그룹을 변경하면서 실수가 있어서 서버에서 DB로 연결하는 보안 규칙이 삭제되어 있었다. 보안 규칙을 새로 등록하자 잘 되는 걸 확인할 수 있었다.

---

 갑자기 멀쩡하던 RDS에서 그것도 상용환경에서 정말 왜 발생하는지 모르겠는 에러가 발생하니 손에 땀이 줄줄 이었다. 다행히 오픈전이었으니 망정이지 오픈하고 이런 일이 발생했으면 큰일날 뻔 했다. 혹시 누군가 또 나와 같이 헤맬까 해서 위 내용을 기록해둔다.