라포랩스 제품팀은 이런 경험을 하고 있어요

안녕하세요, 라포랩스 백엔드 플랫폼 그룹에서 서버 엔지니어로 일하고 있는 김영진입니다.

저희 팀에서는 개발된 제품의 기능을 안정적으로 유저에게 배포하기 위해 데이터베이스 마이그레이션과 같은 DBA로서의 역할도 수행하고 있습니다.

이번 글 에서는 대용량 트래픽을 실시간으로 처리 중인 상황에서 서비스 중단 없이 데이터베이스 schema 변경을 안정적으로 하기 위해 percona-toolkit online schema change 툴을 도입해본 경험을 공유하고자 합니다.

안녕하세요, 라포랩스 서버 플랫폼 팀의 지수환입니다. 이번 글에서는 데이터베이스의 CPU 사용률이 간헐적으로 튀는 문제를 해결한 경험에 대해 이야기를 나눠 보려고 합니다.

2022년 여름의 어느 날, 자고 일어났더니 메인 DB의 CPU 사용률이 80%가 넘었다는 알림이 슬랙에 남아 있었습니다. 메트릭을 확인해 보니, 메인 DB 인스턴스 한 대의 CPU 사용률이 약 80% 선에서 12분 정도 유지되다가 다시 정상적인 패턴으로 돌아갔습니다. 퀸잇 서비스에서 DB의 CPU 사용률은 일반적으로 트래픽에 비례하는 패턴을 그리는데, 알람이 울린 시점에는 지표 상 트래픽이 튀지 않았습니다. 따라서 DB의 CPU 사용률이 높아진 현상이 트래픽 증가에 따른 결과라고 보기는 어려웠습니다.

트래픽과는 독립적인 이유로 DB의 CPU 사용률이 높게 유지된 것이라면, 트래픽이 높은 시점에 이 현상이 트리거될 경우 서비스 장애로 이어질 수 있다고 판단했습니다. 따라서 팀 내에서 우선순위를 높여서 이 현상의 원인을 파악하기 시작했습니다.