백엔드 개발자 블로그

요즘 채용공고를 보면 대용량 트래픽 처리역량을 필수라고 보는 것 같다. 대용량 트래픽 처리 전략에 대해 얼마나 알고 있는지 정리해본 글이다. 일의 로직을 효율적으로 바꾸자 = 알고리즘 개선, 쿼리문 개선반복되는 결과물이나 일처리방법들은 버리지말고 가지고 있다가 바로 사용하자 = 캐싱병렬로 일을 처리하자 = 비동기일에 필요한 자원은 마지막 사용자가 반납하자 = 논블로킹여러개의 일을 한번에 줘서 일 전달 시간을 줄이자 = Stored Procedure, buffer, batch 자원을 점유하는 시간을 줄이자 = 락 개선멀티탭을하자 = 커넥션 수 증가 공유 안되는 공유자원을 세분화하자 = 샤딩일에 필요한 자원을 세트로 미리 만들어 놓자 = 역정규화수정하는 업무와 조회하는 업무 다르게 세팅하자= CQRS일할 때..

요즘 신입 채용공고를 보면 대용량 트래픽 처리 역량을 요구하는 곳이 점점 많아지고 있습니다. 우아한테크에서는 대용량 트래픽을 어떻게 처리하고 있는지 정리해보면서 이해도를 키우기 위한 글입니다.https://www.youtube.com/watch?v=704qQs6KoUk 상황일평균 300만 건 이상의 트래픽이 발생 + 12:00, 18:30에 트래픽이 몰림문제 상황1. 단일 장애 포인트중앙집중 저장소에 모든 시스템이 의존하고 있음 하나의 시스템 에러 > 중앙집중 저장소에 부하 발생 > 다른 시스템에도 에러 발생 해결책MSA + MQ각 시스템으로 나누고, 통신은 Message Queue기반으로 통신시스템에 에러가 발생해도 이벤트를 재발행하면 끝이라서 장애가 전파가 안됨 2. 대용량 데이터조회시 JOIN 연산..

OOM 발생컨텍트 렌즈 온라인 플랫폼 관리자 앱에서, 송장 정보 일괄 입력을 위해 CSV 파일 처리 기능을 구현했습니다. 초기 테스트에서는 10MB 미만 파일만 다뤘지만, 운영 환경과 유사하게 200MB 파일을 업로드하자 백엔드 서비스의 메모리 사용량이 점차 증가하다가 서버 실행 후 몇 시간 뒤 OOM(Out Of Memory) 에러와 함께 다운되는 현상이 발생했습니다. 스파이크성 트래픽이 아니라 지속적으로 메모리가 상승하는 패턴이어서 원인 파악에 어려움이 있었습니다.원인 파악메모리 누수 파악 먼저, 서버의 힙 메모리와 GC를 확인했습니다.노란색이 Old Gen, 파란색과 녹색이 각각 Minor GC, Major GC입니다.GC 동작 이후에도 Old Gen의 최저 수위가 점점 높아지는 것을 볼 수 있습니..