MR2S 실험 작업 분산 설계
배경
- 실험 데이터 수집에 일주일 이상 소요
- tmux에서 실행하다 중단되면 직접 재시작 필요
- tmux 기반 실행으로 스케일링이 어려움
작업 분배
작업 생성과 실행을 분리하고 Worker를 수평 확장하는 구조로 설계
Task Maker → SQS ┬→ Worker 1 (Spot Instance)
├→ Worker 2 (Spot Instance)
└→ Worker N (Spot Instance)
- Task Maker: 실험 작업 생성 후 SQS에 전달
- Worker: SQS에서 작업을 가져와 계산. Spot Instance에서 실행하도록 설계
- Worker 수평 확장으로 스케일링