동시 실행 제한 큐 직접 만들기
Promise.all처럼 한꺼번에 실행하지 않고 동시에 N개만 실행하는 ConcurrentQueue를 대기열과 실행 카운터로 만들고, pause·resume·clear까지 구현합니다.
Promise.all은 작업을 모두 동시에 실행합니다. 결제 시스템, 대량 알림 발송, 이미지 업로드처럼 작업이 많은 곳에서는 이게 서버 부하나 Rate Limit으로 이어질 수 있습니다.
이번에는 시스템 모듈에서 많이 쓰는 방식인, 동시에 N개만 실행하고 나머지는 순서대로 기다리게 하는 큐를 구현해 보려고 합니다.
ConcurrentQueue가 지켜야 할 요구사항
요구사항
동시에 N개만 실행하고 나머지는 순서대로 기다리게 해야 합니다. 한 작업이 실패해도 다른 작업은 계속 돌아야 하고, 대기열을 멈추고·재개하고·비울 수 있어야 합니다.
────
결제 시스템, 대량 알림 발송, 이미지 업로드 등에서
"동시에 N개만 실행하고 나머지는 순서대로 대기"가 필요합니다.
Promise.all은 모두 동시에 터뜨리기 때문에 서버 부하·Rate Limit에
걸릴 수 있습니다.
목표
────
ConcurrentQueue 클래스를 완성하세요.
스펙
────
constructor({ concurrency })
- concurrency: 동시에 실행할 최대 작업 수 (기본값 1)
add(task) → Promise
- task: () => Promise 형태의 함수
- 실행 슬롯이 남아 있으면 즉시 실행, 아니면 대기열에 추가
- task가 resolve/reject 되면 그 값을 그대로 전파
- 한 task가 reject 되어도 다른 task 실행에 영향을 주지 않음
pause()
- 대기 중인 작업의 시작을 멈춤
- 이미 실행 중인 작업은 끝까지 실행됨
resume()
- pause 해제, 대기 중인 작업을 concurrency에 맞게 재개
clear()
- 대기 중인 작업을 모두 제거
- 이미 실행 중인 작업은 영향 없음
- 제거된 작업의 Promise는 reject({ reason: 'cleared' }) 됨
get metrics()
- { running, queued, completed, failed } 반환
라이브러리 대신 직접 만들기와 설계 선택
라이브러리를 쓸까, 직접 만들까
동시 실행 제한은 p-limit 같은 라이브러리로도 풀 수 있습니다. 이 시리즈는 기능을 직접 만들어 보는 것이 목적이라 큐를 처음부터 구현했습니다.
스케줄러 vs 큐와 카운터
처음에는 복잡한 스케줄러가 필요할 것 같았습니다. 실제로는 대기열(queue), 실행 중인 작업 수(runningCount), 최대 동시 실행 수(concurrency) 세 가지로 충분했습니다.
반복문 vs 작업 종료 시 자기 호출
대기열을 반복문으로 돌리는 대신, 작업이 끝날 때마다 nextTask()가 자기 자신을 다시 부르는 구조를 택했습니다. 작업 종료 시점에 슬롯이 비므로 그때 다음 작업을 이어 붙이면 됩니다.
ConcurrentQueue 단계별 구현
기본 구조
먼저 구조를 잡았습니다. 생성자에는 작업을 담을 queue와 동시에 실행할 수 있는 작업 수 concurrency가 먼저 떠올랐습니다.
class ConcurrentQueue {
constructor({concurrency = 1}={}){
this.queue:[];
this.concurrency=concurrency;
}
add(task){
}
pause() {
}
resume() {
}
clear() {
}
get metrics() {
}
}1. add()와 nextTask()로 실행 슬롯 채우기
스펙 위에서부터 구현합니다. add()는 task를 감싼 Promise를 돌려주고, task와 그 Promise의 resolve·reject를 함께 대기열에 넣습니다. 실제 실행은 nextTask()가 맡습니다. 실행 중인 작업 수(runningCount)가 concurrency 미만이면 대기열 맨 앞 작업을 꺼내 실행하고, 작업이 끝나면 카운트를 줄인 뒤 다시 자신을 호출합니다.
...
constructor({concurrency = 1}={}){
this.queue = [];
this.concurrency=concurrency;
this.runningCount=0;//실제 실행되고 있는 작업 수
}
add(task){
if (typeof task !== "function") throw new TypeError("task must be a function");
//task: () => Promise 형태
return new Promise((resolve,reject)=>{
//task와 실행결과를 큐에 담는다
this.queue.push({task,resolve,reject});
nextTask();
})
}
nextTask(){
// 실행 가능한 작업 수를 넘겼거나 실제 작업 큐가 비었을 경우
if(this.runningCount >= this.concurrency || this.queue.length===0) return;
// 맨 첫번째 대기열 작업
const next = this.queue.shift();
this.runningCount++;
next.task().then((result)=>{
//작업 성공
next.resolve(result)
}).catch((error)=>{
//작업 실패
next.reject(error)
}).finally(()=>{
//작업 테스크 카운트 감소
this.runningCount--;
//다음 작업 진행
this.nextTask();
})
}작업이 끝날 때 다음 작업을 이어 붙이는 순환 구조를 잡는 부분 말고는 어렵지 않았습니다.
2. pause·resume·clear
순환 구조가 잡히면 나머지는 nextTask()에 조건 하나를 더하는 일입니다. isPaused가 켜져 있으면 새 작업을 시작하지 않고, resume()에서 플래그를 끈 뒤 nextTask()를 다시 부릅니다. clear()는 대기 중인 작업을 모두 꺼내 실패 처리합니다.
constructor({concurrency = 1}={}){
this.queue = [];
this.concurrency=concurrency;
this.runningCount=0;
this.isPaused=false; // 일시정지 상태 여부
}
...
nextTask(){
// 중지 상태 이면 다음 작업 진행 X
if(this.isPaused) return;
if(this.runningCount >= this.concurrency || this.queue.length===0) return;
const next = this.queue.shift();
this.runningCount++;
next.task().then((result)=>{
next.resolve(result)
}).catch((error)=>{
next.reject(error)
}).finally(()=>{
this.runningCount--;
this.nextTask();
})
}
pause() {
this.isPaused =true;
}
resume() {
this.isPaused =false;
this.nextTask();
}
clear() {
while(this.queue.length>0){
const item = this.queue.shift();
// 모두 실패 처리
item.rejected({reason : "cleared"})
}
// 큐 초기화
this.queue=[];
}
실행 결과로 확인하기
concurrency 2로 작업 4개
const queue = new ConcurrentQueue({
concurrency: 2
});
const task = (name, delay) => () =>
new Promise((resolve) => {
console.log("start", name);
setTimeout(() => {
console.log("end", name);
resolve(name);
}, delay);
});
queue.add(task("A", 1000));
queue.add(task("B", 1000));
queue.add(task("C", 1000));
queue.add(task("D", 1000));
---console---
start A
start B
end A
start C
end B
start D
end C
end DA와 B가 먼저 시작하고, 하나가 끝날 때마다 C와 D가 차례로 시작합니다. 동시에 2개만 실행된다는 게 로그로 확인됩니다.
배운 것
ConcurrentQueue는 비동기 작업을 순서대로 실행하는 구조로만 보였는데, 직접 만들어 보니 동시성 제어(concurrency control)가 시스템 안정성과 어떻게 직결되는지 체감할 수 있었습니다.
복잡한 스케줄러 없이 변수 세 개로 충분했던 건, 로직의 복잡도보다 현재 상태를 정확히 추적하는 변수 설계가 더 중요했기 때문입니다. 다음 작업을 언제 시작할지도 따로 계산할 필요가 없었습니다. 작업이 끝나는 순간이 곧 슬롯이 비는 순간이라, 그때 nextTask()만 다시 부르면 됐습니다.
같은 주제의 글
EventEmitter 직접 만들기
on·off·emit·once·onAny를 갖춘 경량 EventEmitter를 만들며 Map·Set을 고른 이유, emit 중 변경을 막는 스냅샷, once의 wrapper 패턴을 정리합니다.
6분 읽기#JavaScript디바운스 검색 직접 만들기
AI 의존을 줄이려고 시작한 시리즈의 첫 편입니다. title·tags 검색에 디바운스, Map 캐시, requestId 기반 race condition 방지를 차례로 붙여 SearchEngine을 만듭니다.
5분 읽기#JavaScript