RTX 3060 도우미 최대 처리량
동시 요청 128건
AI INFRASTRUCTURE / LAB REPORT 01
내부 시험 결과 · 2026.10.12AI 서버의 기준,
업무에서 찾습니다.
짧은 질문을 빠르게. 긴 회의록은 여유 있게.
두 가지 GPU·모델 구성으로 확인한 기업 AI 도입의 출발점.
GB10 × Qwen3-VL-30B-A3BRTX 3060 × Qwen3-8B AWQ
RTX 3060 도우미 응답 중앙값
GB10: 1.36초
두 구성의 도우미 정답 수
동일한 내부 시험 문항
GB10 긴 회의록 동시 처리 성공
RTX 3060: 8건 중 2건 한도 초과
서로 다른 모델·양자화·동시 실행 서비스가 포함된 구성 비교입니다. GPU 단독 성능이나 운영 성능 보장 수치가 아닙니다.
WORKLOAD FIRST
모든 업무에 같은 서버가
정답일 필요는 없습니다.
AI 도우미
정답은 두 구성 모두 13/14. RTX 3060 구성은 동시 256건까지 모두 성공했고, 처리량은 동시 128건에서 가장 높았습니다.
매뉴얼 안내
6개 질문 모두 매뉴얼 근거로 답변했습니다. 동시 64건에서 처리량은 RTX 3060 249건/분, GB10 191건/분이었습니다.
긴 회의록 요약
긴 회의록 동시 8건을 모두 처리했습니다. 해당 샘플에서 요약 주제는 7개로 세분화했고, 보류 안건을 결정으로 적는 오류는 없었습니다.
TEST CONFIGURATIONS
장비와 모델을 함께 봐야 합니다.
GB10
큰 모델과 긴 문서를 위한 구성
- GPU
- NVIDIA GB10 (Grace Blackwell)
- 메모리
- 통합 메모리 121 GiB (CPU·GPU 공용)
- CPU
- ARM 20코어
- 모델
- Qwen3-VL-30B-A3B · bf16
- 컨텍스트 / KV 캐시
- 16,384 토큰 / 약 16.6만 토큰
- 동시 실행
- 음성 인식 및 여러 서비스
RTX 3060
12GB GPU에서 시작하는 AI 구성
- GPU
- NVIDIA GeForce RTX 3060 · 1장
- 메모리
- VRAM 12 GiB · 시스템 30 GiB
- CPU
- Intel i7-11700F · 8코어 16스레드
- 모델
- Qwen3-8B · AWQ 4bit
- 컨텍스트 / KV 캐시
- 16,384 토큰 / 약 2.3만 토큰
- 동시 실행
- RAG 임베딩·재순위 (GPU 미사용)
CONCURRENCY & THROUGHPUT
요청이 몰리는 순간까지 측정했습니다.
동시 요청은 같은 순간 처리 중인 요청 수이며, 전체 사용자 수와 다릅니다. p95는 요청의 95%가 해당 시간 이내에 끝나는 지표입니다.
AI 도우미 처리량 · 높을수록 좋음
● GB10 · 30B bf16● RTX 3060 · 8B AWQ
1건
2건
4건
8건
16건
32건
64건
128건
256건
동시 요청 수 · 단위: 건/분. GB10 동시 256건 지점에는 7건의 실패가 포함되어 있습니다.
정확한 수치 표로 보기
| 동시 요청 | GB10 | RTX 3060 |
|---|---|---|
| 1건 | 39 | 47 |
| 2건 | 68 | 211 |
| 4건 | 76 | 271 |
| 8건 | 125 | 502 |
| 16건 | 232 | 844 |
| 32건 | 365 | 1123 |
| 64건 | 801 | 1062 |
| 128건 | 947 | 1301 |
| 256건 | 248 | 1104 |
AI 도우미 p95 응답 시간 · 낮을수록 좋음
● GB10 · 30B bf16● RTX 3060 · 8B AWQ
1건
2건
4건
8건
16건
32건
64건
128건
256건
동시 요청 수 · 단위: 초. 서비스 대기 한도 20초. GB10 동시 256건은 7건 실패를 함께 고려해야 합니다.
정확한 수치 표로 보기
| 동시 요청 | GB10 | RTX 3060 |
|---|---|---|
| 1건 | 1.5 | 1.3 |
| 2건 | 1.8 | 0.6 |
| 4건 | 3.2 | 0.9 |
| 8건 | 3.9 | 1 |
| 16건 | 4.1 | 1.1 |
| 32건 | 5.3 | 1.7 |
| 64건 | 4.8 | 3.6 |
| 128건 | 7.6 | 5.8 |
| 256건 | 8.2 | 13.6 |
긴 회의록 p95 응답 시간 · 낮을수록 좋음
● GB10 · 30B bf16● RTX 3060 · 8B AWQ
1건
2건
4건
8건
동시 요청 수 · 단위: 초. 대기 한도 180초. 동시 8건에서 RTX 3060은 2건이 한도를 초과했습니다.
정확한 수치 표로 보기
| 동시 요청 | GB10 | RTX 3060 |
|---|---|---|
| 1건 | 23.6 | 25.8 |
| 2건 | 36.6 | 44.5 |
| 4건 | 62.9 | 103.9 |
| 8건 | 130 | 207.2 |
TUNE BEFORE YOU SCALE
장비를 늘리기 전에,
설정에서 가능성을 찾습니다.
RTX 3060 구성은 컨텍스트 한도를 늘리고 모델을 양자화해 같은 장비에서 긴 회의록을 처리했습니다.
약 1.1만 자 · 8.7k 토큰 회의록이 컨텍스트 한도를 넘어 처리 실패
4bit 모델로 전환 후 해당 단건 시험에서 27.1초에 요약 · 핵심 사실 12개 반영
회의록 출력 속도: bitsandbytes 4bit 37~40 → AWQ 50~53 tok/s. 단건 처리 시간과 위의 부하 시험 p95는 서로 다른 측정값입니다.
QUALITY MATTERS
속도만큼, 답변의 내용도 확인합니다.
| 평가 항목 | GB10 · 30B bf16 | RTX 3060 · 8B AWQ |
|---|---|---|
| AI 도우미 정답 | 13 / 14 | 13 / 14 |
| 매뉴얼 근거 답변 | 6 / 6 | 6 / 6 |
| 긴 회의록 핵심 사실 반영 | 12 / 12 | 12 / 12 |
| 긴 회의록 요약 주제 | 7개 | 4개 |
| 보류 안건을 결정으로 기재한 오류 | 0건 | 1건 |
| 할 일의 담당자·기한 기재 수 | 담당자 7 · 기한 4 | 담당자 6 · 기한 6 |
소규모 문항과 합성 전사문에 대한 관측값입니다. 일반적인 답변 정확도로 확대 해석하지 않으며, 회의록의 결정 사항·담당자·기한은 사람이 최종 확인합니다.
READ THE CONDITIONS
수치와 함께 읽어야 할 측정 조건.
동일한 질문과 프롬프트
AI 도우미 14문항, 매뉴얼 질문 6개, 합성 회의록 4종에 실제 서비스의 시스템 프롬프트를 사용했습니다.
부하와 실패 기준
도우미 1~256건, 매뉴얼 최대 64건, 회의록 최대 8건의 동시 요청을 시험했습니다. 대기 한도는 각각 20·60·180초입니다.
반복 검증이 필요한 결과
각 측정은 1회입니다. 긴 회의록은 내용을 이어 붙인 합성 전사문이며 매뉴얼 질문 반복에는 프롬프트 캐시 효과가 포함됩니다.
실제 도입 전 재측정
GB10은 음성 인식 등을 함께 실행합니다. 녹음과 도우미가 겹칠 때의 지연은 미측정이며 실제 문서·요청량으로 추가 검증이 필요합니다.
자료: 시큐어지니 제공 「GPU 서버·LLM 성능 비교」 · 시험일 2026년 10월 12일. 제공 자료의 측정 결과를 요약했습니다.
START WITH YOUR WORKLOAD
우리 업무로 시험하고,
필요한 만큼 시작하세요.
사용할 문서, 응답 시간 목표, 동시에 겹치는 요청량을 기준으로 AI 구성을 함께 검토합니다.