AI2026. 11. 9. 오전 11:19 UTC·2 분 소요

노타, 솔라 오픈 2 구동 GPU 8장에서 2장으로 줄였다

AI 최적화 기업 노타가 업스테이지 '솔라 오픈 2'를 경량화해 H100 GPU 2장으로 구동하게 했다. 메모리 사용량은 76.5% 줄었다.

Rows of GPU servers in an AI data center, illustrating efforts to run large AI models on fewer chips and less power. — 이미지: zdnet.co.kr

AI 모델 최적화 기업 노타가 초거대 AI 모델 구동에 필요한 GPU를 8장에서 2장으로 줄이는 기술을 확보했다. 노타는 9일 업스테이지의 2500억 매개변수 모델 '솔라 오픈 2'를 경량화해 엔비디아 H100 GPU를 기존 8장에서 2장만 쓰도록 했다고 밝혔다.

모델 가중치 저장에 필요한 메모리는 500.6GB에서 117.8GB로 76.5% 감소했다. 노타는 연산 정밀도를 낮추는 양자화와 중요도가 낮은 연산 모듈을 제거하는 가지치기 기술을 적용해, 성능 저하를 최소화하면서 메모리 사용량을 줄였다고 설명했다.

키미 K3에도 적용

중국 문샷AI의 '키미 K3'에도 기술을 적용했다. 전체 매개변수가 2조 8000억 개인 이 모델은 기존에 엔비디아 B300 GPU 8장이 필요했다. 노타는 일부 연산 모듈을 제거해 GPU 6장과 4장으로 각각 구동되는 경량화 버전 2종을 개발했다. 키미 K3는 필요한 모듈만 선택적으로 쓰는 전문가 혼합(MoE) 구조로, 노타는 각 모듈의 중요도를 분석해 기여도가 낮은 부분을 덜어냈다.

실행 과정의 에너지 소비를 줄이는 기술도 개발 중이다. AMD '라이젠 AI 맥스+ 395' 환경에서 알리바바 '큐웬3 8B'로 추론 최적화 실험을 한 결과, GPU와 NPU에 연산을 나눠 맡겨 기존 AMD 하이브리드 실행 환경보다 토큰당 에너지 소비를 31% 줄였다. 답변 완료 시간도 최대 52% 단축했다.

데이터센터 부담 커져

이번 개발은 AI 데이터센터의 전력과 용수 사용 부담이 커지는 가운데 나왔다. 미국 갤럽이 3월 실시한 조사에서 미국 성인 약 70%가 거주 지역의 AI 데이터센터 건설에 반대했다. 로런스버클리국립연구소는 2030년 데이터센터가 미국 전체 전력 사용량의 11.8%를 차지할 것으로 추산했다.

노타는 자체 최적화 플랫폼 '넷츠프레소'를 중심으로 반도체 기업에 소프트웨어 라이선스와 모델 최적화 기술을 공급하고 있다. 앞으로 GPU뿐 아니라 CPU, NPU 등 다양한 반도체 환경에서 AI를 효율적으로 실행하도록 기술을 고도화할 계획이다. 김태호 CTO는 고객의 컴퓨팅 효율을 높이는 사업을 확대하겠다고 말했다.