Osegi
AI·2 분 소요

Thinking Machines, Inkling 2 Small 공개…가중치는 곧 오픈

Thinking Machines Lab이 2세대 모델 Inkling 2 Small을 발표했습니다. 총 5,940억 파라미터 MoE로, 발표 다음 주 Apache 2.0으로 가중치를 공개할 예정입니다.

Abstract illustration of a large neural network with expert modules lighting up, representing the Inkling 2 Small mixture-of-experts AI model.
이미지: BRIDGE

Thinking Machines Lab은 현지시간 5일 2세대 모델 Inkling 2 Small을 발표했습니다. 총 파라미터 5,940억 개에 추론 시 활성화되는 파라미터가 170억 개인 MoE(Mixture-of-Experts) 모델로, 이미지 입력과 추론에 들이는 노력을 조절하는 "variable effort"를 지원합니다.

Tinker에서 먼저 제공, 가중치는 다음 주 공개

우선은 회사의 파인튜닝·추론 플랫폼 Tinker에서 가중치를 공개하지 않는 형태로 제공합니다. 외부 안전성 테스트와 레드팀 검증을 마친 뒤, 발표 다음 주에 모든 가중치를 Apache 2.0 라이선스로 공개한다는 계획입니다. 공개 시점에 체크포인트도 내려받을 수 있게 됩니다. Tinker Playground에서 이미 써볼 수 있고, Tinker에서 파인튜닝과 샘플링도 가능합니다.

모델 카드에 따르면 48개 층의 decoder-only 구조이며, 토큰마다 384개 전문가 중 8개를 골라 처리합니다. 이미지는 Vision Transformer로 인코딩하고, 컨텍스트 길이는 최대 100만 토큰입니다.

성능과 학습 방식

Artificial Analysis Intelligence Index에서는 31점을 기록해 이전 세대를 크게 앞섰습니다. 에이전트형 코딩, 비전, 지식 노동, 추론 성능이 향상됐고 특히 장시간 자율 작업에 강해졌다고 회사는 설명했습니다. 비전과 에이전트 능력을 결합해 결과물을 눈으로 확인하며 웹사이트, 게임, 3D 디자인을 다시 만들 수 있습니다. 사례로는 건물과 자동차까지 직접 생성한 Three.js 도시 시뮬레이터, 실제 Linux 커널이 부팅되는 Python PC 에뮬레이터, Blender로 만든 영상 등이 공개됐습니다.

학습에서는 여러 에이전트 실행 환경과 컨텍스트 압축 방식에 걸친 수십만 건의 장시간 코딩 작업으로 강화학습을 진행했습니다. 단위 테스트 결과뿐 아니라 문제에 접근하는 방식을 평가하는 에이전트형 채점도 활용했습니다. 초기 체크포인트는 "Fledge-Alpha"라는 이름으로 OpenCode에서 시험됐습니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:thinking machines labinkling 2 smallopen weightsmixture-of-expertstinker

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: AI

전체 보기 →