Osegi
IA·2 min de lectura

Thinking Machines Lab presenta Inkling 2 Small y abrirá sus pesos

Thinking Machines Lab lanza Inkling 2 Small, un modelo de mezcla de expertos de 594.000 millones de parámetros con entrada de imágenes. Los pesos llegarán con Apache 2.0.

Abstract illustration of a large neural network with expert modules lighting up, representing the Inkling 2 Small mixture-of-experts AI model.
Imagen: BRIDGE
SUMODialoediviewergiftdetect

Thinking Machines Lab presentó el 5 de noviembre (hora local de EE. UU.) Inkling 2 Small, la segunda generación de sus modelos. Es un modelo de mezcla de expertos (MoE) con 594.000 millones de parámetros totales, de los cuales 17.000 millones están activos durante la inferencia. Admite imágenes como entrada y ofrece «variable effort», que permite ajustar el esfuerzo dedicado al razonamiento.

Por ahora está disponible en Tinker, la plataforma de la compañía para ajuste fino e inferencia, sin pesos públicos. Cuando terminen las pruebas de seguridad externas y el red teaming, la empresa prevé publicar todos los pesos con licencia Apache 2.0 la semana siguiente al anuncio, junto con puntos de control descargables. Ya puede probarse en Tinker Playground y usarse en Tinker para ajuste fino y muestreo.

Arquitectura y rendimiento

Según la ficha del modelo, Inkling 2 Small es un modelo solo decodificador de 48 capas que dirige cada token a 8 de 384 expertos. Las imágenes se codifican con un Vision Transformer y la longitud de contexto llega a un millón de tokens.

Alcanzó 31 puntos en el Artificial Analysis Intelligence Index, muy por encima de la generación anterior. La compañía afirma que mejoró en programación con agentes, visión, trabajo del conocimiento y razonamiento, y que destaca sobre todo en tareas autónomas de larga duración.

Combinando visión y capacidades de agente, el modelo puede rehacer sitios web, juegos y diseños 3D comprobando su aspecto. Entre los ejemplos hay un simulador de ciudad en Three.js que genera edificios y coches sin recursos prefabricados, un emulador de PC en Python que arranca un kernel de Linux real y vídeo creado en Blender.

Cómo se entrenó

El equipo aplicó aprendizaje por refuerzo en cientos de miles de tareas de programación de larga duración, que abarcan varios entornos de ejecución de agentes y métodos de compresión de contexto. Además de las pruebas unitarias, usó una evaluación mediante agentes que valora cómo aborda el modelo el problema. Los primeros puntos de control se probaron en OpenCode con el nombre «Fledge-Alpha».

Thinking Machines Lab es una empresa de investigación y productos de IA formada por científicos e ingenieros que han trabajado en ChatGPT, Character.ai y PyTorch, entre otros.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:thinking machines labinkling 2 smallopen weightsmixture-of-expertstinker

Más de este día

Ver todas →

Más en: IA

Ver todas →