NC AI представила компактную модель Vacky Vision 3B для роботов

Документы, видео и сварка

В тестах ChartQA и TextVQA модель показала лучший результат среди сравниваемых. Компания хочет применять её для анализа приборных панелей, чертежей и рабочих инструкций. Модель умеет работать и с видео: из 4-секундного ролика она обрабатывает 8 кадров, чтобы отслеживать движение и смену положения объектов.

Отдельно создана версия Vacky Vision 3B Weld, дообученная на данных о сварке. По внутренним тестам точность классификации сварных швов выросла с 41,1 до 80,9 балла, обнаружение дефектов и оценка состояния — с 39,3 до 69,8, определение положения и формы шва — с 5,3 до 72,5. Это результаты бенчмарков, а не проверка точности или производительности на реальной линии.

Что дальше

Размер модели важен: у роботов и оборудования меньше энергии и вычислительных ресурсов, чем у серверов. Компания утверждает, что на собственной инфраструктуре выстроила предобучение и двухэтапную тонкую настройку без опоры на зарубежные коммерческие модели. Технологию свяжут с проектами physical AI: с Hanwha Ocean ведётся разработка ИИ для автономных сварочных роботов, с POSCO DX — испытания гуманоидов, с Hyundai Rotem — создание модели мира.

NC AI планирует добавить обучение с подкреплением, установить модель в роботов как модуль восприятия, а затем расширить её до VLA-модели, которая также принимает решения о действиях.