OmniOps запустила Bunyan Inference Hub для ИИ-моделей в Саудовской Аравии

Модели, токены и GPU

Организации могут использовать поддерживаемые модели или запускать собственные. Предусмотрены заранее заданные пакеты токенов, которые расходуются на доступных моделях. Тем, кому нужна дополнительная мощность или более высокий уровень изоляции сред, предлагаются выделенные ресурсы на базе графических процессоров (GPU).

В основе платформы лежит собственный движок, созданный командой R&D OmniOps для повышения эффективности инференса. Он адаптирует работу моделей к доступному оборудованию и требованиям обработки данных. По словам компании, это помогает лучше использовать GPU, снижать стоимость обработки токенов и сохранять стабильную производительность при росте нагрузки.

Платформа поддерживает разные типы GPU и ИИ-ускорителей и не привязана к одному производителю. Она направляет запросы к подходящим моделям и ресурсам, управляет масштабированием инфраструктуры и следит за производительностью и использованием. Клиенты могут задавать лимиты и отслеживать расход токенов.

Рыночный контекст

Основатель и гендиректор OmniOps Мухаммед ат-Тасан заявил, что по мере расширения применения ИИ растёт важность эффективного управления моделями в рамках понятных правил безопасности и затрат. По его словам, платформа объединяет инференс-технологии компании с её опытом в суверенных ИИ-решениях.

В релизе со ссылкой на исследование ServiceNow говорится, что расходы организаций в Саудовской Аравии на ИИ выросли на 124% в годовом выражении, а к 2027 году они планируют направлять 20% ИТ-бюджетов на корпоративные ИИ-решения. Gartner прогнозирует, что мировые расходы на инференс ИИ к концу года достигнут 23,3 млрд долларов.

OmniOps основана в 2024 году и специализируется на инфраструктуре ИИ. Ранее компания сообщала о закрытии начального раунда финансирования на 8 млн долларов.