OmniOps, Suudi Arabistan için Bunyan Inference Hub platformunu başlattı

Modeller, token'lar ve GPU

Kurumlar desteklenen modellerden yararlanabiliyor ya da kendi modellerini çalıştırabiliyor. Mevcut modellerde kullanılabilecek, önceden tanımlı token paketleri sunuluyor. Ek işlem gücüne veya çalışma ortamları arasında daha yüksek izolasyona ihtiyaç duyan kurumlar için grafik işlemci (GPU) tabanlı özel kaynaklar da var.

Platform, OmniOps'un Ar-Ge ekibinin geliştirdiği ve çıkarım verimliliğini artırmayı amaçlayan özel bir motorla çalışıyor. Motor, modellerin çalışmasını mevcut donanıma ve veri işleme gereksinimlerine göre uyarlıyor. Şirkete göre bu, GPU kullanımını iyileştiriyor, token işleme maliyetini düşürüyor ve artan talep altında performansı istikrarlı tutuyor.

Platform farklı GPU türlerini ve yapay zekâ hızlandırıcılarını destekliyor, tek bir donanım üreticisine bağlı değil. İstekleri uygun modellere ve kaynaklara yönlendiriyor, altyapı ölçeklemesini yönetiyor, performansı ve kullanımı izliyor. Kurumlar kullanım üst sınırı belirleyip token tüketimini takip edebiliyor.

Pazar verileri

OmniOps'un kurucusu ve CEO'su Muhammed et-Tasan, kurumlarda yapay zekâ kullanımı genişledikçe modellerin net güvenlik ve maliyet kurallarıyla verimli yönetilmesinin önem kazandığını söyledi. Platformun, şirketin çıkarım teknolojilerini egemen yapay zekâ çözümlerindeki deneyimiyle birleştirdiğini belirtti.

Bülten, ServiceNow araştırmasına atıfla Suudi Arabistan'daki kurumların yapay zekâ harcamalarının yıllık bazda yüzde 124 arttığını ve 2027'ye kadar BT bütçelerinin yüzde 20'sini kurumsal yapay zekâ çözümlerine ayırmayı planladığını aktarıyor. Gartner'ın tahmini ise küresel çıkarım harcamasının yıl sonuna kadar 23,3 milyar dolara ulaşacağı yönünde.

2024'te kurulan OmniOps, yapay zekâ altyapısı alanında uzmanlaşıyor. Şirket daha önce 8 milyon dolarlık ilk finansman turunu tamamladığını duyurmuştu.