Osegi
AI·2 min czytania

Sarvam AI prezentuje Prism – otwarty model decyzyjny na bazie 105B

Sarvam AI wydało Prism, model decyzyjny oparty na LLM 105B, który zwraca prawdopodobieństwa opcji w około 44 ms. Wagi udostępniono na licencji Apache 2.0.

Abstract illustration of an AI decision model routing enterprise queries to different teams with probability scores.
Zdjęcie: Inc42 Media

Indyjska firma Sarvam AI zaprezentowała Prism, model decyzyjny z otwartymi wagami, zbudowany na jej modelu Sarvam 105B. Ma on podejmować szybkie, uporządkowane decyzje w firmowych procesach, a nie generować tekst.

Modele decyzyjne działają inaczej niż typowe duże modele językowe. Dostają informacje, pytanie i zdefiniowany zestaw możliwych odpowiedzi, a w zamian zwracają wynik lub prawdopodobieństwo dla każdej opcji. Zamiast akapitu o tym, który dział powinien zająć się skargą klienta, model przypisuje prawdopodobieństwa np. sprzedaży, wsparciu i rozliczeniom. Prism ocenia opcje w jednym przebiegu przetwarzania.

Wyniki deklarowane przez firmę

według Sarvam Prism uzyskał średnio 71,8 pkt w trzech indeksach oceny, przy medianie czasu odpowiedzi 44 milisekundy na GPU Nvidia B200. To najwyższa średnia wśród 25 przetestowanych modeli decyzyjnych, które odpowiadały w czasie poniżej 100 ms. Firma twierdzi też, że po zastosowaniu stałego mechanizmu porządkowania opcji model dawał spójne wyniki w 2000 pytań, a rzeczywiste wskaźniki błędów były niższe od przewidywanych, także w językach indyjskich.

Są to wyniki podane przez firmę, więc niezależne testy na porównywalnych obciążeniach będą ważne. Sandipan Kundu, twórca platformy Tensorant, napisał na X, że model wydaje się zdolny, ale zakwestionował deklarację o 44 ms. W swoich testach zmierzył opóźnienie p95 na poziomie 420 ms. Zwrócił też uwagę na koszt samodzielnego hostowania modelu tej wielkości.

Rosnąca konkurencja w Indiach

Wagi Prism są dostępne na licencji Apache 2.0, co pozwala programistom je adaptować i uruchamiać na własnej infrastrukturze, zgodnie z warunkami licencji. Model jest też dostępny przez API. Sarvam celuje w kierowanie zgłoszeń do wsparcia, analizę dokumentów, kontrole bezpieczeństwa, wykrywanie prompt injection i ocenę działań agentów AI.

Sarvam dołącza do ConvAI Innovations, twórcy modelu Laya działającego lokalnie na urządzeniach, oraz do Sthānika AI z PurpleTalk z rodziną Sieve. Na rynku są też Jev z TypeSafe AI oraz oferty Microsoftu i Perplexity. Articul8 rozwija multimodalny model Bivia. Według Ananthanarayanana S z Articul8 o wyniku rywalizacji zadecydują nie tylko benchmarki i czas odpowiedzi, lecz także niezawodność w nieznanych sytuacjach i integracja z istniejącymi systemami.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:sarvam aiprismdecision modelsopen-weightindia aienterprise ai

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →