Osegi
KI·2 Min. Lesezeit

Sarvam AI stellt Prism vor: Open-Weight-Entscheidungsmodell

Sarvam AI bringt Prism auf den Markt: ein Entscheidungsmodell auf Basis seines 105B-Sprachmodells, das Wahrscheinlichkeiten in rund 44 ms liefert.

Abstract illustration of an AI decision model routing enterprise queries to different teams with probability scores.
Bild: Inc42 Media

Sarvam AI hat mit Prism ein Open-Weight-Entscheidungsmodell vorgestellt, das auf dem Basismodell Sarvam 105B aufbaut und schnelle, strukturierte Entscheidungen in Unternehmensabläufen treffen soll. Laut Unternehmen erreicht es über drei Bewertungsindizes im Schnitt 71,8 Punkte, bei einer mittleren Antwortzeit von 44 Millisekunden auf einer Nvidia B200.

Was Entscheidungsmodelle anders machen

Die meisten großen Sprachmodelle erzeugen Text. Selbst eine einfache Auswahl kommt daher als Antwort zurück, die andere Software erst interpretieren muss. Das kostet Zeit und Geld und kann zu Inkonsistenzen führen. Entscheidungsmodelle erhalten Informationen, eine Frage und eine feste Menge möglicher Antworten und liefern für jede Option eine Wahrscheinlichkeit, etwa Vertrieb, Support oder Abrechnung bei einer Kundenbeschwerde.

Das eignet sich für wiederkehrende Aufgaben in großem Umfang: Support-Routing, Inhaltsmoderation, Betrugsprüfung, Sicherheitsprüfungen und die Bewertung von KI-Agenten. Prism bewertet die Optionen in einem einzigen Durchlauf, statt Wort für Wort zu generieren.

Die Angaben von Sarvam

Nach Angaben des Unternehmens erzielte Prism den höchsten Durchschnittswert unter 25 getesteten Entscheidungsmodellen, die in unter 100 Millisekunden antworten. Zudem seien die Ergebnisse über 2.000 Fragen hinweg konsistent geblieben, nachdem eine feste Reihenfolge der Optionen angewendet wurde. Die beobachteten Fehlerraten lagen demnach unter den vorhergesagten, auch bei indischen Sprachen.

Die Gewichte erscheinen unter der Apache-2.0-Lizenz; Entwickler können das Modell anpassen und auf eigener Infrastruktur betreiben. Zusätzlich gibt es eine API. Vorgesehen ist Prism unter anderem für Dokumentenanalyse, die Erkennung von Prompt-Injection und die Bewertung von KI-Agenten.

Damit trifft Prism auf Laya von ConvAI Innovations, das auf kleine lokal laufende Modelle für Laptops und Smartphones setzt, und auf Sieve von Sthānika AI (PurpleTalk), das Evaluierung, Intent-Erkennung und Tool-Auswahl betont. Articul8 verfolgt mit Bivia einen multimodalen Ansatz.

Die Zahlen stammen vom Unternehmen selbst, erste Kritik gibt es bereits. Entwickler Sandipan Kundu hält das Modell für leistungsfähig, zweifelt aber den Median von 44 ms an: In seinen Tests lag die p95-Latenz bei 420 Millisekunden. Zudem verwies er auf die Kosten, ein Modell dieser Größe selbst zu betreiben. Unabhängige Tests mit vergleichbaren Workloads müssen zeigen, wie belastbar die Ergebnisse im Produktivbetrieb sind.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:sarvam aiprismdecision modelsopen-weightindia aienterprise ai

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →