Osegi
AI·2 min czytania

DeepSeek V4.1 Flash w Token Factory Selectel z kontekstem 1 mln tokenów

Selectel dodał DeepSeek V4.1 Flash do katalogu Token Factory. Otwarty model oferuje milion tokenów kontekstu i działa w rosyjskich centrach danych.

Server racks in a data center with a glowing neural network graphic representing DeepSeek model inference
Zdjęcie: Хабр

Selectel dodał do katalogu Token Factory, swojej usługi inferencji z rozliczeniem za tokeny, model DeepSeek V4.1 Flash. To październikowa aktualizacja otwartego modelu chińskiego laboratorium DeepSeek. Wagi opublikowano 17 października na licencji MIT. Model działa przez to samo API zgodne z OpenAI co reszta katalogu, a zapytania są przetwarzane w rosyjskich centrach danych.

DeepSeek to laboratorium z Hangzhou, którego otwarte modele nie raz obniżały ceny na rynku API. Bazowa wersja V4.1 Flash ukazała się we wrześniu, a wydanie 1017 sama firma określa jako drobną aktualizację. To architektura MoE o 763 mld parametrów, z których podczas generowania każdego tokenu pracuje około 16 mld, czyli mniej więcej 2% sieci. Dzięki temu tak duży model odpowiada z szybkością znacznie mniejszych.

Pamięć i cena

Najważniejszą zaletą inżynieryjną jest oszczędny KV-cache: w FP4 zajmuje 890 bajtów na token, czyli czterokrotnie mniej niż w V4 Flash. Pozwala to efektywnie skalować pamięć przy kontekście miliona tokenów, 2,7 raza większym niż w V4 Flash. Model jest multimodalny, a obrazy przyjmuje przez własny enkoder DeepSeek-ViT, wytrenowany od zera. DeepSeek obiecuje lepsze wyniki w benchmarkach, szybsze wykonywanie zadań i krótsze odpowiedzi, co przy płatności za tokeny ma duże znaczenie. W raporcie technicznym wynik w Terminal-Bench wzrósł o 11 punktów.

Przykładowe zapytanie agenta z 50 000 tokenów wejścia i 2000 wyjścia kosztuje bez cache około 13 ₽. Jeśli 40 000 tokenów wejściowych trafi do cache (powtarzający się prompt systemowy i opis narzędzi), cena spada do około 5,8 ₽.

Kiedy wybrać nową wersję

Do czatów, klasyfikacji i masowego przetwarzania tekstu nadal opłaca się V4 Flash. Wersja 1017 ma sens tam, gdzie trzeba utrzymać w pamięci całe repozytorium, długą korespondencję lub dokumenty ze skanami.

Wszystkie zapytania pozostają w rosyjskiej infrastrukturze. Według dokumentacji prompty i odpowiedzi nie są przechowywane ani używane do trenowania modeli, zbierane są tylko statystyki zużycia. Dla projektów z danymi osobowymi to prawdopodobnie główny argument za lokalną inferencją zamiast bezpośredniego API DeepSeek.

Klucz API tworzy się w panelu: Produkty → Token Factory → Utwórz klucz API. Alias modelu to deepseek-v4.1-flash-1017. W kodzie na oficjalnym SDK wystarczy zmienić base_url i nazwę modelu.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:deepseekselecteltoken factoryopen-source aillm inferencemoe

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →