Revolut, 2.000 mühendisi için Z.ai'nin GLM modeline geçti

Ne değişti

Mühendisler daha önce Anthropic'in Claude Code'una ve OpenAI'ın Codex'ine güveniyordu. Şimdi ağırlıkları herkese açık, açık ağırlıklı bir model olan GLM ile çalışıyorlar ve model Revolut'un kendi sunucularında çalışıyor. Öncü araçlar küçük bir bütçeyle, en zor sorunlar için yedek seçenek olarak duruyor.

Model, yaklaşık 56 Nvidia GPU ile sunuluyor ve toplam maliyet milyon token başına yaklaşık 30 sent. Fatura sabit; her istekle artmıyor. Abitbol'a göre kodlama süresi yaklaşık %60, teslim süresi (bir kaydın atanmasından canlıya alınmasına kadar) yaklaşık %70 azaldı.

Revolut ocak ayında Google'ın Gemini'sini devreye aldı; teslim süresi yaklaşık %10, kodlama süresi %20 iyileşti. Ardından mühendis başına aylık 300 dolar bütçeyle Claude Code geldi, ancak limit ay boyunca yetmediği için verimlilik artışı küçük kaldı. Kendi sunucusunda çalışan modelle sınırsız token vaat edildi. Mühendisler tokenleri Confluence'ta arama, Jira kayıtlarını yönetme ve Slack'te arama gibi işlere harcadı. Abitbol'a göre bu, asıl darboğazın kod yazmak değil, çevresindeki iş olduğunu gösteriyor.

Zorluklar ve Çin meselesi

Geçiş ilk anda sorunsuz olmadı. Haziranda saniyede dört istekte yanıt süreleri 10 saniyeyi aşıyordu. Aynı GPU sayısıyla yapılan ayarların ardından Revolut, 1,8 saniyenin altında gecikmeyle saniyede sekizden fazla isteği karşılamaya başladı. Abitbol'un önerileri arasında bağlam penceresini 256.000 token ile sınırlamak, FP8 yerine daha düşük hassasiyetli FP4 kullanarak GPU kapasitesinin yaklaşık %40'ını kazanmak ve önbellek isabet oranlarını izlemek var.

Düzenlemeye tabi bir bankada Çin menşeli model kullanmak soru işaretleri doğurabilir. Abitbol, Revolut'un yalnızca model ağırlıklarını kullandığını, bunları kendi altyapısında ya da AB veya ABD'li bir sağlayıcıda barındırdığını, dolayısıyla hiçbir verinin Çin'deki bir hizmete gitmediğini vurguluyor. Ona göre bu, kodu OpenAI veya Anthropic'e göndermekten gizlilik açısından daha iyi. Ajanlar bazı komutlara izin verip bazılarını engelleyen bir sandbox içinde çalışıyor ve döngüde her zaman bir insan var. GLM yalnızca metin desteklediği için görsel görevler Gemini Flash gibi daha ucuz bir modele yönlendiriliyor.