Cloudflare’ın Clairic’i, yapılandırılmamış metin ve görsellerden tarih, sayı ve liste gibi değerleri çıkarmak için tasarlanmış bir önizleme modeli. Yanıtı düz yazı olarak oluşturmak yerine, uygulamanın istediği türlerde alanlar döndürüyor. Cloudflare’ın örneklerinde daha hızlı ve daha düşük maliyetli sonuçlar görülüyor; ancak bu örnekler Clairic’in genel olarak büyük dil modellerinden (LLM) daha doğru ya da verimli olduğunu kanıtlamaya yetmiyor.
3
4
14
Clairic ne yapıyor?
Clairic, Workers AI’de önizleme aşamasında sunulan bir “System One” veri çıkarma modeli. Modelin erişim adı @cf/cloudflare/clairic. Cloudflare, Clairic’in yapılandırılmamış girdilerden değer çıkarabildiğini, hesaplama ve tahmin yapabildiğini belirtiyor. Fiyatı milyon girdi token’ı başına 0,10 dolar; çıktı token’ı üretmediği için çıktı ücreti alınmıyor.
3
7
18
Bir istekte, metin ve isteğe bağlı olarak en fazla dört görselden oluşan girdiyle, aranan yanıtların adını ve türünü belirten alanlar birlikte gönderiliyor. Clairic, art arda sözcük üretmek yerine istenen alanları tek geçişte yanıtlıyor.
16
20
Desteklenen alan türleri arasında metin parçaları, sayılar, tarihler, saatler, tarih-saat bilgileri, süreler, listeler, tahminler ve öngörüler var. Metin yanıtlarında karakter konumları da bulunabiliyor; öngörü alanları ise gelecekte en fazla 64 adım için değer döndürebiliyor.
1
20
Belirsizliği nasıl gösteriyor?
Tekil değer yanıtlarında bir güven puanı ve p_null bulunuyor. p_null, girdinin yanıtı belirlememe olasılığını ifade ediyor. Yanıtta ayrıca value ve guess alanları yer alabiliyor; değer belirlenemediğinde model bunu kesinmiş gibi sunmak yerine null döndürebiliyor.
2
9
18
Tahmin ve öngörü alanlarında medyan değerle birlikte p10 ve p90 arasındaki %80’lik aralık veriliyor. Bu, modelin belirsizlik tahminidir; gerçek sonucun mutlaka bu aralığa düşeceği anlamına gelmez. Cloudflare, hangi işlerin otomatikleştirileceğine, hangilerinin incelemeye gönderileceğine karar verirken güven puanı, p_null ve aralık bilgilerinin kullanılmasını öneriyor.
2
Performans örnekleri ne gösteriyor?
Hasarlı ürünle ilgili bir müşteri desteği örneğinde Clairic talep bilgilerini çıkarıyor, Cloudflare’ın Clef modeli iade veya onarım gibi bir seçenek belirliyor, GLM-5.3 ise müşteriye gönderilecek yanıtı hazırlıyor. Teste ilişkin haberde Clairic’in çıkarım adımı 0,46 saniye, Clef’in karar adımı 0,22 saniye olarak aktarılıyor. Karma model kullanan iş akışının tamamı 19,3 saniye sürerken her adımda GLM-5.3 kullanan sürüm 61,7 saniye sürmüş.
4
15
Bildirilen maliyet, karma iş akışında milyon talep başına 6.032 dolar; yalnızca GLM-5.3 kullanan sürümde ise 11.740 dolar. Cloudflare bu örnekte %49 maliyet düşüşü bildirmiş.
15 Bu rakamlar belirli bir iş akışına ait; her uygulamada aynı tasarrufun sağlanacağını göstermiyor.
Cloudflare ayrıca ABD’deki havaalanı güvenlik kontrol noktalarından geçen yolcu sayılarını 21 gün boyunca ertesi gün için tahmin etti. Bildirilen ortalama hata %3,3’tü ve gerçekleşen 21 değerin 17’si modelin %80’lik tahmin aralığında kaldı.
6
9 Bu, tek bir veri serisi üzerinde yapılmış sınırlı bir gösterim; farklı veri ve koşullardaki tahmin başarısına dair genel kanıt değil.
Kullanırken akılda tutulması gereken sınırlar
Cloudflare, Clairic’in öngörü yeteneğini temel düzeyde tanımlıyor: Yakın dönem tahminleri son örüntüleri izlerken, daha ileri adımlardaki tahminler ortalamaya doğru düzleşebiliyor. Girdi serisinde görünmeyen tatiller gibi olayları da model kendiliğinden hesaba katamıyor.
1
17
Dokümantasyon, aritmetik işlemlerde de sınır çiziyor. Toplama, fark bulma, birim dönüştürme ve tarih hesabı gibi bir ya da iki adımlı işlemler güvenilir olarak tanımlanıyor. Birbirine bağlı uzun işlem zincirleri ve çok sayıda tablo satırını kapsayan toplamlar ise henüz güvenilir değil. Cloudflare’ın önerisi, gerekli değerleri Clairic’le çıkarmak ve hesabı kod içinde yapmak.
1
17
Şu ana kadarki performans iddiaları, göreve özel örneklere dayanıyor; Clairic’in tüm iş yüklerinde daha doğru, hızlı veya ucuz olduğunu gösteren kapsamlı bir karşılaştırmalı kıyaslama sunmuyor. Bu nedenle olası avantajları genel bir garanti olarak değil, kendi kullanım senaryonuzda sınanması gereken sonuçlar olarak değerlendirmek daha doğru.
4
14
15
“System One” adı ve Jev bağlantısı
Cloudflare, “System One” ifadesini, uzun bir gerekçeli metin yanıtı üretmek yerine belirli bir iş için tasarlanmış hızlı bir model yaklaşımını anlatmak üzere kullanıyor.
5 PPC Land’in haberine göre TypeSafe, Jev adlı bir modelle birlikte System One fikrini daha önce gündeme getirmişti. Bu haber önceki bir örneğe işaret ediyor; ancak mevcut kaynaklar Clairic’in doğrudan teknik olarak Jev’den türediğini veya modelin adının Kahneman’dan esinlendiğini doğrulamıyor.
13
Cloudflare, model ağırlıklarını açık olarak yayımlamayı planladığını da belirtti; ancak mevcut kaynaklarda bunun için bir tarih verilmemiş.
7
12