Cloudflare Clairic er en preview-model, der er lavet til at hente strukturerede oplysninger ud af tekst og billeder. I stedet for at skrive et svar returnerer den værdier i de felter og datatyper, som en app beder om. Cloudflare fremhæver hurtigere og billigere behandling i sine demonstrationer, men de foreliggende tests viser ikke, at Clairic generelt er mere præcis eller effektiv end store sprogmodeller (LLM'er).
3
4
14
Hvad Clairic gør
Clairic er en såkaldt “System One”-udtrækningsmodel, der er tilgængelig som preview på Cloudflares Workers AI-platform under navnet @cf/cloudflare/clairic. Cloudflare beskriver modellen som et værktøj til at udtrække, beregne, estimere og forudsige værdier ud fra ustruktureret input. Prisen er 0,10 dollar pr. million inputtokens. Da Clairic ikke genererer outputtokens, opkræves der ikke betaling for outputtokens.
3
7
18
En forespørgsel består af tekst – eventuelt suppleret med op til fire billeder – og navngivne felter, der angiver, hvilken type svar der skal returneres. Clairic leverer de ønskede felter i én arbejdsgang frem for at skrive en række ord, der tilsammen udgør et svar.
16
20
De understøttede felttyper omfatter tekstudsnit, tal, datoer, klokkeslæt, dato og klokkeslæt, tidsrum, lister, estimater og prognoser. Tekstudsnit kan komme med tegnpositioner, så en app kan pege på, hvor oplysningen står i kildeteksten. Prognoser kan omfatte op til 64 fremtidige trin.
1
20
Sådan viser modellen usikkerhed
Svar på enkeltværdier indeholder en confidence-score og p_null – sandsynligheden for, at inputtet ikke giver grundlag for et svar. Svaret kan også indeholde både en value og et guess. Hvis oplysningerne mangler, kan værdien være null i stedet for at blive præsenteret som et sikkert faktum.
2
9
18
Estimater og prognoser indeholder en median samt et 80-procentsinterval fra p10 til p90. Intervallet er modellens usikkerhedsvurdering, ikke en garanti for, at den faktiske værdi lander inden for det. Cloudflare anbefaler, at man bruger confidence-score, p_null og intervallet til at vurdere, hvad der kan automatiseres, og hvad der bør sendes til manuel gennemgang.
2
Hvad præstationsdemonstrationerne viser
I et eksempel med en beskadiget vare udtrækker Clairic oplysningerne i kundens erstatningskrav. Derefter vælger Cloudflares Clef-model en mulighed som refundering eller reparation, og GLM-5.3 skriver svaret til kunden. Den rapporterede tid for Clairics udtrækning var 0,46 sekunder, mens Clefs valg tog 0,22 sekunder. Hele kæden med flere modeller tog 19,3 sekunder mod 61,7 sekunder for en version, der brugte GLM-5.3 i alle trin.
4
15
Den blandede modelkæde kostede ifølge rapporteringen 6.032 dollar pr. million krav, sammenlignet med 11.740 dollar for versionen med GLM-5.3 alene – en besparelse på 49 procent i netop dette eksempel.
15 Tallene beskriver én bestemt arbejdsgang og er ikke et løfte om tilsvarende besparelser i andre systemer.
Cloudflare testede også Clairic på prognoser for antallet af passagerer, der passerer sikkerhedskontrollen i amerikanske lufthavne. Over 21 dage var den rapporterede gennemsnitlige fejl 3,3 procent, og de faktiske tal lå inden for modellens 80-procentsinterval på 17 af de 21 dage.
6
9 Det er en afgrænset demonstration på én tidsserie – ikke dokumentation for brede prognoseevner på tværs af data og forhold.
Begrænsninger, der er værd at kende
Cloudflare beskriver selv Clairics prognoser som grundlæggende. Prognoser for den nærmeste fremtid følger de seneste mønstre, mens længere prognoser kan flade ud mod gennemsnittet. Modellen kan heller ikke forudse begivenheder, som ikke kan aflæses af inputdataene.
1
17
Dokumentationen sætter også grænser for, hvor meget regning Clairic bør stå for. Beregninger i ét eller to trin – for eksempel summer, differencer, omregninger og datoregning – beskrives som pålidelige. Lange kæder af afhængige beregninger og summeringer på tværs af mange tabelrækker er endnu ikke pålidelige. Cloudflares anbefaling er at bruge Clairic til at udtrække tallene og derefter lade kode stå for selve regnestykket.
1
17
Indtil videre bygger argumenterne for bedre præstation på opgavespecifikke eksempler, ikke på en bred sammenlignende benchmark, der viser, at Clairic altid er mere præcis, hurtigere eller billigere. Det giver derfor bedst mening at afprøve fordelene på den konkrete opgave, før man regner med, at de gælder generelt.
4
14
15
Hvad betyder “System One” – og hvor passer Jev ind?
Cloudflare bruger betegnelsen “System One” om en hurtig, specialiseret modeltype, der skal løse bestemte opgaver uden at bruge tid på at generere et ræsonnerende tekstsvar.
5 PPC Land har skrevet, at TypeSafe introducerede System One-idéen tidligere sammen med en model ved navn Jev. Det dokumenterer, hvad mediet har rapporteret, men de tilgængelige kilder fastslår ikke en direkte teknisk forbindelse mellem Jev og Clairic.
13
De tilgængelige kilder underbygger heller ikke en bestemt forklaring på, om navnet Clairic er inspireret af Kahneman. Cloudflare har desuden sagt, at virksomheden planlægger at udgive åbne modelvægte, men der er ikke oplyst nogen udgivelsesdato.
7
12