"במשך שנים מדדנו תוכנה לפי אימוץ: רישיונות, משתמשים פעילים וחידושי מנויים. AI שונה — צריך למדוד אותו לפי העבודה שבוצעה", כתבה פריאר בפוסט ב-LinkedIn .
המשמעות היא שמחיר נמוך לכל טוקן אינו בהכרח עלות נמוכה לכל תוצאה. אם מודל זול נכשל לעיתים קרובות ודורש ניסיונות נוספים, תיקונים ופיקוח אנושי, הוא עלול להיות יקר יותר ממודל פרימיום שמבצע את המשימה נכון כבר בניסיון הראשון . לכן, לפי הגישה של פריאר, ארגונים צריכים למדוד את הערך הכולל שנוצר — ולא רק את מחיר היחידה.
במקום לספור שאילתות, הנחיות או דקות שימוש, יש למדוד משימות אמיתיות המבוססות על תוצאה: פניות לקוחות שנפתרו, שינויי קוד שעלו לאוויר או חוזים שנבדקו .
כפי שניסחה זאת פריאר, טוקנים יוצרים ערך רק כשהם הופכים לעבודה שאנשים יכולים להשתמש בה . כך עובר הדגש ממדדי פעילות — כמה פעמים הפעילו את המערכת — למדדי השפעה: מה הושלם בפועל.
החישוב צריך לכלול את העלות המלאה של משימה שעומדת ברף האיכות שהוגדר: עיבוד AI, ניסיונות חוזרים, בדיקה אנושית ועבודה חוזרת .
השאלה הזו מאלצת ארגונים להביט מעבר למחיר לטוקן ולכלול גם את העלויות שנוצרות בגלל טעויות ותיקונים. מודל זול שמפיק תשובות לא מדויקות שוב ושוב עשוי לעלות יותר לכל משימה שהושלמה בהצלחה מאשר מודל יקר יותר שמספק תוצאה תקינה בפעם אחת .
כאן נמדדת האמינות: שיעור הפלטים שמוכנים לשימוש לעומת אלה שדורשים תיקון, בדיקה נוספת או העברה לאדם .
ככל שנדרשות פחות התערבויות אנושיות, העלות הכוללת יורדת ורמת האמון במערכת עולה. זהו למעשה מדד בקרת איכות ל-AI, שמכיר בכך שאמינות ועקביות חשובות לא פחות מהיכולת הגולמית של המודל.
הארגון צריך לבדוק אם המערכת משלימה לאורך זמן יותר עבודה איכותית, בלי שהעלויות יגדלו באופן אקספוננציאלי. רעיון זה מכונה גם תשואה על חישוב — Return on Compute, או ROC — מונח שמקורו בעולם המוליכים למחצה ובמימון מרכזי נתונים .
השאלה נועדה לברר אם ההשקעה ב-AI מייצרת תשואה מצטברת ככל שמרחיבים את השימוש, או שמא התועלת השולית הולכת ופוחתת. זהו שיקול מרכזי עבור ארגונים שמתלבטים אם להרחיב פריסה של כלי AI למחלקות ולתהליכים נוספים.
לפי המסגרת, אפשר לבנות את המדידה באמצעות כלים ארגוניים קיימים, בתנאי שהנתונים מוגדרים ומתועדים באופן שניתן לביקורת . התהליך כולל כמה שלבים:
הגישה הזו מתייחסת ל-AI כנכס יצרני — ולא רק כרישיון תוכנה. היא גם מעניקה למנהלי כספים ולטכנולוגיה דרך מסודרת לענות על השאלה שפריאר אומרת שהיא שומעת מעמיתיה לעיתים קרובות: איך להפיק יותר ערך מההוצאה על AI?
ההצעה מגיעה בתקופה שבה ההוצאה הארגונית על AI גדלה במהירות, בעוד שלארגונים רבים עדיין אין מסגרת ברורה למדידת החזר השקעה. OpenAI עצמה דיווחה על הכנסות חודשיות של מיליארד דולר ועל יותר מ-500 מיליון רישיונות ארגוניים שנמכרו .
הפער בין היכולת הטכנולוגית לבין הערך שהחברות מצליחות להפיק ממנה תואר על ידי פריאר כ-"עודף יכולת" — מצב שבו מערכות AI מסוגלות לעשות יותר ממה שהארגון, הנתונים והתהליכים שלו מאפשרים לו לנצל בפועל .
המדד "מודיעין שימושי לכל דולר" אינו מבטיח שכל השקעת AI תהיה כדאית, אך הוא מציע דרך פרקטית להפוך את הדיון מהתרשמות כללית ומדדי שימוש להחלטות המבוססות על תוצאות, עלויות ואיכות. עבור הנהלות ודירקטוריונים, זהו ניסיון להחליף השקעה המבוססת על אמונה במדידה המבוססת על ראיות.