"वर्षों तक, सॉफ्टवेयर को अपनाने के आधार पर मापा जाता था: सीटें, सक्रिय उपयोगकर्ता, रिन्यूअल," Friar ने एक LinkedIn पोस्ट में कहा। "AI अलग है — इसे पूरे किए गए काम से मापा जाना चाहिए" । फ्रेमवर्क स्पष्ट रूप से तर्क देता है कि सबसे कम लागत प्रति टोकन हमेशा सबसे कम लागत प्रति परिणाम उत्पन्न नहीं करती है, और उद्यमों को यूनिट मूल्य के बजाय कुल मूल्य सृजन के लिए अनुकूलित करना चाहिए ।
Friar की कार्यप्रणाली अस्पष्ट अपनाने के मेट्रिक्स को चार ठोस सवालों से बदल देती है जो AI ROI के लिए एक स्कोरकार्ड बनाते हैं :
वास्तविक, परिणाम-आधारित कार्यों की मात्रा मापें — हल की गई ग्राहक समस्याएं, भेजे गए कोड परिवर्तन, समीक्षा किए गए अनुबंध — न कि कच्चे उपयोग या प्रॉम्प्ट की संख्या । "टोकन मूल्य तब बनाते हैं जब वे ऐसे काम में बदल जाते हैं जिसका लोग उपयोग कर सकें," Friar ने लिखा । यह गतिविधि मेट्रिक्स (कितने क्वेरी किए गए) से प्रभाव मेट्रिक्स (क्या पूरा हुआ) पर ध्यान केंद्रित करता है।
गुणवत्ता मानकों को पूरा करने वाले प्रति कार्य की पूरी लागत की गणना करें, जिसमें AI इन्फ्रेंस, रीट्राइज़, मानव समीक्षा और रीवर्क शामिल हैं । एक सस्ता मॉडल जो बार-बार विफल होता है, वह एक प्रीमियम मॉडल की तुलना में प्रति सफल परिणाम अधिक खर्च कर सकता है जो इसे एक बार में सही करता है । यह सवाल उद्यमों को प्रति-टोकन मूल्य से परे देखने और त्रुटियों और सुधारों की छिपी लागतों का हिसाब रखने के लिए मजबूर करता है।
विश्वसनीयता ट्रैक करें — वह दर जिस पर आउटपुट "उपयोग के लिए तैयार" होते हैं बनाम जिनमें सुधार या एस्केलेशन की आवश्यकता होती है । कम मानवीय हस्तक्षेप का मतलब कम कुल लागत और अधिक विश्वास है। यह अनिवार्य रूप से AI आउटपुट के लिए एक गुणवत्ता-आश्वासन मेट्रिक है, जो मानता है कि विश्वसनीयता कच्ची क्षमता जितनी ही महत्वपूर्ण है।
निगरानी करें कि क्या AI बिना घातीय लागत वृद्धि के समय के साथ अधिक उच्च-गुणवत्ता वाला काम पूरा करता है — एक अवधारणा जिसे रिटर्न ऑन कंप्यूट (ROC) भी कहा जाता है, जो सेमीकंडक्टर और डेटा सेंटर फाइनेंस से उधार ली गई है । यह सवाल संबोधित करता है कि क्या AI निवेशों में कंपाउंडिंग रिटर्न या घटता सीमांत मूल्य है, जो स्केलिंग निर्णयों के लिए एक महत्वपूर्ण विचार है।
कार्यप्रणाली को मौजूदा टूलिंग के साथ ऑडिट करने योग्य बनाया गया है । टीमें एक विशिष्ट वर्कफ़्लो के लिए "पूरा" होने का अर्थ परिभाषित करती हैं, सफल पूर्णताओं की गणना करती हैं, पूरी लागत (मानव ओवरहेड सहित) का योग करती हैं, और पास दरों और गुणवत्ता के रुझानों को ट्रैक करती हैं ।
Friar का दृष्टिकोण AI को एक सॉफ्टवेयर लाइसेंस के बजाय एक उत्पादक संपत्ति के रूप में मानता है, और CFO और प्रौद्योगिकी नेताओं को उस सवाल का जवाब देने का एक संरचित तरीका प्रदान करता है जो वह अपने साथियों से सबसे अधिक सुनती हैं: "हम अपने AI खर्च से अधिक मूल्य कैसे प्राप्त करें?"
यह प्रस्ताव ऐसे समय में आया है जब एंटरप्राइज़ AI खर्च में भारी वृद्धि हुई है, OpenAI ने स्वयं $1 बिलियन मासिक राजस्व और 500 मिलियन से अधिक एंटरप्राइज़ सीटों की बिक्री की रिपोर्ट की है । फिर भी कई संगठनों के पास स्पष्ट ROI फ्रेमवर्क का अभाव है, जिससे "AI की क्षमताओं और कंपनियों द्वारा कैप्चर किए जा रहे मूल्य के बीच एक बेमेल" पैदा होता है । Friar ने पहले इस डिस्कनेक्ट को "क्षमता अधिशेष" (Capability Overhang) के रूप में वर्णित किया था — जो कि AI क्या कर सकता है और संगठन वास्तव में व्यावसायिक मूल्य के लिए क्या उपयोग करने में सक्षम हैं, के बीच का अंतर ।
चार सवालों को ऑडिट करने योग्य लागत और गुणवत्ता डेटा में आधारित करके, "उपयोगी बुद्धिमत्ता प्रति डॉलर" फ्रेमवर्क उद्यमों को विश्वास-आधारित AI निवेश से साक्ष्य-आधारित निर्णय लेने की ओर बढ़ने का एक व्यावहारिक उपकरण देता है।
"वर्षों तक, सॉफ्टवेयर को अपनाने के आधार पर मापा जाता था: सीटें, सक्रिय उपयोगकर्ता, रिन्यूअल," Friar ने एक LinkedIn पोस्ट में कहा। "AI अलग है — इसे पूरे किए गए काम से मापा जाना चाहिए" । फ्रेमवर्क स्पष्ट रूप से तर्क देता है कि सबसे कम लागत प्रति टोकन हमेशा सबसे कम लागत प्रति परिणाम उत्पन्न नहीं करती है, और उद्यमों को यूनिट मूल्य के बजाय कुल मूल्य सृजन के लिए अनुकूलित करना चाहिए ।
Friar की कार्यप्रणाली अस्पष्ट अपनाने के मेट्रिक्स को चार ठोस सवालों से बदल देती है जो AI ROI के लिए एक स्कोरकार्ड बनाते हैं :
वास्तविक, परिणाम-आधारित कार्यों की मात्रा मापें — हल की गई ग्राहक समस्याएं, भेजे गए कोड परिवर्तन, समीक्षा किए गए अनुबंध — न कि कच्चे उपयोग या प्रॉम्प्ट की संख्या । "टोकन मूल्य तब बनाते हैं जब वे ऐसे काम में बदल जाते हैं जिसका लोग उपयोग कर सकें," Friar ने लिखा । यह गतिविधि मेट्रिक्स (कितने क्वेरी किए गए) से प्रभाव मेट्रिक्स (क्या पूरा हुआ) पर ध्यान केंद्रित करता है।
गुणवत्ता मानकों को पूरा करने वाले प्रति कार्य की पूरी लागत की गणना करें, जिसमें AI इन्फ्रेंस, रीट्राइज़, मानव समीक्षा और रीवर्क शामिल हैं । एक सस्ता मॉडल जो बार-बार विफल होता है, वह एक प्रीमियम मॉडल की तुलना में प्रति सफल परिणाम अधिक खर्च कर सकता है जो इसे एक बार में सही करता है । यह सवाल उद्यमों को प्रति-टोकन मूल्य से परे देखने और त्रुटियों और सुधारों की छिपी लागतों का हिसाब रखने के लिए मजबूर करता है।
विश्वसनीयता ट्रैक करें — वह दर जिस पर आउटपुट "उपयोग के लिए तैयार" होते हैं बनाम जिनमें सुधार या एस्केलेशन की आवश्यकता होती है । कम मानवीय हस्तक्षेप का मतलब कम कुल लागत और अधिक विश्वास है। यह अनिवार्य रूप से AI आउटपुट के लिए एक गुणवत्ता-आश्वासन मेट्रिक है, जो मानता है कि विश्वसनीयता कच्ची क्षमता जितनी ही महत्वपूर्ण है।
निगरानी करें कि क्या AI बिना घातीय लागत वृद्धि के समय के साथ अधिक उच्च-गुणवत्ता वाला काम पूरा करता है — एक अवधारणा जिसे रिटर्न ऑन कंप्यूट (ROC) भी कहा जाता है, जो सेमीकंडक्टर और डेटा सेंटर फाइनेंस से उधार ली गई है । यह सवाल संबोधित करता है कि क्या AI निवेशों में कंपाउंडिंग रिटर्न या घटता सीमांत मूल्य है, जो स्केलिंग निर्णयों के लिए एक महत्वपूर्ण विचार है।
कार्यप्रणाली को मौजूदा टूलिंग के साथ ऑडिट करने योग्य बनाया गया है । टीमें एक विशिष्ट वर्कफ़्लो के लिए "पूरा" होने का अर्थ परिभाषित करती हैं, सफल पूर्णताओं की गणना करती हैं, पूरी लागत (मानव ओवरहेड सहित) का योग करती हैं, और पास दरों और गुणवत्ता के रुझानों को ट्रैक करती हैं ।
Friar का दृष्टिकोण AI को एक सॉफ्टवेयर लाइसेंस के बजाय एक उत्पादक संपत्ति के रूप में मानता है, और CFO और प्रौद्योगिकी नेताओं को उस सवाल का जवाब देने का एक संरचित तरीका प्रदान करता है जो वह अपने साथियों से सबसे अधिक सुनती हैं: "हम अपने AI खर्च से अधिक मूल्य कैसे प्राप्त करें?"
यह प्रस्ताव ऐसे समय में आया है जब एंटरप्राइज़ AI खर्च में भारी वृद्धि हुई है, OpenAI ने स्वयं $1 बिलियन मासिक राजस्व और 500 मिलियन से अधिक एंटरप्राइज़ सीटों की बिक्री की रिपोर्ट की है । फिर भी कई संगठनों के पास स्पष्ट ROI फ्रेमवर्क का अभाव है, जिससे "AI की क्षमताओं और कंपनियों द्वारा कैप्चर किए जा रहे मूल्य के बीच एक बेमेल" पैदा होता है । Friar ने पहले इस डिस्कनेक्ट को "क्षमता अधिशेष" (Capability Overhang) के रूप में वर्णित किया था — जो कि AI क्या कर सकता है और संगठन वास्तव में व्यावसायिक मूल्य के लिए क्या उपयोग करने में सक्षम हैं, के बीच का अंतर ।
चार सवालों को ऑडिट करने योग्य लागत और गुणवत्ता डेटा में आधारित करके, "उपयोगी बुद्धिमत्ता प्रति डॉलर" फ्रेमवर्क उद्यमों को विश्वास-आधारित AI निवेश से साक्ष्य-आधारित निर्णय लेने की ओर बढ़ने का एक व्यावहारिक उपकरण देता है।