האם מהנדס תוכנה שמייצר יותר טוקנים בעזרת AI הוא בהכרח עובד טוב יותר? לפי הנחיות חדשות של אמזון — לא. החברה אומרת שיש לבחון את התוצאה ואת התרומה לעסק, ולא להסיק על פרודוקטיביות רק מכמות השימוש בכלים.
5
6
המסמך, שעליו חתום טרק טרקוביץ, סגן נשיא ומהנדס מצטיין באמזון, הופץ לעובדים בספטמבר ופורסם באתר החברה ב־27 באוקטובר.
8
15 הוא מעדכן את ההנחיות לתפקיד מהנדסי התוכנה ומציב במרכז שאלה מעשית: האם השימוש ב-AI עזר לספק תוצאה טובה יותר?
5
6
למה ספירת טוקנים ושינויים בקוד עלולה להטעות
טוקנים הם יחידות הטקסט שכלי AI מעבד ומייצר. קל לספור אותם, כמו שקל לספור שינויים בקוד או לבדוק כמה עובדים אימצו כלי מסוים. אבל המדדים האלה מתארים פעילות — לא בהכרח את איכות התוכנה או את הערך שהיא מספקת. אמזון מכנה אותם מדדים ״פגומים מאוד״ כשהם מנותקים ממה שחשוב בפועל.
5
7
הבעיה מתחדדת כשהמדד הופך ליעד. עובדים עלולים להתחיל להשתמש ב-AI יותר, או לבצע יותר שינויים בקוד, כדי לשפר את המספרים — גם אם הדבר לא תורם לתוצאה. אמזון מזהירה במיוחד מפני ״טוקנמקסינג״: שימוש נרחב בכלי AI בלי תשומת לב מספקת לאיכות התוצר.
1
14
יש לכך גם מחיר ממשי: עיבוד טוקנים כרוך בעלות, ותיעוד AWS מציין שמספר הטוקנים הוא גורם העלות המרכזי ב-Amazon Bedrock. שימוש עודף שאינו משפר את התוצאה עלול לכן להוסיף הוצאה, ובמקביל ליצור מורכבות מיותרת.
7
למדוד תוצאות, לא רק שימוש
ההנחיות אינן אומרות לוותר על נתוני שימוש או על אימוץ AI. במקום זאת, הן מדגישות שאין להתייחס אליהם כמדד ביצועים יחיד: יש לשקול אותם לצד נתונים אחרים ולבחון את הערך לאורך זמן.
7
13 שימוש ב-AI יכול להיות מועיל מאוד במשימה אחת, ולא להוסיף ערך באחרת — ולכן ההחלטה צריכה להישאר תלויה בהקשר.
6
13
אמזון גם מבקשת ממנהלים לבחון צוותים שבהם אימוץ כלי ה-AI גבוה במיוחד או נמוך במיוחד.
4 אפשר להבין זאת כדרך לבדוק מה עובד ומה מעכב שימוש, ולא כהוראה לדרג עובדים לפי שיעור האימוץ; המקורות הזמינים אינם מאמתים כאן ספי דירוג מדויקים או את כל פרטי התהליך.
המתח הזה כבר עלה סביב לוח תוצאות פנימי לשימוש ב-AI, שאמזון הסירה במאי לאחר שעובדים ניסו להגדיל את מספרי השימוש שלהם. דיווחים תיארו גם משימות מיותרות שנעשו כדי לנפח את הנתונים.
1
9 המקרה ממחיש כיצד מדד שנועד לעודד אימוץ עלול לתגמל שימוש שאינו מעיד על עבודה מועילה.
המסר: להשתמש בשיקול דעת
הקו שעולה מההנחיות הוא לא ״פחות AI״, אלא שימוש מכוון יותר: אם הכלי משפר את העבודה — כדאי להשתמש בו; אם לא, עצם השימוש בו אינו הישג. אמזון מבקשת לקשור את הדיון באימוץ לתוצאות הנדסיות ועסקיות, ולא להפוך את צריכת הטוקנים או את היקף השינויים בקוד למטרה בפני עצמה.
5
6
7
המקורות הזמינים אינם מאמתים את כל הפרטים שהועלו בשאלות על ההנחיות — ובהם שימוש של מנהלים ב-AI בעבודת ייצור, ספי עשרת האחוזים, או צעדים של חברות אחרות להגבלת טוקנים או למעבר למודלים זולים יותר. לכן אין להסיק מהם מסקנות על הנקודות האלה.