למה קבלנים בפרויקט Lily הוסרו לאחר שהשתמשו ב-AI כדי לדרג את ChatGPT

לפי דיווחי 404 Media, פרויקט Lily הוא מערך של ביקורת אנושית שבו קבלנים מעריכים תשובות של ChatGPT כדי לסייע בשיפור התנהגות המודל בעתיד. זה גם מסביר מדוע, לפי הדיווחים, קבלנים שהשתמשו בבינה מלאכותית יוצרת לצורך ההערכה הוסרו מהפרויקט: הערך של הנתונים אמור לנבוע משיפוט אנושי עצמאי. אם המודל הוא שמספק את השיפוט, המערכת כבר אינה מודדת באופן נקי את העדפותיהם של בני אדם. 1920

מה בודקי Project Lily עושים לפי הדיווחים

הבודקים מקבלים הנחיות אמיתיות שנשלחו ל-ChatGPT, ובחלק מהמקרים גם שיחות מלאות. הם מסכמים את כוונת המשתמש, משווים בין תשובות מועמדות ומעניקים ציונים בסולם של 1–7. לפי הדיווחים, בכל משימה עשויות להופיע עד ארבע תשובות; המיקוד הוא בתכונות התנהגותיות כמו טון, חנופה מוגזמת או נטייה לרצות את המשתמש, וטענות אנושיות מדי מצד הצ'אטבוט — ולא רק בדיוק עובדתי. 819

ציונים כאלה יכולים להפוך לנתוני העדפה: תיעוד מובנה של התשובה שאדם רואה כטובה יותר בהקשר מסוים. הנתונים מועילים לכוונון התנהגות המודל רק כאשר השיפוטים עקביים, מבוססים ועצמאיים במידה מספקת.

לפי הדיווחים, בפרויקט Lily מעורבים מאות בודקים חיצוניים. הם מגויסים באמצעות Crossing Hurdles ומקבלים תשלום דרך Mercor; בודק אחד מסר כי השתכר יותר מ-50 דולר לשעה. בנפרד, דיווחים על מערך ההערכה הרחב יותר של OpenAI מזכירים יותר מ-10,000 קבלנים בצינורות דירוג שונים. אין לפרש את המספר הזה כגודלו של Project Lily בלבד. 196

מדוע דירוגים שנכתבו ב-AI מחמיצים את מטרת המשוב האנושי

מעריך מבוסס AI יכול להיות מהיר ולעיתים שימושי בבדיקות פנימיות, אך הוא עונה על שאלה אחרת מזו של בדיקת העדפות אנושית. מודל נוטה לשחזר דפוסים שלמד באימון שלו, ועשוי להעדיף ניסוחים, סגנון או הנחות שמוכרים לו.

כאשר פלט של מודל — או של מודל קרוב אליו — משמש שוב ושוב לתגמול פלטים של דורות עתידיים, עלולה להיווצר לולאת משוב:

1. המעריך מעדיף תשובות הדומות להעדפות הקיימות שלו.
2. האימון מתגמל את התשובות האלה.
3. המודל הבא נוטה יותר לייצר אותם דפוסים.
4. סגנונות חלופיים, העדפות של קבוצות מיעוט או תשובות שהמעריך אינו מסוגל לשפוט היטב מקבלים משוב פחות מועיל.

אין בכך הוכחה שכל שימוש ב-AI לצורכי הערכה בהכרח מחמיר מודל. הערכה אוטומטית יכולה להיות שימושית כאשר היא מאומתת מול שיפוט אנושי ומשמשת במסגרת מגבלות ברורה. אבל החלפת משוב אנושי במשוב מודלי במשימה שהוזמנה במיוחד כדי לאסוף העדפות אנושיות מחלישה את העצמאות של אות האימון — וזו, ככל הנראה, הסיבה לאיסור המדווח.

איך טופל חשד לשימוש ב-AI

לפי הדיווח, למפקחים הונחו שלא להסתמך על גלאי כתיבה מבוססי AI כגון GPTZero. במקום זאת, הם התבקשו לבחון דפוסי עבודה ואת הטקסטים עצמם בבדיקה אנושית: למשל ניסוח אחיד באופן חריג, דפוסי פיסוק או עיצוב, וקצב השלמה שנראה בלתי סביר. 6

לגישה זו יש מגבלה ברורה: אף אחד מהסימנים הללו, כשלעצמו, אינו מוכיח שעובד השתמש ב-AI. כותב מהיר עשוי להיות מנוסה, ודמיון בניסוחים עשוי לנבוע מהנחיות דירוג משותפות. לכן, שימוש הוגן בסימנים כאלה מחייב להבחין בין עילה לבדיקה נוספת לבין ראיה מספקת להרחקת אדם מהפרויקט.

למה הקריטריונים המדויקים אינם פומביים

ארגונים נוטים שלא לפרסם כללי איתור מפורטים נגד מניפולציה, משום שרשימת בדיקה מדויקת עלולה להפוך למדריך לעקיפת הבקרה. קבלנים יכולים לשנות ניסוחים, להוסיף השהיות או לעצב את הטקסט אחרת — ובכל זאת להעביר את השיפוט למודל.

אלא שסודיות יוצרת גם סיכון משלה. כשעובדים אינם יודעים כיצד התקבלה החלטת איכות, קשה יותר לערער על טעויות. מערך אמינות יציב זקוק לשיטות איתור חסויות, אך גם לכללים ברורים, לתיעוד החלטות ולמסלול ערעור או תיקון בעל משמעות.

מדיניות Mercor לפי הדיווחים

לפי הדיווחים, Mercor מסרה כי שימוש ב-AI לביצוע עבודת ההערכה מפר את המדיניות, וכי מקרים מאומתים מובילים להסרה מיידית מהפרויקט הרלוונטי. עוד דווח שהכללים אסרו שימוש רחב יותר בסיוע של AI, לרבות כלים לכתיבת משוב או הערות. 640

הבעיה במשוב אנושי רחבה יותר משימוש ב-AI

המקרה המדווח של דירוגים גרועים שניתנו במכוון ממחיש את הנקודה הרחבה יותר: "משוב אנושי" אינו אמין אוטומטית רק משום שאדם הזין אותו. בודק עלול למהר, לא להבין את כללי ההערכה, לנסות למקסם תפוקה, לפעול בחוסר תום לב או לנסות לשחק מול מערכת בקרת איכות לא שקופה. 20

זו בעיית תמריצים לא פחות משהיא בעיה טכנית. מפתח המודל זקוק לשיפוטים מכוילים ובתום לב, שינבאו התנהגות טובה יותר בעולם האמיתי. קבלן, לעומת זאת, עשוי להיות מתוגמל בעיקר על מהירות, השלמת משימות או הימנעות מדחייה. כאשר התמריצים האלה מתנגשים, הנתונים עלולים להיות רועשים או מוטים באופן שיטתי.

איך נראות הגנות הערכה חזקות יותר

ביקורת אנושית עדיין חיונית לשיפוטים תלויי הקשר, סובייקטיביים או כאלה שקשה לאמת אוטומטית. אבל היא עובדת טוב יותר כמערכת של איזונים ובקרות, ולא כזרם פשוט של ציונים אישיים. אמצעי הגנה מעשיים כוללים:

• חפיפה עצמאית: כמה בודקים מעריכים חלק מאותן משימות, והמערכת בוחנת את פערי הדעות.
• משימות כיול: שימוש בדוגמאות מוכרות כדי לוודא שהבודקים מבינים את כללי ההערכה.
• ביקורות איכות: חקירת דפוסים חשודים בלי להתייחס לרמז סגנוני יחיד כהוכחה מכרעת.
• הפרדת תפקידים: הבחנה בין עבודת דירוג שוטפת, אבטחת איכות וערעורים.
• אימות תוצאות: בדיקה אם נתונים שקיבלו דירוגים גבוהים אכן משפרים את התנהגות המודל עבור משתמשים.
• הגנות פרטיות: צמצום המידע שהבודקים יכולים לראות ובחינה מתמשכת אם הסינון מסיר מידע רגיש. הדיווח על Project Lily מציין ששיחות עשויות לכלול מידע אישי למרות מאמצי האנונימיזציה. 19

המסקנה פשוטה: אימון על העדפות אמין רק במידה שהתהליך שיוצר אותן אמין. בודקים אנושיים אינם ערובה קסומה לאיכות, ושיפוטים שנוצרו ב-AI אינם יכולים להחליף בקלות משוב אנושי עצמאי כאשר המטרה היא להבין מה אנשים באמת מעריכים.