OpenAI משכה שלושה כתבי מתמטיקה ב־7 באוקטובר, פחות מיממה לאחר שפרסמה ב־GitHub 722 כתבי יד שנוצרו בידי מודל פנימי שטרם הושק לציבור. טעות בסימן באחד הכתבים פגעה בטיעון המרכזי שלו, וגם בשני כתבים שהתבססו עליו. הפרשה ממחישה שפרסום של כתב מתמטי אינו שקול לאימות עצמאי של הטענות שבו.
24
35
מה פרסמה OpenAI?
ב־6 באוקטובר העלתה OpenAI כתבי יד שהפיק מודל פנימי שלה. הם אורגנו ב־372 משפחות: קבוצות של כתבים קשורים, שעשויות לכלול תוצאה מרכזית, טיעונים נלווים, השלכות או הוכחות חלופיות. האוסף כולל תחומים ובהם אלגברה, גאומטריה ומדעי המחשב.
1
35
38
לחלוקה הזאת יש משמעות: 722 כתבי יד אינם בהכרח 722 תוצאות עצמאיות. חלק מהכתבים נשענו על טיעונים או על מבנים שפותחו בכתבים אחרים באותה משפחה — והקשרים האלה הם שהובילו למשיכות.
1
24
הסימן השגוי שערער שלושה כתבים
הבעיה נמצאה בכתב Algebraicity of Weil classes on split abelian eightfolds. במהלך מרכזי בו, הפעולה הגאומטרית קיבלה את הסימן +1, אף שלפי מוסכמות הכתב הסימן הנכון היה −1. הטעות שיבשה טיעון ביטול שעליו נשענה הבנייה המתמטית.
21
24
27
שני כתבים נוספים הסתמכו על העבודה הזאת: Algebraicity of Kuga–Satake Correspondences for K3 Surfaces ו־The rational Hodge conjecture for products of K3 surfaces. לאחר שהטיעון הבסיסי נכשל, לא ניתן היה עוד לבסס באמצעותו את הטענות התלויות בו, ולכן OpenAI משכה את שלושת הכתבים. מדובר בכשל בהוכחות שבכתבים — לא בהפרכה של ההשערות שבהן עסקו.
21
24
35
מה השתנה במאגר?
בעדכון מ־7 באוקטובר נמסר על שלוש המשיכות, על תיקונים ב־14 כתבי יד נוספים ועל עדכון מקורות ב־13 כתבים נלווים. מספר כתבי היד בקטלוג ירד מ־722 ל־719, והוא נותר מחולק ל־372 משפחות.
1
24
28
מאגר OpenAI וחומרי הפרסום שלה מבהירים שהתוצאות נמצאות בשלבים שונים של אימות, ושחלקן עשויות לכלול שגיאות. OpenAI ציינה כי גיבשה את גישתה לשיתוף העבודה בהתייעצות עם קבוצת הייעוץ למתמטיקה ולבינה מלאכותית. לכן נכון להתייחס לכתבים כחומר לבדיקה ולבחינה, ולא כאוסף של תגליות שכבר הוכחו סופית.
1
33
39
מה אימות ב־Lean יכול לומר — ומה לא
חלק מהתוצאות באוסף מלוות בפורמליזציות ב־Lean, מערכת שמאפשרת למחשב לבדוק הוכחות מתמטיות שנכתבו בצורה פורמלית. עם זאת, הדיווחים הזמינים אינם משתמשים באותה יחידת מדידה: בסיכום אחד נספרו כ־300 מתוך 719 תוצאות מרכזיות שעברו פורמליזציה, ובאחר נספרו 162 מתוך 722 כתבי יד שבהם פורמליזציה של התוצאה המרכזית. אלה נתונים המבוססים על ספירות שונות, ואין לפרש אותם כהוכחה שכל טענה בכל אחד מהכתבים הרלוונטיים אומתה באופן עצמאי.
25
33
36
ההתייעצות עם קבוצת הייעוץ והימצאותן של הוכחות פורמליות מספקות הקשר להערכת הפרסום, אך אינן מבטלות את הצורך לבדוק את הטיעונים הכתובים ואת גבולותיה של כל טענה. המשיכות מדגימות גם מדוע חשוב לבדוק כתבים הקשורים זה לזה: שגיאה בטיעון משותף עלולה להשפיע על יותר מכתב אחד.
24
33
39
השורה התחתונה: את שאר הטענות עדיין צריך לבדוק
המשיכות מראות שטיעון מסוים נכשל וששני כתבים שתלו בו את טענותיהם לא יכלו להמשיך להסתמך עליו. הן אינן מוכיחות ששאר כתבי היד שגויים — וגם לא שהטענות בהם נכונות. כל תוצאה דורשת בחינה לגופה, לרבות ההוכחה, הנחות היסוד שלה והתלות שלה בעבודות קשורות.
1
21
35