BootLoops 1.0: כך בינה מלאכותית עושה חישובים מדעיים לבדיקה

BootLoops 1.0 היא ערכת כלים בקוד פתוח שנועדה לעזור למודלי שפה לבצע חישובים מדעיים מדויקים — ולבדוק אותם תוך כדי העבודה. הפיזיקאי מהרווארד מתיו שוורץ פיתח אותה יחד עם Claude, אך הכלי אינו מוגבל למודל מסוים. המטרה אינה להפוך כל תשובה של בינה מלאכותית לאמינה מעצם טבעה, אלא להקל על בדיקה של תוצאות מוגדרות. 112

לא רק תשובה — גם בדיקה

BootLoops משלבת תוכנות מדעיות עם נהלים שמגדירים מה נחשב לתוצאה שנבדקה. בין היתר, ההנחיות דורשות להשוות את התשובה לדרך חישוב עצמאית, בנקודות שלא שימשו להתאמת התוצאה. הן גם דורשות ״בקרה חיובית״ — בדיקה שמראה שההליך מסוגל לזהות תוצאה שגויה. בנוסף, ניהול מקור הנתונים והכלים נועד למנוע מצב שבו כלי שסייע להתאים את התשובה הוא גם זה שמאשר אותה. 211

השיטה מתאימה במיוחד למשימות שהתוצאה שלהן מוגדרת היטב, כמו חישובים בפיזיקה מתמטית. היא יכולה לספק ראיות לכך שתוצאה עמדה בבדיקות מסוימות; היא אינה מוכיחה שכל טענה שיצר מודל נכונה, או ששאלת המחקר עצמה ראויה לעיסוק. 25

התוצאות שדווחו בעבודה עם Claude

הצוות של שוורץ דיווח על חישוב של 30 אינטגרלים בפיזיקה מתמטית. 15 מהם תוארו כתוצאות חדשות, ובהן אינטגרלי פיינמן אליפטיים. העבודה כללה גם פתרון למה ששוורץ מכנה ״הבעיה האחרונה״ של ווטסון — חישוב הקשור לעבודתו הקודמת של המתמטיקאי ג׳ורג׳ ווטסון. 14164

על המאמץ הרחב יותר דווח כי הניב 36 כתבי יד, עם 19 שותפים לכתיבה וב-18 תחומים, בהם אקולוגיה וגנטיקה של אוכלוסיות. אלה תוצרים מחקריים שדווחו, ולא הוכחה שכל התוצאות עברו אימות עצמאי מלא: שוורץ אמר שכמה מהן עדיין נבדקות. 3154

למה מומחים עדיין נחוצים

שוורץ משתמש במונח ״אי־התאמה של עכבות״ כדי לתאר את הפער בין מה שמדענים צריכים לבין מה שמודלי שפה עכשוויים עושים היטב. מודלים עשויים להועיל במשימות חישוב מוגדרות, כשברור מה הבעיה ואיך בודקים את הפתרון. אבל מחקר מדעי דורש גם להחליט אילו שאלות חשובות ולבחון מה משמעותה של תשובה. 15

לדברי שוורץ, Claude מצא קשרים בין תחומי מחקר שונים, אך חלקם היו נכונים מבחינה טכנית ולא מעניינים במיוחד מבחינה מדעית. מומחים לתחומים השונים עזרו לכוון את העבודה לשאלות בעלות ערך עבורם. ההבחנה חשובה: בדיקה חישובית יכולה להראות אם חישוב עבר מבחנים שנקבעו מראש; שיקול דעת מדעי עוזר להחליט מה לחשב ואיך להבין את התוצאה. 5

מה BootLoops כן — ומה לא — מבססת

BootLoops מציעה דרך לארגן עבודה בסיוע בינה מלאכותית סביב משימות שניתנות לבדיקה, ביקורת עצמאית ומעורבות של מומחים. התוצאות שדווחו ממחישות את הפוטנציאל של הגישה, אך אין לראות בהן ערובה כללית לנכונות או תחליף לאימות נוסף. חישוב שעבר בדיקה אינו מספיק, כשלעצמו, כדי להצדיק החלטה בעלת השלכות כבדות; עדיין צריך לבחון את השאלה, את ההנחות ואת התוצאות האפשריות בעין אנושית. 245