בהערכה עיוורת של 100 תרחישים, שכל אחד מהם כלל שלושה ביקורים מדומים בתחומים כמו קרדיולוגיה, ריאות, נוירולוגיה, גינקולוגיה ואורולוגיה ומערכת העיכול, ההמלצות של AMIE לבדיקות ולטיפולים דורגו כמדויקות יותר בכמה מדדים. לפי הנתונים שדווחו, בביקור השני ההמלצות לבדיקות תאמו במדויק את ההערכה הנכונה ב-99% מהמקרים, לעומת 84% אצל רופאים; בביקור השלישי השיעור היה 100% לעומת 88%. התוכניות כללו גם הפניות מפורשות להנחיות שעליהן התבססו .
עם זאת, חשוב לזכור שהתרחישים בוצעו עם שחקני מטופלים מקצועיים, ולא במסגרת טיפול שגרתי במטופלים אמיתיים.
MIRA נוקטת גישה שונה. היא אינה מתמקדת בעיקר בשיחה עם המטופל, אלא בעבודה בתוך מערכת הרשומה הרפואית האלקטרונית — המקבילה הדיגיטלית לתיק הרפואי ולמערכת המידע של בית החולים.
לפי תיאורי המחקר, MIRA נועדה להעריך מידע רפואי, להציע בדיקות, להכין החלטות אבחוניות וטיפוליות ואף להמליץ על פעולות כמו מתן תרופות או אשפוז, במסגרת מערכת בית חולים מדומה . המערכת קיבלה גישה ליותר מ-85 אלף פעולות קליניות אפשריות ונבחנה גם מול 880 הנחיות יריבות שנועדו להטעות אותה. לפי הדיווחים, לא זוהו מקרים של דליפת מידע מהנתונים אל תהליך קבלת ההחלטות
.
בסימולציות רטרוספקטיביות שהתבססו על מקרים רפואיים אמיתיים, MIRA השיגה דיוק אבחוני כולל של 87.8%, לעומת 78.1% אצל רופאים מוסמכים. במחלות מסוימות הפער היה בולט במיוחד: 95.2% לעומת 78.6% באבחון דלקת הלבלב, ו-100% לעומת 88% באבחון דלקת התוספתן .
לצד זאת, MIRA הזמינה בדיקות דם בשיעור גבוה יותר מהרופאים — 51% לעומת 28% — אף שביצעה פחות בדיקות הדמיה באופן משמעותי . לכן, גם במקרה הזה, ציון אבחוני גבוה אינו מספר את כל הסיפור: יעילות, עלויות, עומס על הצוות וסיכון לבדיקות מיותרות הם חלק בלתי נפרד מהערכת מערכת רפואית.
שתי המערכות טרם נבדקו באופן שמדגים טיפול אוטונומי שגרתי במטופלים אמיתיים. זהו הפער המרכזי בין התוצאות המרשימות לבין שימוש קליני בפועל.
סקירת היקף רחבה על סוכני AI ברפואה מגדירה את היעדר התיקוף הקליני בסביבה אמיתית כאחד האתגרים העיקריים. מחקרים רבים נשענים על מאגרי מידע אידיאליים, סינתטיים או היסטוריים, שאינם משקפים את החוסרים, חוסר האיזון, טעויות התיעוד והעמימות שנפוצים ברשומות רפואיות אמיתיות. לכן, היעילות והבטיחות הקליניות בפועל עדיין אינן מבוססות היטב במחקרים פרוספקטיביים .
התגובות המקצועיות למחקרים הדגישו את חשיבותם, אך גם את העובדה שהתוצאות התקבלו בתנאים מבוקרים. מומחה שצוטט על ידי Science Media Centre תיאר את שני המחקרים כ"קפיצה איכותית קדימה", אך ציין כי הם אינם מדמים עדיין את המורכבות של טיפול קליני בעולם האמיתי .
מעבר לכך, מחקרים על סוכני AI ברפואה מצביעים על כמה שאלות שעדיין אין להן תשובה ברורה:
מי אחראי לטעות? אם מערכת ממליצה על טיפול שגוי, לא ברור תמיד אם האחריות מוטלת על מפתח המערכת, על המוסד שהטמיע אותה או על הרופא שאישר את ההחלטה. מסגרות רגולטוריות קיימות, ובהן רגולציית ה-FDA וחוק ה-AI של האיחוד האירופי, עדיין אינן מספקות מענה מלא למאפיינים הייחודיים של מערכות רפואיות אוטונומיות .
האם אפשר לסמוך על ההמלצה? כאשר מערכת מספקת אבחנה או תוכנית טיפול, רופאים צריכים להבין כיצד הגיעה למסקנה. חוסר שקיפות מקשה על אימות, פוגע באמון ומגביל את השימוש במערכת .
האם התוצאות יעברו בין בתי חולים? מערכת שנבדקה על מאגר יחיד או על תהליכי עבודה של מרכז רפואי מסוים עלולה שלא לתפקד באותה רמה באוכלוסייה אחרת, במערכת בריאות אחרת או מול נהלי תיעוד שונים .
האם בני אדם עלולים להסתמך עליה יותר מדי? עצם קיומו של g-AMIE — גרסה מרוסנת של AMIE שמבצעת גביית היסטוריה רפואית אך נמנעת ממתן ייעוץ רפואי אישי — ממחיש את הצורך בגבולות ברורים ובפיקוח אנושי .
AMIE כבר נבחנה גם במחקרי היתכנות פרוספקטיביים, ובהם מחקר שנערך בשיתוף Beth Israel Deaconess Medical Center ובדק את האפשרות לאסוף מידע מהמטופל לפני ביקור רפואי אמבולטורי . במחקר היתכנות נפרד במרפאת חירום, שכלל 100 מטופלים, האבחנה המבדלת של AMIE כללה את האבחנה הסופית ב-90% מהמקרים, וב-75% מהמקרים האבחנה הסופית הייתה בין שלוש האפשרויות הראשונות. עם זאת, רופאי המשפחה קיבלו ציונים טובים יותר במעשיות ובעלות-תועלת של תוכניות הטיפול
.
אלה סימנים מעודדים, אך מדובר במחקרי היתכנות חד-זרועיים — לא בניסויים אקראיים מבוקרים שמוכיחים ש-AI משפר תוצאות בריאותיות, מפחית טעויות או מעניק טיפול טוב וזול יותר.
המעבר ממעבדת המחקר לבית החולים ידרוש כמה אבני דרך:
AMIE ו-MIRA מסמנות התקדמות אמיתית. AMIE מדגימה כיצד מערכת שיחה יכולה לעבור מאבחון של מפגש יחיד לניהול מחלה לאורך זמן, תוך הסתמכות על הנחיות קליניות. MIRA מדגימה את האפשרות שסוכן AI יעבוד ישירות בתוך רשומה רפואית ויתמודד עם מגוון פעולות קליניות בסביבה מבוקרת .
אבל "השווה לרופאים בסימולציה" אינו שקול ל"בטוח ויעיל בטיפול במטופלים". הרפואה האמיתית כוללת בדיקה גופנית, מידע חסר, תיעוד לא אחיד, אילוצי משאבים, תקשורת אנושית ואחריות משפטית — מרכיבים שקשה לשחזר במבחן מבוקר.
לכן, בשלב זה AMIE ו-MIRA הן אבות-טיפוס מחקריים מרשימים, לא תחליפים לרופאים. העתיד הסביר יותר בטווח הקרוב הוא שימוש בהן ככלי עזר תחת פיקוח אנושי — ורק לאחר תיקוף נרחב, מסגרת רגולטורית ברורה והוכחה שהן משפרות את הטיפול בפועל, ולא רק את הציון במבחן.