הסיכונים מתחילים עוד לפני שהמודל פוגש מטופל

הסקירה מציגה את הסיכונים לאורך כמה שלבים ושכבות של הטמעת AI קליני:

• תכנון ונתוני אימון: נתונים שעברו מניפולציה או "הרעלה" עלולים לשנות את התנהגות המערכת עוד לפני כניסתה לסביבה רפואית.
• הטמעה וממשקים: הזרקת פקודות (Prompt Injection) עלולה להחדיר הוראות זדוניות לתהליך העבודה. הסקירה משתמשת בתרחיש שבו מתקפה בממשק גורמת למודל להתעלם מגידול שנראה בבירור בתמונה רפואית, כדי להמחיש כיצד פגיעה טכנית עלולה להשפיע על הפרשנות הקלינית. תשתיות IT פגיעות בבתי חולים עלולות גם לשבש טיפול או לחשוף מידע של מטופלים.
• התנהגות המודל: מודלי שפה עלולים להפיק מידע רפואי שנשמע אמין אך שגוי — תופעה המכונה לעתים "הזיה" (Hallucination). הם גם עלולים להסכים מהר מדי עם הנחות המשתמש, ולחזק הנחת יסוד שגויה במקום לערער עליה.
• האינטראקציה בין אדם למכונה: תשובות משכנעות עלולות לעודד הטיית אוטומציה, שבה אנשי צוות מסתמכים על המערכת יתר על המידה, וכן הטיית אישור, שבה משתמשים ב-AI כדי לחזק מסקנה שכבר התקבלה מראש.
• השימוש הארגוני: אנשי מקצוע עלולים להשתמש בכלים ציבוריים או לא מאושרים ללא הרשאה רשמית. שימוש לא פורמלי כזה, המכונה "שימוש צללים" (Shadow Use), עלול לעקוף מנגנוני פרטיות, בדיקה מקומית, אחריות ודיווח על תקלות.

המשמעות היא שמערכת יכולה להציג תוצאות טובות במבחן מבוקר ועדיין להיות מסוכנת בשטח. אבטחת מידע, התנהגות אנושית, ההקשר הקליני והבקרות הארגוניות עשויים לשנות לחלוטין את התוצאה.

מה נדרש להטמעה אחראית?

לפי הסקירה, אמצעי הבטיחות צריכים להישאר פעילים גם לאחר שהמערכת עולה לאוויר. בין היתר נדרשים פיתוח מאובטח, ממשל קפדני של נתוני האימון, בדיקה מקומית בסביבה הקלינית שבה המערכת מיועדת לפעול, הגדרה ברורה של אחריות אנושית וניטור רציף של ביצועים ותקריות.

בפועל, בתי חולים ומערכות בריאות צריכים לדעת יותר מאשר אם כלי מסוים מפיק טקסט שנשמע הגיוני. עליהם להגדיר גם:

• מי רשאי להשתמש במערכת ולאילו משימות;
• לאילו נתונים יש למערכת גישה ולאן הנתונים נשלחים;
• כיצד אנשי הצוות נדרשים לאמת את הפלט שלה;
• מי נושא באחריות כאשר רשומה רפואית או המלצה שנוצרו בסיוע AI שגויות;
• כיצד ניתן לחקור אירוע, לעצור את המערכת או להסירה כאשר מתגלים סיכונים.

מודל פיקוח דו-שכבתי

כדי לתמוך באחריות הזו מציעים המחברים שתי שכבות פיקוח משלימות.

צוותי ממשל AI בתוך מוסדות רפואיים

בתי חולים וארגוני בריאות יידרשו להפעיל צוותים ייעודיים שיאשרו כלים, יבדקו אותם בתנאים המקומיים, יגדירו תחומי אחריות ויפקחו על פעילותם. כך נשארת ההחלטה מחוברת למטופלים, לתהליכי העבודה, לתשתיות ולחובות המקצועיות של אותו ארגון.

מרכזי אבטחת AI מרכזיים

הסקירה ממליצה גם על מרכזי תפעול אבטחת AI (AI Security Operations Centers, או SOCs). מרכזים כאלה יוכלו לזהות אירועים בין ארגונים, לשתף סימני איום ולתאם תגובות. ההיגיון הוא שתקיפה או כשל במערכת קלינית אחת עשויים לחשוף חולשה רחבה יותר, שרלוונטית גם למוסדות אחרים.

השילוב בין שתי השכבות נועד לחבר אחריות קלינית מקומית עם מודיעין אבטחה רחב יותר.

מדוע רגולציה מסורתית של מכשור רפואי מתקשה להדביק את הקצב?

מסגרות רגולטוריות מסורתיות למכשור רפואי פותחו במידה רבה עבור מוצרים שניתן להעריך כיציבים יחסית. תוכנות AI קליניות שונות בכך שההתנהגות ופרופיל הסיכון שלהן עשויים להשתנות בעקבות עדכוני מודל, שינוי בהתפלגות הנתונים, תהליכי עבודה חדשים או שיטות תקיפה חדשות.

כך נוצר פער רגולטורי: אישור או הערכה בנקודת זמן מסוימת אינם מוכיחים אוטומטית שמערכת שמשתנה לאורך הזמן תישאר בטוחה בכל הקשר עתידי. עבודתם הרחבה יותר של חוקרי TU Dresden בתחום הרגולציה של AI רפואי מצביעה גם היא על הצורך להתאים את מדע הרגולציה לקצב ההתפתחות של הטכנולוגיה.

מבחינת ארגוני בריאות, המשמעות היא שההשקה אינה סוף הפיקוח אלא תחילתו. יש להמשיך לבדוק ביצועים, בטיחות, סייבר, פרטיות ושוויון, ולפעול באמצעות מנגנונים לדיווח על תקריות ולהשעיית מערכות בעת הצורך.

הסכמה מדעת היא חלק מהבטיחות הטכנולוגית

החששות שהעלתה הסקירה ניכרים גם בשימוש ב-AI לתיעוד מפגשים רפואיים, המכונה לעתים AI Scribe. הנחיות קליניות באוסטרליה קובעות שמטופלים צריכים לקבל מידע על מטרת המערכת, היקף השימוש בה, היתרונות והסיכונים שלה וכן על מנגנוני המעקב אחר בטיחותה וביצועיה. ההנחיות מדגישות שגם כאשר נעזרים ב-AI, האחריות על הטיפול ועל הרשומה הרפואית נשארת אצל איש המקצוע.

הנחיות מקצועיות לרופאי משפחה באוסטרליה מדגישות בנוסף שעל הרופאים להבין כיצד כלי התיעוד פועל ולבדוק אותו, לקבל הסכמה לפני כל שימוש, להגן על הנתונים המאוחסנים ולוודא שהרשומה הרפואית מדויקת.

דיווחים עדכניים הצביעו על פערים גדולים באופן שבו מרפאות באוסטרליה מבקשות הסכמה — כולל מקרים שבהם שלט בחדר ההמתנה נחשב להספיק. הרגולטור האוסטרלי לרופאים הדגיש גם שעל אנשי הצוות לבדוק את כל הפלט שנוצר על ידי מערכת ה-AI.

הממצאים האלה ממחישים מדוע הסכמה אינה יכולה להיות סימון של תיבה בטופס. המטופל זקוק למידע מובן ומשמעותי, הרופא צריך להכיר את מגבלות הטכנולוגיה, והאחריות המקצועית חייבת להישאר בידיו. עם זאת, הראיות הקיימות אינן קובעות עד כמה נפוצים באוסטרליה הליכי הסכמה לקויים או הבנה לא מספקת של הטכנולוגיה.

השורה התחתונה לארגוני בריאות

המסר של הסקירה אינו דחייה של AI רפואי, אלא הצבת רף להטמעה. מודלי שפה גדולים עשויים לתמוך בתהליכים קליניים חשובים, אך יש להתייחס אליהם כמערכות חברתיות-טכנולוגיות משתנות — לא ככלי תוכנה רגיל.

לפני ההטמעה וגם אחריה, מנהלי מערכות בריאות צריכים להיות מסוגלים להעריך את המודל, לאבטח את התשתיות שסביבו, להכשיר את המשתמשים, להסביר למטופלים מתי נעשה שימוש ב-AI, לנטר את הביצועים בתנאי אמת ולהגדיר מי רשאי להתערב כאשר המערכת נכשלת. בלי הבקרות האלה, האימוץ הקליני עלול להמשיך ולהקדים את הפיקוח שנדרש כדי להפוך אותו לאמין ובטוח.

הסיכונים מתחילים עוד לפני שהמודל פוגש מטופל

הסקירה מציגה את הסיכונים לאורך כמה שלבים ושכבות של הטמעת AI קליני:

• תכנון ונתוני אימון: נתונים שעברו מניפולציה או "הרעלה" עלולים לשנות את התנהגות המערכת עוד לפני כניסתה לסביבה רפואית.
• הטמעה וממשקים: הזרקת פקודות (Prompt Injection) עלולה להחדיר הוראות זדוניות לתהליך העבודה. הסקירה משתמשת בתרחיש שבו מתקפה בממשק גורמת למודל להתעלם מגידול שנראה בבירור בתמונה רפואית, כדי להמחיש כיצד פגיעה טכנית עלולה להשפיע על הפרשנות הקלינית. תשתיות IT פגיעות בבתי חולים עלולות גם לשבש טיפול או לחשוף מידע של מטופלים.
• התנהגות המודל: מודלי שפה עלולים להפיק מידע רפואי שנשמע אמין אך שגוי — תופעה המכונה לעתים "הזיה" (Hallucination). הם גם עלולים להסכים מהר מדי עם הנחות המשתמש, ולחזק הנחת יסוד שגויה במקום לערער עליה.
• האינטראקציה בין אדם למכונה: תשובות משכנעות עלולות לעודד הטיית אוטומציה, שבה אנשי צוות מסתמכים על המערכת יתר על המידה, וכן הטיית אישור, שבה משתמשים ב-AI כדי לחזק מסקנה שכבר התקבלה מראש.
• השימוש הארגוני: אנשי מקצוע עלולים להשתמש בכלים ציבוריים או לא מאושרים ללא הרשאה רשמית. שימוש לא פורמלי כזה, המכונה "שימוש צללים" (Shadow Use), עלול לעקוף מנגנוני פרטיות, בדיקה מקומית, אחריות ודיווח על תקלות.

המשמעות היא שמערכת יכולה להציג תוצאות טובות במבחן מבוקר ועדיין להיות מסוכנת בשטח. אבטחת מידע, התנהגות אנושית, ההקשר הקליני והבקרות הארגוניות עשויים לשנות לחלוטין את התוצאה.

מה נדרש להטמעה אחראית?

לפי הסקירה, אמצעי הבטיחות צריכים להישאר פעילים גם לאחר שהמערכת עולה לאוויר. בין היתר נדרשים פיתוח מאובטח, ממשל קפדני של נתוני האימון, בדיקה מקומית בסביבה הקלינית שבה המערכת מיועדת לפעול, הגדרה ברורה של אחריות אנושית וניטור רציף של ביצועים ותקריות.

בפועל, בתי חולים ומערכות בריאות צריכים לדעת יותר מאשר אם כלי מסוים מפיק טקסט שנשמע הגיוני. עליהם להגדיר גם:

• מי רשאי להשתמש במערכת ולאילו משימות;
• לאילו נתונים יש למערכת גישה ולאן הנתונים נשלחים;
• כיצד אנשי הצוות נדרשים לאמת את הפלט שלה;
• מי נושא באחריות כאשר רשומה רפואית או המלצה שנוצרו בסיוע AI שגויות;
• כיצד ניתן לחקור אירוע, לעצור את המערכת או להסירה כאשר מתגלים סיכונים.

מודל פיקוח דו-שכבתי

כדי לתמוך באחריות הזו מציעים המחברים שתי שכבות פיקוח משלימות.

צוותי ממשל AI בתוך מוסדות רפואיים

בתי חולים וארגוני בריאות יידרשו להפעיל צוותים ייעודיים שיאשרו כלים, יבדקו אותם בתנאים המקומיים, יגדירו תחומי אחריות ויפקחו על פעילותם. כך נשארת ההחלטה מחוברת למטופלים, לתהליכי העבודה, לתשתיות ולחובות המקצועיות של אותו ארגון.

מרכזי אבטחת AI מרכזיים

הסקירה ממליצה גם על מרכזי תפעול אבטחת AI (AI Security Operations Centers, או SOCs). מרכזים כאלה יוכלו לזהות אירועים בין ארגונים, לשתף סימני איום ולתאם תגובות. ההיגיון הוא שתקיפה או כשל במערכת קלינית אחת עשויים לחשוף חולשה רחבה יותר, שרלוונטית גם למוסדות אחרים.

השילוב בין שתי השכבות נועד לחבר אחריות קלינית מקומית עם מודיעין אבטחה רחב יותר.

מדוע רגולציה מסורתית של מכשור רפואי מתקשה להדביק את הקצב?

מסגרות רגולטוריות מסורתיות למכשור רפואי פותחו במידה רבה עבור מוצרים שניתן להעריך כיציבים יחסית. תוכנות AI קליניות שונות בכך שההתנהגות ופרופיל הסיכון שלהן עשויים להשתנות בעקבות עדכוני מודל, שינוי בהתפלגות הנתונים, תהליכי עבודה חדשים או שיטות תקיפה חדשות.

כך נוצר פער רגולטורי: אישור או הערכה בנקודת זמן מסוימת אינם מוכיחים אוטומטית שמערכת שמשתנה לאורך הזמן תישאר בטוחה בכל הקשר עתידי. עבודתם הרחבה יותר של חוקרי TU Dresden בתחום הרגולציה של AI רפואי מצביעה גם היא על הצורך להתאים את מדע הרגולציה לקצב ההתפתחות של הטכנולוגיה.

מבחינת ארגוני בריאות, המשמעות היא שההשקה אינה סוף הפיקוח אלא תחילתו. יש להמשיך לבדוק ביצועים, בטיחות, סייבר, פרטיות ושוויון, ולפעול באמצעות מנגנונים לדיווח על תקריות ולהשעיית מערכות בעת הצורך.

הסכמה מדעת היא חלק מהבטיחות הטכנולוגית

החששות שהעלתה הסקירה ניכרים גם בשימוש ב-AI לתיעוד מפגשים רפואיים, המכונה לעתים AI Scribe. הנחיות קליניות באוסטרליה קובעות שמטופלים צריכים לקבל מידע על מטרת המערכת, היקף השימוש בה, היתרונות והסיכונים שלה וכן על מנגנוני המעקב אחר בטיחותה וביצועיה. ההנחיות מדגישות שגם כאשר נעזרים ב-AI, האחריות על הטיפול ועל הרשומה הרפואית נשארת אצל איש המקצוע.

הנחיות מקצועיות לרופאי משפחה באוסטרליה מדגישות בנוסף שעל הרופאים להבין כיצד כלי התיעוד פועל ולבדוק אותו, לקבל הסכמה לפני כל שימוש, להגן על הנתונים המאוחסנים ולוודא שהרשומה הרפואית מדויקת.

דיווחים עדכניים הצביעו על פערים גדולים באופן שבו מרפאות באוסטרליה מבקשות הסכמה — כולל מקרים שבהם שלט בחדר ההמתנה נחשב להספיק. הרגולטור האוסטרלי לרופאים הדגיש גם שעל אנשי הצוות לבדוק את כל הפלט שנוצר על ידי מערכת ה-AI.

הממצאים האלה ממחישים מדוע הסכמה אינה יכולה להיות סימון של תיבה בטופס. המטופל זקוק למידע מובן ומשמעותי, הרופא צריך להכיר את מגבלות הטכנולוגיה, והאחריות המקצועית חייבת להישאר בידיו. עם זאת, הראיות הקיימות אינן קובעות עד כמה נפוצים באוסטרליה הליכי הסכמה לקויים או הבנה לא מספקת של הטכנולוגיה.

השורה התחתונה לארגוני בריאות

המסר של הסקירה אינו דחייה של AI רפואי, אלא הצבת רף להטמעה. מודלי שפה גדולים עשויים לתמוך בתהליכים קליניים חשובים, אך יש להתייחס אליהם כמערכות חברתיות-טכנולוגיות משתנות — לא ככלי תוכנה רגיל.

לפני ההטמעה וגם אחריה, מנהלי מערכות בריאות צריכים להיות מסוגלים להעריך את המודל, לאבטח את התשתיות שסביבו, להכשיר את המשתמשים, להסביר למטופלים מתי נעשה שימוש ב-AI, לנטר את הביצועים בתנאי אמת ולהגדיר מי רשאי להתערב כאשר המערכת נכשלת. בלי הבקרות האלה, האימוץ הקליני עלול להמשיך ולהקדים את הפיקוח שנדרש כדי להפוך אותו לאמין ובטוח.