המטופל מקבל סיכום ביקור שנראה רשמי ומסודר, ואינו יודע אם המידע מדויק, אם הושמטו פרטים חשובים או אם נוספו פרטים שכלל לא נאמרו. אין לו גישה ל"קוד" שמייצר את הסיכום, אין לו יכולת לבקש תיקון בקלות, ולרוב אין לו מושג שהמסמך נוצר בכלל על ידי AI. גם אם יקרא אותו, לא תמיד יהיו לו הידע הרפואי והיכולת להבין איזו השמטה עלולה להיות משמעותית להמשך הטיפול.
כאן נכנסים הרופא או הרופאה, שאמורים לקרוא את הסיכום, לוודא שהוא מדויק, ולחתום עליו. בפועל, הרופא החותם נדרש לשאת באחריות המקצועית לתוכן שאישר, גם כשהנוסח הראשוני נוצר בידי כלי AI. אבל האם זה הוגן? האם זה ריאלי? רופאים עובדים תחת לחץ זמן כבד, עם יעדי הספק גבוהים, ולעיתים קרובות ללא זמן מספק לעבור על כל מילה בסיכום של ה-AI.
לכאורה, הפתרון פשוט: שהרופא או המטופל יעברו במהירות על הסיכום כדי לזהות טעויות. אלא שקל יותר לזהות פרט שגוי מאשר פרט שנעלם. כדי לגלות שתסמין, הסתייגות או המלצה הושמטו, לא מספיק לקרוא את הטקסט; צריך להשוות אותו לשיחה שהתקיימה ולזכור מה בדיוק נאמר. יתרה מכך, מסמך מנוסח היטב ורשמי מעורר באופן טבעי אמון, ולכן דווקא טעויות שנשמעות סבירות עלולות לחמוק מעיני הקורא.
התוצאה היא שגם הרופאים נמצאים בעמדת נחיתות מול מערכת הבריאות שמצפה מהם להספיק יותר, ומול ה-AI שעושה הכל מהר יותר מהם. ככל שהשימוש במערכת יהפוך לשגרתי, גדל גם החשש שהאישור האנושי יהפוך מבקרה אמיתית לחתימה כמעט אוטומטית. כך למעשה, הרופא שאותו ביקשנו להעצים ולייעל את עבודתו באמצעות הכנסת הטכנולוגיה לחדר הטיפולים, עלול דווקא להיות "מוקטן".
כאן נכנסת אחריותה של מערכת הבריאות. עליה להקצות לרופאים זמן מוגדר לבדיקת הסיכומים; לקבוע אילו פרטים מחייבים אימות פעיל; ליידע מטופלים שהביקור מתועד באמצעות AI ולאפשר להם לעיין בסיכום ולבקש תיקון בקלות; ולדרוש מהיצרנים שקיפות לגבי דיוק המערכת ומגבלותיה. כל מסמך שנוצר באמצעות AI צריך גם להיות מסומן בבירור.
ה-AI יכול לשפר את הטיפול ולחסוך לרופאים זמן יקר. אך ללא בקרה, הטעות שלו עלולה להישמר, לעבור לרופא הבא ולהשפיע על החלטות עתידיות. מחיר החיסכון בזמן אינו יכול להירשם בתיק הרפואי של המטופל.
התרעות פיקוד העורף