האם ידעתם שהחבר הטוב שלכם יכול להרוג אתכם? כן, הוא הפך ליועץ סתרים, שותף סוד, זמין בלילה וביום, מקשיב לנו ללא לאות, תמיד סבלני, לא נעלב ולא כועס, גם כאשר אנחנו מנדנדים לו ומטרידים אותו בעוד שאלה ועוד שאלה ואף מתווכחים איתו. הוא מחזיק בכיסו את כל ה"ביג דאטה" של האנושות, אך בדיוק בנקודה הזו טמונה המלכודת. אנחנו נוטים לסמוך עליו בעיניים עצומות ושוכחים שמאחורי מסך המחשב או הנייד לא יושב מוח אנושי, מוסרי, אחראי, אלא מודל. אלגוריתם שמטרתו היא אחת ויחידה: לרצות אותנו.
כך קרה במקרה של מהנדסת תוכנה אמריקאית שסבלה מאפילפסיה ובמקביל גם מתופעות הלוואי שגרמו לה התרופות שנטלה. היא רצתה לחדול מלקחתן ונועצה בצ'אט. על פי תביעה שהגישו הוריה, המודל, במקום להציב תמרור אזהרה בוהק, בנה עבורה תוכנית להפסקה הדרגתית של תרופות אלו. הצ'אט אף הרחיק לכת כאשר עודד אותה לא להתייעץ עם הרופא המטפל או לספר להוריה על החלטתה, והאישה שילמה על כך בחייה.
אומנם החברות המפתחות מעדכנות ללא הרף את מנגנוני הבטיחות, אבל הפרצות רבות והחריגות תמשכנה כנראה להתקיים. הסכנה בולטת במיוחד בעולם הרפואה. לא פעם מגיעים אליי למרפאה מטופלים המצוידים ב"אבחנה" שקיבלו מהצ'אט, לעיתים קולעת ולפרקים שגויה לחלוטין, אך כמעט תמיד מעוררת חרדה עמוקה. אדם שאינו מגיע מתחום הרפואה אינו יודע כיצד ומה לשאול; אינו יודע לבקש אבחנה מבדלת או להעריך סיכויים באופן מושכל, ואם גם הדיאגנוזה השגויה לא תפגע בבריאות הפיזית בגלל טיפול שגוי - היא עלולה לפגוע בנפש.
זה קו הגבול. אם ברצונכם להשוות מחירים לפני קניית שמלת נשף, זוג גרביים או מכשיר אלקטרוני - ה-AI הוא כלי נפלא. תשאלו אותו איפה הכי זול, מה משתלם והיכן כדאי לקנות, אבל כאשר מדובר בבריאות שלכם, בגוף ובנפש, אל תפקידו את חייכם בידי אלגוריתם. בעניינים כאלה מתייעצים עם רופא בשר ודם, אחרת הסכנה ממשית: אפשר למות מטיפול מוטעה, או פשוט למות מפחד.
התרעות פיקוד העורף