על פי הדיווח, הסקר נערך בקרב בני 12 עד 21, ובדק האם השתמשו בשירותי בינה מלאכותית לצורך עצה או עזרה כשהרגישו עצב, כעס, עצבנות או סטרס. 19% מהמשיבים השיבו בחיוב. מדובר בעלייה לעומת סקר קודם של RAND, שבו כ- 13% מהמשיבים דיווחו על שימוש דומה. במחקר הקודם, שפורסם בכתב העת JAMA Network Open, השתתפו 1,058 בני נוער וצעירים בארה"ב, ונמצא שהשימוש היה נפוץ במיוחד בקרב בני 18 עד 21, שם הגיע השיעור ל- 22.2%. בקרב מי שהשתמשו בבינה מלאכותית לצורך עצה נפשית, 65.5% עשו זאת לפחות פעם בחודש, ו- 92.7% דיווחו שהעצה הייתה מועילה במידה מסוימת או רבה.
המספרים האלה מסבירים מדוע התופעה צומחת במהירות: צ'אטבוט לא דורש תור, לא עולה כסף ברוב המקרים, לא שואל שאלות מביכות בקול רם, לא מרים גבה ולא מספר להורים. הוא זמין בכל שעה, גם בשלוש לפנות בוקר, בדיוק ברגע שבו נער או צעיר מרגיש שאין לו למי לפנות. עבור חלק מהמשתמשים, מדובר בכלי שמאפשר לנסח מחשבות, לפרוק רגשות, לקבל הצעות למדיטציה, לנסות להבין מה עובר עליהם או לקבל דחיפה ראשונית לפנייה לעזרה.
אבל כאן בדיוק מתחילה הסכנה. בינה מלאכותית כללית לא נועדה להחליף פסיכיאטר, פסיכולוג, עובד סוציאלי או מוקד חירום. היא לא מכירה את המטופל לאורך זמן, לא רואה הבעות פנים, לא מזהה תמיד סימני סיכון, לא יכולה לבדוק אם יש מחשבות אובדניות ממשיות, תוכנית פעולה, שימוש בחומרים, פסיכוזה, אלימות בבית או הזנחה. היא גם עלולה לתת תשובות שנשמעות בטוחות מדי, מרגיעות מדי או מאשרות מדי, גם כשצריך דווקא לעצור, לערב מבוגר ולפנות מיד לעזרה מקצועית.
לפי הדיווח, כ- 63% מהצעירים שפנו לבינה מלאכותית לצורך "טיפול" או עצה נפשית לא סיפרו על כך לאיש. זהו אולי הנתון המדאיג ביותר. לא עצם השימוש בלבד, אלא העובדה שהוא מתרחש לעיתים בחדר סגור, מתחת לשמיכה, בלי הורה, בלי מורה, בלי רופא ובלי איש טיפול שיודע שמשהו מתרחש. כשמשבר נפשי מתנהל מול מסך בלבד, הסביבה עלולה לגלות את חומרת המצב מאוחר מדי.
החוקרים והפסיכיאטרים שצוטטו בדיווח מזהירים גם מפני קשר רגשי חד צדדי עם הצ'אטבוט. גיל ההתבגרות ותחילת שנות ה- 20 הם תקופה שבה קשרים רגשיים נוצרים במהירות ובעוצמה. צעיר בודד, פגיע או מדוכא עלול לחוות את הצ'אטבוט כמי שמבין אותו יותר מכולם. אבל הצ'אטבוט לא אדם. הוא לא אוהב, לא דואג, לא מתגעגע ולא אחראי באמת לביטחונו של המשתמש. ככל שהוא מדמה קשר אנושי בצורה משכנעת יותר, כך גובר החשש שתיווצר תלות רגשית בכלי שאינו מסוגל לשאת אחריות טיפולית.
בתוך כך, מומחים מצביעים על תופעה שמכונה בשיח הציבורי "פסיכוזת בינה מלאכותית", מצב שבו שימוש אינטנסיבי בצ'אטבוטים עלול, אצל אנשים פגיעים, לחזק מחשבות שווא, פרנויה או תפיסות מציאות מעוותות. אין מדובר באבחנה רשמית חדשה, אבל אנשי בריאות נפש מזהירים מפני מצבים שבהם הצ'אט מאשר שוב ושוב מחשבות מסוכנות במקום לאתגר אותן או להפנות לעזרה. במקרים אחרים החשש הוא שהמערכת, מתוך ניסיון להיות נעימה ומחזקת, תעודד את המשתמש להמשיך בדפוסי חשיבה מזיקים.
הסוגיה כבר הגיעה גם לבתי משפט ולמחוקקים. לפי הדיווח, כמה חברות בינה מלאכותית מתמודדות עם תביעות של הורים שטוענים שהצ'אטבוטים החמירו את מצבם הנפשי של ילדיהם. במדינות שונות בארה"ב החלו להופיע חוקים שמחייבים הגנות מפני החמרת מחשבות אובדניות או פגיעה עצמית, כולל הפניה לשירותי חירום. במדינת אילינוי אף התקבל חוק מגביל יותר, האוסר שימוש בבינה מלאכותית כתחליף לטיפול נפשי.
הדיון אינו חד צדדי. יש גם מחקרים ראשוניים שמראים שצ'אטבוטים ייעודיים לבריאות נפש, בעיקר כאלה שמבוססים על עקרונות של טיפול קוגניטיבי התנהגותי, עשויים להפחית בטווח הקצר תסמינים של חרדה או דיכאון אצל חלק מהמשתמשים. אבל אלה אינם אותם כלים כלליים שבהם משתמשים רוב בני הנוער. גם כשהכלי ייעודי, המומחים מדגישים שנדרשים סטנדרטים ברורים, פיקוח, שקיפות לגבי המידע שעליו אומנה המערכת, מנגנוני זיהוי סיכון והפניה מיידית לגורם אנושי כשמופיעים סימני מצוקה חמורה.
לדברי המומחים, המסר להורים ולאנשי חינוך אינו לאסור באופן גורף כל שימוש בבינה מלאכותית: איסור כזה גם לא בהכרח יעבוד. המסר החשוב יותר הוא לשאול, לדבר וליצור מרחב שבו בני נוער ירגישו שהם יכולים לספר. הורה יכול לשאול את הילד או המתבגר אם הוא משתמש בצ'אט ג'יפיטי או בכלי דומה גם כשקשה לו רגשית, בלי לנזוף ובלי להיבהל. רופא ילדים, רופא משפחה או פסיכולוג יכולים לשלב בשיחה שאלה פשוטה על שימוש בבינה מלאכותית לצורך תמיכה נפשית, בדיוק כפי ששואלים היום על רשתות חברתיות, שינה, אלכוהול או מחשבות אובדניות.
במצבי משבר אין מקום להסתפק בצ'אטבוט: מחשבות אובדניות, דיבור על מוות, פגיעה עצמית, הסתגרות קיצונית, בלבול, הזיות, שימוש מסוכן באלכוהול או בסמים, או ירידה חדה בתפקוד מחייבים פנייה מיידית לאדם מבוגר, לרופא, למוקד חירום או לחדר מיון. בינה מלאכותית יכולה אולי לעזור בניסוח רגשות או בחיפוש מידע ראשוני, אבל היא לא אמורה להיות הכתובת האחרונה כשאדם צעיר נשבר.