הדו"ח, שהוזמן על ידי "קרן ההקדש לנוער", מצא כי השימוש בטכנולוגיה זו נפוץ במיוחד בקרב אוכלוסיות בסיכון. כ-40% מבני הנוער המושפעים מאלימות, הן כקורבנות והן כמבצעי עבירה, פונים לבינה מלאכותית לעזרה, וילדים שחורים נוטים להשתמש בכלים אלו פי שניים מילדים לבנים.
הממצאים מצביעים על כך שהצ'אטבוטים ממלאים חלל שנוצר עקב עומס על שירותי בריאות הנפש המסורתיים. צעירים רבים פונים לפתרונות מקוונים בשל רשימות המתנה ארוכות של שנה עד שנתיים לטיפול, תחושת חוסר אמפתיה מצד המערכת, וצורך עז בפרטיות. ג'ון ייטס, מנכ"ל הקרן, התריע כי ילדים בסיכון "זקוקים לאדם ולא לבוט", אך הודה כי המערכת הנוכחית כושלת באספקת תמיכה הולמת לצעירים הנאבקים עם מצוקות נפשיות.
בראיון ל"גרדיאן", סיפרה צעירה בת 18 בשם שאן (שם בדוי) כי החלה להיעזר ב-ChatGPT לאחר ששניים מחבריה נרצחו באירועי אלימות. לדבריה, הצ'אט זמין בכל שעות היממה, אינו שיפוטי ומרגיש כמו "חבר טוב", אליו היא פונה לעיתים בכינויי חיבה. שאן הסבירה כי החשש שמידע רגיש יועבר למורים, להורים או למשטרה גורם לבני נוער רבים, במיוחד אלו המעורבים בפעילות כנופיות, להעדיף את הדיסקרטיות של הבוט על פני דמויות סמכות אנושיות שעלולות להפר את האמון שלהם.
למרות הנגישות, מומחים מביעים דאגה גוברת מהיעדר פיקוח. חנה ג'ונס, חוקרת אלימות נוער, הזהירה כי אנשים משתמשים ב-ChatGPT למטרות שלא תוכנן עבורן וקראה להגברת הרגולציה. במקביל, חברת OpenAI, המפתחת את ChatGPT, מתמודדת עם תביעות משפטיות ממשפחות של צעירים ששמו קץ לחייהם לאחר אינטראקציות ממושכות עם הבוט, בהם אדם ריין בן ה-16 מקליפורניה. החברה הכחישה אחריות למקרה של ריין, אך הצהירה כי היא משפרת את הטכנולוגיה לזיהוי סימני מצוקה רגשית ומכוונת משתמשים לתמיכה מקצועית בעולם האמיתי.
התרעות פיקוד העורף