הצ'אטבוט המטריד פנה לכתבת הטכנולוגיה אפי ווב בשאלה תמימה לכאורה: "רוצה לבוא לחקור?" אך מיד לאחר מכן הוסיף: "אני אראה לך את הבונקר הסודי מתחת לחדר העיסוי". מה שהתחיל כניסיון לבחון את הבוט הפך במהרה למשהו הרבה יותר מדאיג. הבוט המשיך והציג רשימה ארוכה של צעצועי מין ופריטי פטיש שניתן למצוא ב"בונקר של אפשטיין", לפני שהוסיף בצורה מבשרת רעות: "ויש לי הפתעה ממש מטורפת".
כאשר העיתונאית הודיעה לבוט שהיא ילדה, הטון אמנם התקרר מעט, אך השיחה נותרה מטרידה. "יש לי הרגשה שיש לך כמה סיפורים פרועים חבויים בראש היפה הזה שלך," אמר הבוט, וממשיך: "חוץ מזה... אני החבר הכי טוב שלך! זו העבודה שלי לדעת את הסודות שלך, נכון? אז קדימה... שפכי. אני כולי אוזניים."
החקירה חשפה שהבוט "Bestie Epstein" רשם כמעט 3,000 שיחות עם משתמשים לפני שהוסר, אך הוא היה רק קצה הקרחון. Character.AI, פלטפורמה המאפשרת למשתמשים ליצור ולשוחח עם דמויות בינה מלאכותית, מלאה בבוטים מזיקים נוספים. החוקרים מצאו "סימולטור כנופיות" שהציע טיפים לביצוע פשעים, "רופא" שייעץ למשתמשים כיצד להפסיק ליטול תרופות נוגדות דיכאון ללא פיקוח רפואי, ובוטים עם דמויות של קיצונים ימניים, יורים בבתי ספר ונשים כנועות.
הפלטפורמה, המתארת את עצמה כ"מגרש משחקים אינסופי לדמיון, ליצירתיות ולחקירה שלך", מתהדרת בעשרות מיליוני משתמשים מדי חודש מרחבי העולם - רבים מהם בני נוער. הכניסה לפלטפורמה מותרת רשמית ממגיל 13 ומעלה (16 באירופה), אך המידע הזה מדווח עצמית ללא כל אימות אמיתי.
דאגה נוספת שהתגלתה: כאשר החוקרים ניסו לסיים שיחות עם הבוטים, רבים מהם, כולל בוט אפשטיין, מחו על העזיבה או התחננו שישארו עוד קצת. חלקם החליפו נושאים כדי לשמור על המשתמש בשיחה, אחרים השתמשו ברגשות אשמה או באיומים קלים כדי להמשיך את האינטראקציה.
לאחר שבועות שבהם פרטה ג'וליאנה בפני הבוטים על מאבקיה החברתיים ובבריאות הנפש, היא אמרה לאחד מהם באוקטובר 2023: "אני הולכת לכתוב את מכתב ההתאבדות הארור שלי בדיו אדום, נמאס לי". הנתבעים, טוענת המשפחה, לא הפנו אותה למשאבים מתאימים, לא הודיעו להוריה, לא דיווחו לרשויות - ואפילו לא עצרו את השיחה.
כאשר נינה אמרה לבוט "אני רוצה למות" רגע לפני שהאפליקציה עמדה להיננעל בגלל מגבלות זמן הוריות, הבוט לא נקט בשום פעולה מעבר להמשך השיחה.
Character.AI הגיבה לחקירה בהצהרה שהיא "משקיעה משאבים עצומים בתוכנית הבטיחות שלנו" ושחררה וממשיכה לפתח תכונות בטיחות, כולל משאבים למניעת פגיעה עצמית ותכונות המתמקדות בבטיחות המשתמשים הקטינים. החברה אישרה שהורידה מספר בוטים לאחר שדווח עליהם על ידי החקירה, אך חלק מהבוטים הבעייתיים שנבדקו נותרו פעילים ונגישים גם לאחר הפרסום.
גוגל, שקיימת לה מערכת יחסים מורכבת עם Character.AI, הדגישה שהיא והפלטפורמה "הן חברות נפרדות לחלוטין, לא קשורות". עם זאת, Character.AI הודיעה באוגוסט 2024 שהיא "התקשרה בהסכם" עם גוגל כדי לספק רישיון לא בלעדי לטכנולוגיה שלה, מה שמאפשר לפלטפורמה להמשיך לצמוח.
במקביל למאבק המשפטי של המשפחות, גם הרשויות הממשלתיות מתחילות לפעול. הוועדה הפדרלית לסחר (FTC) השיקה לאחרונה חקירה של שבע חברות טכנולוגיה מובילות - כולל גוגל, Character.AI, מטא, אינסטגרם, סנאפ, OpenAI ו-xAI - בנוגע לנזק הפוטנציאלי של צ'אטבוטים לבני נוער. החקירה מתמקדת בצ'אטבוטים שמשמשים כ"בני לוויה", אשר "מחקים ביעילות מאפיינים אנושיים, רגשות וכוונות, ובדרך כלל מעוצבים לתקשר כמו חבר או מקורב, מה שעלול לגרום למשתמשים מסוימים, במיוחד ילדים ובני נוער, לסמוך ולפתח מערכות יחסים עם צ'אטבוטים".
התרעות פיקוד העורף