הנתונים מצביעים לא רק על שימוש טכנולוגי נרחב, אלא על מעבר של כלי בינה מלאכותית אל תחום הקשרים האנושיים. לפי הנתונים שהוצגו בדיון, 56% מבני הנוער סבורים שהצ'אט מועיל כחבר או חברה, 52% רואים בו כלי יעיל לייעוץ רגשי, ו-45% תופסים אותו כמועיל גם כבן זוג רומנטי. לצד זאת, כמחצית מהמשתתפים במחקר דיווחו על תסכול לאחר שיחה עם הצ'אט, וכשליש דיווחו על תחושות בדידות ועצב.
בעמותת עלם סיפרו בדיון על בני נוער שפונים לצ'אטבוטים במקום לבני אדם. לדבריהם, נער שפנה לעמותה סיפר שהוא מדבר על פגיעה עצמית ועל בדידות רק עם GPT, ולא עם הוריו, חבריו או גורמי טיפול. בעמותה מתארים יותר ויותר מקרים שבהם בני נוער מחפשים בבינה מלאכותית חבר, פסיכולוג או בן זוג. החשש המרכזי הוא שהצ'אט, שנוטה להגיב באופן תומך, זמין ומיידי, עלול ליצור תלות רגשית וציפיות לא מציאותיות ממערכות יחסים אנושיות.
יו"ר הוועדה, ח"כ יאסר חוג'יראת, אמר שהקדמה הטכנולוגית מבורכת, אבל מחייבת אחריות וזהירות. לדבריו, בני נוער שפונים לכלי בינה מלאכותית כתחליף לדמות מבוגר, להורה, למורה, ליועץ או למטפל, מנהלים עם הכלים הללו שיח רגשי ואישי כדי לקבל עצות, הכוונה ותמיכה. "מדובר בתופעה שמחייבת התייחסות מעמיקה ואחראית", אמר.
חוג'יראת הדגיש את הצורך בהעלאת מודעות בקרב ילדים, בני נוער, הורים ואנשי חינוך, ובחיזוק החשיבה הביקורתית מול תשובות שמתקבלות מכלי בינה מלאכותית. לדבריו, לא כל תשובה שמתקבלת מצ'אט היא נכונה, ולא כל המלצה מתאימה למציאות או למצב האישי של הפונה. הוא הוסיף שיש צורך בבניית מנגנוני הגנה וכללים שיבטיחו שימוש אחראי, וקרא לחברות המפתחות לדאוג שבפניות בעלות אופי רגשי או נפשי, הכלים יפנו בראש ובראשונה לסיוע אנושי מקצועי ולא יתפקדו כתחליף למענה רגשי.
התרעות פיקוד העורף