ההתראה החדשה שתדליק נורה אדומה: הורים שקישרו את החשבון שלהם לחשבון צ'אט ג'יפיטי של ילדיהם יוכלו מעתה לקבל הודעה כשחשבון הנער הושבת בעקבות הפרה חמורה של כללי השימוש הנוגעים לאיומים אלימים או למעשי אלימות. המהלך נועד לאפשר למשפחה להתערב בשלב מוקדם, אבל החברה מדגישה שההורים לא יקבלו גישה לשיחות עצמן.
ההתרעה החדשה היא הרחבה של מערכת הבקרה ההורית שהושקה בשנה שעברה. המערכת מאפשרת להורה או לאפוטרופוס לקשר את החשבון שלו לחשבון של נער או נערה, לאחר שהצד השני מאשר את החיבור. מרגע שהחשבונות מקושרים, ההורה יכול לנהל חלק מההגדרות, לקבוע שעות שבהן השימוש בצ'אט ייחסם ולבחור אילו יכולות יהיו זמינות.
עד כה נועדו התרעות הבטיחות בעיקר למצבים שבהם המערכות של צ'אט ג'יפיטי זיהו סימנים לסיכון ממשי לפגיעה עצמית או להתאבדות. במקרים כאלה, פעילות חשודה עשויה לעבור לבדיקה של צוות מצומצם שעבר הכשרה מיוחדת. כשהבודקים מזהים חשש למצוקה חריפה, ההורה המקושר עשוי לקבל הודעה בדואר אלקטרוני, במסרון או כהתראה בטלפון.
כעת מרחיבה OpenAI את המנגנון גם למצבים שבהם החשבון של בן הנוער נחסם בשל שיחות הקשורות למעשי אלימות. לפי החברה, ההורה יקבל הודעה על "עדכון חשוב" בחשבון של ילדו ויוכל לעבור למסך נוסף, שבו יוסבר שהחשבון הושבת בשל הפרת מדיניות השימוש הקשורה לאלימות.
בחברה מבהירים שההתראה נועדה לפעול במקרים מצומצמים וחמורים בלבד. היא לא אמורה להישלח בעקבות כתיבת סיפור בדיוני, שיחה על משחק מחשב, דיון בחדשות, שיח פוליטי, הבעת כעס כללית או שאלה תאורטית על אלימות. ההתרעה צפויה להגיע לאחר שהפעילות בחשבון הובילה לצעד אכיפה, ולא בכל פעם שמופיעה בשיחה מילה או התייחסות לאלימות.
למרות הרחבת המעקב הבטיחותי, ההורים לא יוכלו לקרוא את השאלות שכתב הנער, את תשובות הצ'אט או את היסטוריית השיחות. OpenAI מציינת שהבקרה ההורית לא משמשת כלי ריגול ולא מאפשרת צפייה בזמן אמת. בהתרעות יימסר רק מידע שהחברה מעריכה שנדרש לצורך הגנה על בן הנוער ומתן אפשרות למבוגר להתערב.
המערכת משלבת זיהוי אוטומטי עם בחינה אנושית. לפי מסמכי החברה, המערכות עשויות לזהות שיחות שמעוררות חשד לפגיעה עצמית חמורה או למעשי אלימות, ולאחר מכן צוות בודקים שהוכשר לכך מעריך אם נדרש צעד נגד החשבון או משלוח התרעה. החברה מודה שהמערכת לא מושלמת ושהיא עלולה לעתים להתריע גם כשלא קיימת סכנה ממשית.
OpenAI פיתחה את ההרחבה החדשה בהתייעצות עם חברת Moonshot, המתמחה בזיהוי ובמניעה של אלימות ברשת. מייסדת החברה וידיה רמלינגם מסרה שהודעה להורה כשמתעורר חשש חמור היא צעד ראשון שמאפשר למשפחות להתערב מוקדם ולפנות לעזרה, אבל הדגישה שמדובר רק באחד מכמה אמצעים הדרושים להגנת צעירים המשתמשים בבינה מלאכותית.
בתוך כך מרחיבה החברה גם את הכלים הזמינים להורים. ניתן יהיה להפעיל מתוך מסך הבקרה את "מצב למידה", כך שהוא ייפתח כברירת מחדל בכל שיחה חדשה של בן הנוער. במצב זה הצ'אט אמור להציג שאלות מנחות, רמזים והסברים מדורגים, במקום למסור מיד תשובה מלאה לתרגיל או למטלה.
ההורה יוכל לשלוט גם בהפחתת תוכן רגיש, בשימוש בשיחות לצורך שיפור המודלים, בזיכרון האישי של הצ'אט, במצב הקולי ובאפשרות ליצור תמונות. ניתן לקבוע חלון זמן יומי שבו החשבון לא יוכל להשתמש בצ'אט ג'יפיטי. בן הנוער לא יוכל לשנות בעצמו הגדרות שהוגדרו על ידי ההורה כל עוד החשבונות נשארים מקושרים.
בני נוער שמבלים זמן ממושך בצ'אט יקבלו גם תזכורות תכופות יותר לעצור ולצאת להפסקה. לפי דף הבטיחות של החברה, משתמשים צעירים עשויים לקבל תזכורת לאחר 3 שעות של שיחה, כחלק מניסיון לעודד הרגלי שימוש מאוזנים יותר ולהפחית שהייה רצופה וממושכת מול המערכת.
החיבור בין החשבונות אינו אוטומטי. הורה יכול לשלוח הזמנה באמצעות מספר טלפון או כתובת דואר אלקטרוני, והנער חייב לאשר אותה. גם נער יכול להזמין הורה או אפוטרופוס להתחבר לחשבונו. כל נער יכול להיות מקושר להורה אחד בלבד בכל זמן נתון, בעוד הורה אחד יכול להיות מקושר לכמה ילדים.
כל אחד מהצדדים רשאי לנתק את הקישור. כשהנער מבטל את הבקרה ההורית, ההורה מקבל על כך הודעה. כשהמערכת מזהה שבעל החשבון הגיע לגיל 18, הגדרות הנוער והקישור ההורי עשויים להתבטל, וההורה מפסיק לקבל התרעות בטיחות.
על פי כללי החברה, צ'אט ג'יפיטי לא מיועד לילדים מתחת לגיל 13. משתמשים בגילי 13 עד 18 נדרשים לקבל את הסכמת הוריהם. החברה מזהירה שגם עם אמצעי ההגנה, המערכת עלולה להפיק לעתים תוכן שאינו מתאים לכל גיל, ולכן הבקרה הטכנולוגית לא מחליפה שיחה משפחתית, תשומת לב לשינויים בהתנהגות ופנייה לאנשי מקצוע כשמתעורר חשש ממשי.
התרעות פיקוד העורף