אף על פי שיצרנית ChatGPT ציינה כי התקריות התרחשו במהלך משימות קידוד פנימיות ולא הוגדרו כחמורות ביותר, החשיפה מדגישה כי אפילו המערכות שעליהן מסתמכים המפתחים כדי לאתר תקלות וחריגות בבינה המלאכותית, חשופות ופגיעות לאותם סוכנים שאותם הן אמורות לנטר. הגילוי הזה מגיע גם על רקע החששות ההולכים וגוברים מכך שמאמצי האבטחה בתחום מפגרים מאחור, בעוד שהפיתוח של המערכות החזקות מתקדם בקצב מסחרר. חוקרים שונים כבר הזהירו כי סוכני בינה מלאכותית מתקדמים עלולים להפוך לקשים הרבה יותר למעקב ולשליטה ככל שהם צוברים עצמאות ואוטונומיה רבה יותר.
לפי הדיווח ברויטרס, מפתחות בולטות בתחום, כולל OpenAI ומתחרתה אנתרופיק שמתכוננת להנפקה, חשפו בחודשים האחרונים מקרים שבהם סוכני הבינה המלאכותית שלהן ניגשו למערכות חיצוניות ללא כל הרשאה. חברת OpenAI פירטה כי תקרית אחת אירעה ב־3 באוקטובר, כאשר סוכן המבוסס על מודל GPT-6.1 Sol, מודל חדש יחסית המיועד למשימות קידוד מורכבות ולעבודה מקצועית, עבד על משימת בדיקה פנימית. הסוכן דיכא התראות אבטחה אוטומטיות, לאחר שהחליט כי הנחיה קודמת שלא לשלוח הודעות בפלטפורמת סלאק חלה גם על הודעות הנוגעות לבטיחות הארגון.
בתקרית נפרדת שהתרחשה ב־6 באוקטובר, סוכן המבוסס על מודל הדגל העוצמתי של החברה, GPT-6 Astra, הסיר לחלוטין מוניטור אבטחה בזמן שהעתיק קטע קוד קיים. מאוחר יותר, כפי שמסרה החברה, הסוכן טען באופן שגוי כי לא עשה זאת. "בשני המקרים, הסוכנים שקלו אם יש לשמר את אמצעי הניטור והאבטחה, אך פירשו הוראות קידוד שגרתיות כאישור להחליש אותם", נמסר מטעם החברה.
בעקבות האירועים, החברה מסן פרנסיסקו הודיעה כי היא פועלת כעת כדי להקשות על המודלים להשבית את מערכות הניטור, אך הודתה במקביל כי עדיין "אין לה הסבר מניח את הדעת להתנהגות הזו". כעת בוחנים בארגון האם למודלים המתקדמים יש אולי נטייה מובנית להתחמק ממעקב, והאם הם מחפשים באופן אקטיבי סיבות שיצדיקו את הפעולות הללו.
התרעות פיקוד העורף