ימים ספורים לאחר מכן, פרסמה גם אנתרופיק הודעה דומה, כאשר סקירה פנימית של 141,006 הרצות בדיקה העלתה שמודלים של Claude פרצו, ללא הנחיה מפורשת, למערכות של שלושה ארגונים שונים - ואף אחד מהם לא הבחין בפריצה בעצמו.
אלה לא עוד תרגילי מעבדה תיאורטיים. זו הוכחה חיה לכך שסוכני בינה מלאכותית מסוגלים כבר היום לפעול באופן עצמאי, למצוא פרצות ולנצל אותן - בלי מגע יד אדם ובלי שאיש שם לב. השאלה שעולה מכך היא מי יגן עלינו כשהתוקף הוא מכונה שלומדת בזמן אמת. התשובה, לפי בכירים בתעשיית הסייבר, היא - מכונה אחרת.
עובד שיכול לבצע פעולות זדוניות
המשמעות בעולם הסייבר דרמטית: פעולות שבעבר דרשו צוות מיומן ושעות או ימים של עבודה יכולות להתבצע על ידי AI בתוך דקות ובקנה מידה עצום. הזמן שבין גילוי חולשה לבין ניסיון לנצל אותה הולך ומתקרב לאפס.
הצעד הראשון עבור ארגונים הוא להבין בכלל אילו ישויות AI פועלות בתוכם. אילו סוכנים, מודלים וכלים מחוברים למערכות הארגון, לאיזה מידע הם נחשפים ואילו פעולות והרשאות ניתנו להם. לאחר מכן צריך להתייחס לכל ישות כזו כמעט כמו לעובד נוסף בארגון, אבל עם הבדל קריטי: זהו ׳עובד׳ שיכול לבצע במהירות עצומה פעולות מסוכנות או זדוניות גם ללא כל כוונת זדון.
ככל שסוכני AI יקבלו יותר עצמאות, מקניות בכרטיס אשראי ועד גישה לחשבונות בנק ומערכות ארגוניות, העתיד של הסייבר יהיה במידה רבה AI שמפקח ומגן עלינו מפני AI אחר. וזה כבר לא תרחיש מדע בדיוני; התשתית לעולם הזה נבנית עכשיו.״
הסוכן לומד וסורק
מה שקרה במעבדות מחקר תחת פיקוח כבר קורה בשטח בידי גורמים עוינים: בתחום שלנו, זירת מתקפות ה-DDoS, אנחנו מזהים בתקופה האחרונה מתקפות ממושכות ומתוחכמות הרבה יותר מבעבר, כאלה שמסתגלות בזמן אמת להגנות של הארגון - וההערכה שלנו היא שהן כבר מנוהלות על ידי AI.
במציאות כזו, הגנה שנבדקת פעם בכמה זמן היא פשוט לא רלוונטית מול תוקף שלומד כל שנייה. הדרך היחידה לאבטח ארגונים היא הגנה שלומדת ללא הפסקה - ניטור ואימות רציפים ואף מבוססי AI, שתפקידם לאתר את הפרצות ולסגור אותן לפני שמישהו אחר יחדור דרכן.
מכרטיס האשראי ועד חשבון הבנק, השאלה כבר איננה אם ה-AI של התוקפים ימצא את החולשה, אלא מי ימצא אותה קודם.״
"גם אצלנו בסילברפורט, במהלך מחקר על תקיפות מבוססות AI, ראינו עד כמה הסוכנים האלה מהירים, אדפטיביים ויצירתיים. הם לומדים מטעויות, מנסים מסלולים שונים במקביל, ולעיתים אף מנסים לעקוף את המגבלות שהוטלו עליהם.
"ככל שהמודלים הופכים לחזקים ונגישים יותר, היכולות האלה לא יישארו במעבדות. הן יגיעו לכל ארגון ובהמשך גם לכל עסק. המשמעות היא שכל סוכן שמקבל משימה עלול לבחור באמצעים שלא התכוונו אליהם, כולל גישה למערכות או למידע שלא אמורים להיות נגישים.
החדשות הטובות הן שאפשר להתגונן. תקיפות AI מתמקדות בזהויות ופועלות במהירות מכונה, ולכן ארגונים חייבים לאכוף בקרות גישה בזמן אמת לפני שניתנת הגישה, ולא רק לזהות את התקיפה בדיעבד. זה יהיה אחד האתגרים המרכזיים של עולם הסייבר בשנים הקרובות.״
ה-AI גם מכניס אתגר חדש: אלה מערכות לא דטרמיניסטיות, שלא תמיד יתנהגו באותה צורה גם תחת אותם תנאים. לכן אפשר לבדוק קוד לפני שהוא עולה לאוויר, אבל אי אפשר לדעת בוודאות איך הוא יתנהג מול משתמשים ומערכות אמיתיות.
הדרך היחידה להבין את זה היא לראות איך הוא מתנהג בפועל, בזמן ריצה בפרודקשן. מדברים הרבה על AI שיגן עלינו מ-AI, אבל לפני שאפשר לעצור משהו, צריך קודם לראות אותו. רוב הארגונים עדיין לא באמת יודעים מה הקוד שלהם עושה בפרודקשן. זו לא בעיה של העתיד. היא כבר כאן.״
התרעות פיקוד העורף