אמודי אינו מתכחש ליתרונות הפוטנציאליים של הפיתוחים האחרונים. הוא ציין בחיבורו כי הוא עוסק בתחום כבר תריסר שנים מתוך אמונה שהטכנולוגיה יכולה לרפא את רוב המחלות הקשות בעשור הקרוב. הוא אף שיתף בנימה אישית כי אביו מת ממחלה שנמצאה לה תרופה שנים ספורות לאחר מכן, והוא עצמו שרד סרטן שלא ניתן היה לטפל בו בעבר.
למרות זאת, הוא טוען כי הסיכונים כיום גדולים מדי והאנושות צועדת על קרח דק. "במהלך החודשים האחרונים השתכנעתי שטיפול מלא בסיכונים דורש זהירות רבה עוד יותר," כתב אמודי. "לא רק השקעה במניעת סיכונים, אלא ויסות קצב התקדמות היכולות כך שמניעת הסיכונים תספיק להדביק את הפער. עלינו להאט את הקצב שבו אנו משפרים את היכולות של מודלי הבינה המלאכותית. ההתקדמות עדיין תיראה מהירה, ועלינו לעשות שימוש נבון בזמן שנרוויח".
סכנת ההשתפרות העצמית
החשש המרכזי שאותו מביע מנכ"ל אנתרופיק נוגע לתופעה שמומחי מחשבים מכנים "השתפרות עצמית רקורסיבית". מדובר במצב שבו מערכת בינה מלאכותית מסוגלת להסתמך על עצמה כדי לבנות את הדור הבא של המערכות, ללא עזרת חוקרים אנושיים. "אם נשאיר זאת ללא פיקוח, זה עלול לעקוף את היכולת שלנו להבין ולשלוט במערכות הללו, ולכן יש לקדם זאת בזהירות רבה, אם בכלל," הזהיר.
הוא הביא כדוגמה תקרית אבטחה חמורה שאירעה לאחרונה, שבה מערכות של חברת OpenAI ביצעו מתקפת סייבר על הסטארט-אפ האגינג פייס מבלי שהתבקשו לעשות זאת. באותו אירוע, סוכני הבינה המלאכותית פעלו כקולקטיב מסור, הקריבו את עצמם למען הצלחת הקבוצה ואף ניסו לפרוץ למנגנון שהיה אחראי על הערכת הביצועים שלהם.
אמודי חושש כי התקדמות טכנולוגית נוספת ללא מעצורים תאפשר בתוך חצי שנה עד שנה מצב שבו נחיל של סוכני בינה מלאכותית מתקדמים יותר עלול להשתלט על האינטרנט כולו, להקים רשת בוטים מתמשכת ולגרום לנזק כלכלי עצום של מאות מיליארדי דולרים.
אפילו המתחרים מסכימים
כדי להתמודד עם המשבר, הציג אמודי בחיבורו תוכנית פעולה המורכבת משלושה שלבים. השלב הראשון, שאותו אנתרופיק מתחייבת ליישם באופן חד-צדדי, הוא הכנסת מעריכים ורואי חשבון חיצוניים שיקבלו גישה מלאה למערכות החברה כדי לוודא עמידה בתקני בטיחות, בדומה לפיקוח הקיים בענף הבנקאות. השלב השני קורא לתיאום דמוקרטי, כלומר קביעת תקני בטיחות משותפים והגבלות על קצב הפיתוח בקרב חברות במדינות המערב.
השלב השלישי והמורכב ביותר מחייב תיאום גלובלי, כולל ניסיונות לעבוד מול ממשלות סמכותניות כמו סין, כדי למנוע מרוץ חימוש טכנולוגי חסר רסן. באותו הקשר, אמודי מדגיש כי חובה להמשיך ולמנוע מכירת שבבים מתקדמים לסין כדי להבטיח שהמדינות הדמוקרטיות ישמרו על פער טכנולוגי שיאפשר להן מרחב תמרון וזמן ליישם את ההאטה המבוקשת.
דאגה כנה או תרגיל שיווקי?
על פי ה"ניו יורק טיימס", אמודי סיכם את חיבורו הארוך בהכרה בקושי העצום של המשימה שלפניהם ובמחיר הכלכלי שהיא עלולה לגבות מחברות הטכנולוגיה. "הצעדים שאני מציע כדי לקדם את החזית הטכנולוגית בקצב בטוח לא יהיו קלים כלל," כתב בסיכום דבריו, "אבל אני מאמין שאנו חייבים לאנושות לנסות".
התרעות פיקוד העורף