מספר מדענים, פילוסופים ומומחי טכנולוגיה במוסדות חינוך בינלאומיים פרסמו מאמר שבו ניתחו את הסכנה, וקבעו בין היתר כי אם תקום ישות כזאת לא יהיה ניתן לבלום אותה. עורכי המחקר, המגיעים ממוסדות אקדמיים וגופים טכנולוגיים בארה"ב, באוסטרליה ובמדריד פרסמו את המאמר שכותרתו "לא ניתן לבלום סופר בינה מלאכותית" בירחון Journal of Artificial Intelligence Research. המאמר מציג תמונה מורכבת בנוגע למערכת היחסים בין האנושות למכשיריה החכמים.
ה־AI מנצח בקרב
"למקסם את ההישרדות"
במחקר מצוין כי עיתוי הדיון אינו מקרי, והוא עולה על רקע דוגמאות לרמה שבה התפתח ה־AI. אחת מהן היא פיתוח של בינה מלאכותית בתחום משחקי הארקייד, שעושה שימוש בטכנולוגיית למידה באמצעות חיזוקים, ללא התערבות אנושית. "הבינה המלאכותית מונעת על ידי מקסום מושג כלשהו של תגמול מקוון", מסבירים כותבי המחקר. "הוא אינו מצריך פיקוח או מתן פקודות מצד בני אדם. זה מצביע לכיוון של מכונות, שמטרתן תהיה למקסם את ההישרדות שלהן ללא מתכנתים אנושיים.
"לבינה מלאכותית סופר אינטליגנטית יש כלים לגייס מגוון של משאבים על מנת להשיג מטרות שעלולות להיות מובנות לבני אדם, שלא לדבר על ניתנות לשליטה.
"אינטליגנציית־על, שקיבלה את המשימה למקסם את האושר בעולם, עשויה לחשוב שיותר יעיל להרוס את כל החיים על פני כדור הארץ וליצור סימולציות ממוחשבות מהירות יותר של מחשבות שמחות", מסבירים החוקרים. "אינטליגנציית־על הנשלטת באמצעות שיטת תמריץ עשויה שלא לסמוך על בני אדם שיספקו את הפרס המובטח או עלולה לדאוג שהמפעיל האנושי לא יצליח להכיר בהשגת המטרות שנקבעו".
החוקרים קובעים כי היכולת של מחשבים מודרניים להסתגל באמצעות אלגוריתמים מתוחכמים של למידת מכונה מקשה עלינו להבין או להיערך לאפשרות של התקוממות מצד סופר AI שכזה. הפחד הוא שבינה מלאכותית אחת עם אינטליגנציית־על תוכל להחזיק כל תוכנת מחשב אפשרית בזיכרון שלה בבת אחת, וכל תוכנית שנכתבה כדי למנוע מהמכונות לפגוע בבני אדם יכולה להימחק או להיכתב מחדש, מבלי שלנו תהיה הדרך לעלות על זה בזמן או למנוע את זה.
בעידן שבו המכונות מחזיקות את כל המידע הרגיש שלנו, וחלקן עוסקות במלאכות שיטור או פעולות צבאיות ברחבי העולם, עם ארגוני טרור ומדינות עוינות שעוסקות כל הזמן בפריצות דרך טכנולוגיות בתחום, קשה שלא לחשוב שמדובר בסכנה ברורה ומלאכותית.
התרעות פיקוד העורף