האם הבינה המלאכותית עלולה להפוך לאיום אם מכונות ילמדו לשפר את עצמן?

Saturday 12 September 2026 - 08:47

בינה מלאכותית נכנסת לשלב חדש שבו השאלה המרכזית אינה מה המכונות יכולות לעשות, אלא מה עלול לקרות אם מערכות מתקדמות יותר יוכלו לשפר את הביצועים שלהן. ככל שמודלים של AI הופכים לאוטונומיים יותר וטובים יותר בקידוד, תכנון ושימוש בכלים דיגיטליים, החששות גוברים האם הפיקוח האנושי יכול לעמוד בקצב ההחלטות המונעות על ידי מכונות.

הסיכונים החמורים ביותר עשויים שלא לנבוע מהמכונות שהופכות ל"חכמות יותר מהאנשים" במובן הקונבנציונלי. במקום זאת, מומחים מתמקדים יותר ויותר בשילוב של אינטליגנציה, אוטונומיה, מהירות וגישה למערכות דיגיטליות חזקות. מערכת בעלת יכולת גבוהה הפועלת עם הרשאות רחבות עשויה לקבל החלטות ולבצע משימות מורכבות מהר יותר ממה שאנשים יכולים לבדוק, לתקן או לעצור.

על פי מוחמד מוחסן רמדאן, ראש יחידת הבינה המלאכותית והסייבר במרכז הערבי למחקר ולימודים, החששות לגבי AI מתקדמת כבר אינן מוגבלות לתסריטי מדע בדיוני. אזהרות עולות יותר ויותר ממדענים ומקצוענים העובדים ישירות בתוך תחום הטכנולוגיה, מה שמצביע על חוסר ודאות גובר לגבי ההשלכות של המרוץ לבניית מערכות יותר חזקות ואוטונומיות.

מושג מרכזי בדיון הזה הוא שיפור עצמי ריקורסיבי. הרעיון מתייחס למערכת AI המסייעת לשפר את התוכנה, היכולות או האדריכלות שלה, מה שמאפשר לכל שיפור לתרום למחזור פיתוח נוסף. בצורתה התיאורטית הקיצונית ביותר, תהליך כזה עשוי להאיץ את ההתקדמות הטכנולוגית הרבה מעבר לקצב שבו בני אדם יכולים להבין או לפקח עליו.

מערכות AI הנוכחיות לא הגיעו לשלב האוטונומי המלא, שבו הן משפרות את עצמן באופן רציף כפי שמתואר בכמה תסריטים הקשורים לבינה מלאכותית על-אנושית. עם זאת, סוכני AI מודרניים הופכים ליותר ויותר מסוגלים לכתוב ולנתח קוד, לתכנן פעולות רב-שלביות, לקיים אינטראקציה עם כלים חיצוניים ולהשלים משימות עם התערבות אנושית מוגבלת. התפתחויות אלו הפכו את השאלות לגבי בטיחות ופיקוח ליותר מיידיות.

מנקודת מבט של סייבר, הסכנה אינה בהכרח כרוכה במערכת AI המפנה את כוחותיה נגד האנושות. חשש יותר מציאותי הוא שמערכת בעלת יכולת גבוהה תבצע מטרה לא מוגדרת היטב תוך שהיא מחזיקה בהרשאות רחבות וגישה לסביבות דיגיטליות מחוברות.

למשל, סוכן AI מתקדם יכול לזהות פגיעות בתוכנה, לנתח אותה, לייצר קוד, לבדוק גישות שונות ולהתאים את האסטרטגיה שלו. אם מחזור כזה היה אוטומטי ברובו, מהירות הגילוי והביצוע עשויה לעלות על היכולת של מפעילי אנוש להתערב. ההשלכות עשויות להיות חמורות במיוחד אם המערכת הייתה מחוברת לתשתיות רגישות, רשתות פיננסיות או שירותים קריטיים אחרים.

השר לשעבר לעניינים מדיניים במצרים, אבו בכר עבד אל-קريم, טוען גם כן שהרמה של הסיכון תלויה לא רק באינטליגנציה, אלא כיצד אינטליגנציה משולבת עם אוטונומיה וסמכות. ככל שהמערכות הופכות ליותר ויותר מסוגלות לקבל החלטות, הוא אומר, יש צורך להקים מנגנונים חזקים יותר כדי לפקח על התנהגותן, להבין את פעולותיהן ולסגור אותן כאשר יש צורך.

הבעיה חורגת מעבר לסייבר. מערכות AI אוטונומיות יותר עשויות להשפיע על ביטחון לאומי, תשתיות קריטיות, שווקים פיננסיים, תעסוקה, אקוסיסטמות מידע, מדיה והחלטות. היכולת של AI לעבד כמויות עצומות של מידע, לייצר תוכן ולאוטומט פעולות מתקדמות פירושה שההתקדמות הטכנולוגית תצטרך להיות מלווה בפיקוח חזק יותר.

עבור עבד אל-קريم, האתגר המרכזי בשנים הקרובות לא יהיה עימות פשוט בין בני אדם למכונות. במקום זאת, זו תהיה שאלה האם המוסדות האנושיים יכולים לפתח את היכולת לנהל טכנולוגיות הולכות ומתרקמות באופן אחראי.

מומחים ומדינאים קראו לכן למערכות AI מתקדמות לעבור הערכות בטיחות קפדניות לפני השימוש. אמצעים יכולים לכלול בדיקות עוינות, הערכות סייבר, הרשאות מוגדרות בצורה ברורה, פיקוח מתמשך, בידוד סביבות רגישות ומנגנונים אמינים להתערבות אנושית או סגירות חירום.

חשש נוסף הוא האפשרות שהתחרות המסחרית והגיאופוליטית יכולה לעודד חברות וממשלות להעדיף מהירות על פני בטיחות. מרוץ לשחרר מודלים הולכים ומתרקמים ללא בדיקות מספקות יכול להגדיל את הסיכונים המערכתיים, במיוחד כאשר סוכני AI מקבלים גישה למערכות חיצוניות ויכולת לפעול באופן עצמאי.

במקביל, התחזיות כי AI תביא בהכרח להשמדת האנושות נותרות ספקולטיביות. אין ראיות מדעיות מבוססות המוכיחות שהכחדת האנושות היא תוצאה שנקבעה מראש של פיתוח AI. האתגר המיידי יותר הוא לזהות סיכונים אמינים ולבנות אמצעי הגנה לפני שמערכות אוטונומיות יותר ייכנסו לשימוש נרחב בתחומים קריטיים בחברה.

הדיון על בטיחות ה-AI מתמקד לכן בשאלה האם מכונות עשויות לעבור יום אחד את האינטליגנציה האנושית לשאלה רחבה יותר של כמה עצמאות יש לתת להן. מערכת אינה צריכה להיות חכמה יותר מאדם כדי ליצור סיכונים חמורים אם היא יכולה לפעול מהר יותר, לגשת לכלים חזקים ולפעול עם פיקוח מוגבל.

בינה מלאכותית עשויה בסופו של דבר להפוך לאחת הטכנולוגיות היקרות ביותר שנוצרו אי פעם, עם יישומים החל ממחקר מדעי ורפואה ועד חינוך ופרודוקטיביות תעשייתית. אבל הבטחת היתרונות הללו מחייבת שהבטיחות תיחשב כחלק מתהליך העיצוב ולא כתשובה לבעיות לאחר ההשקה.

העתיד של AI עשוי לכן להיות תלוי פחות במהירות שבה מכונות הופכות ליותר מסוגלות ויותר באפקטיביות שבה בני אדם לומדים לנהל את היכולת ההולכת וגדלה הזו. ככל שהאוטונומיה הניתנת למערכות אינטליגנטיות תגדל, כך המנגנונים לפיקוח אנושי יצטרכו להיות חזקים ומהירים יותר.