צ'אטבוטים מזדקנים מראים סימנים של דמנציה, בדיוק כמו בני אדם!

Sunday 05 January 2025 - 15:00

מחקר חדש מראה שכמה צ'אטבוטים מובילים של AI מראים סימנים ברורים של פגיעה קוגניטיבית קלה.

כמו אצל בני אדם, ההשפעות הופכות בולטות יותר ככל שצ'אטבוטים מתבגרים, כאשר מודלים ישנים וגדולים יותר של שפות מתפקדים פחות טוב.

המחקר פורסם בכתב העת "The BMJ" ומטרתו להבהיר כי הטכנולוגיה אינה יעילה דיה לשימוש בתחום הרפואי, במיוחד באבחון, על פי דיווח מאתר "פוטוריזם".

החוקרים שמאחורי המחקר אמרו כי הממצאים מעמידים בסימן שאלה את "ההשערה שבינה מלאכותית תחליף בקרוב רופאים אנושיים, שכן החולשות הקוגניטיביות לכאורה של צ'אטבוטים מובילים עלולות להשפיע על מהימנותם האבחנתית הרפואית".

הצ'אטבוטים שנבדקו במחקר זה היו "GPT-4" ו-"GPT-4o" מ-OpenAI, "Claude 3.5 Sonnet" מ-Anthropic ו-"Gemini 1.0" ו-"Gemini 1.5" מגוגל.

צ'אטבוטים אלו שימשו עבור ההערכה הקוגניטיבית של מונטריאול (MoCA), מבחן שנועד לזהות סימנים מוקדמים של דמנציה שבהם ציונים גבוהים יותר מצביעים על יכולת קוגניטיבית גבוהה יותר.

"GPT-4o" קיבל את הציון הגבוה ביותר (26 נקודות מתוך 30, שזה כמעט הגבול התחתון של מה שנורמלי), בעוד הרובוטים "ג'מיני" קיבלו את הציון הנמוך ביותר (16 נקודות מתוך 30).

למרות שכל הצ'אטבוטים הצטיינו ברוב סוגי המשימות, כל אחד מהם ביצע בצורה גרועה במשימות חזותיות-מרחביות וביצועיות, כמו שרטוט קו בין מספרים מעגליים בסדר עולה.

כמו כן, הוכח שציור שעון המראה זמן מדויק קשה מאוד לבינה מלאכותית. דגמי הג'מיני נכשלו לחלוטין במשימת אחזור מושהה פשוטה למדי, שכללה שינון של רצף של חמש מילים.