מחשבים שלטו בבני אדם במשחקים אחד על אחד כמו שחמט במשך עשרות שנים, אבל קבלת אינטליגנציה מלאכותית (AI) לשתף פעולה עם חברי הצוות זה קצת קשה יותר. כעת, חוקרים בפרויקט DeepMind של גוגל לימדו את שחקני AI לעבוד יחד בצוותים עם בני אדם וגם מחשבים אחרים כדי להתמודד במשחק הווידיאו Quake III Arena משנת 1999.
אדד ג'נט במדע מדווח שכאשר ל- AI יש רק יריב אחד, הוא בדרך כלל מצליח למדי מכיוון שהוא רק צופה מהלכים אפשריים של מוח יחיד. אבל עבודת צוות היא עניין אחר לגמרי מכיוון שהיא כוללת פעולות שמחשבים לא טובים בהן באופן מסורתי, כמו לחזות כיצד קבוצה של חברי צוות תתנהג. כדי להפוך את ה- AI למועיל באמת, עליו ללמוד כיצד לשתף פעולה עם אינטליגנציות אחרות.
צוות DeepMind של גוגל מסביר בפוסט בבלוג:
"מיליארדי אנשים מאכלסים את כדור הארץ, לכל אחד מהם היעדים והפעולות האישי שלהם, אך עדיין מסוגלים להיפגש דרך צוותים, ארגונים וחברות במיצגים מרשימים של אינטליגנציה קולקטיבית. זוהי הגדרה שאנו מכנים למידה מרובת סוכנים: סוכנים בודדים רבים חייבים לפעול באופן עצמאי, ובכל זאת ללמוד ליצור אינטראקציה ולשתף פעולה עם סוכנים אחרים. זו בעיה קשה ביותר - מכיוון שעם סוכנים המותאמים יחד העולם משתנה ללא הרף. "
משחקי וידיאו מרובי-שחקנים מגוף ראשון, בהם צוותי שחקנים מתרוצצים בעולמות וירטואליים, בדרך כלל יורים באקדחים זה בזה או אחר, הם המקום המושלם עבור AI ללמוד את המורכבות של עבודת צוות. על כל שחקן לפעול באופן אינדיבידואלי ולעשות בחירות המיטיבות עם הקבוצה כולה.
לצורך המחקר אימן הצוות את ה- AI לשחק בכידת הדגל במצע Quake III Arena . הכללים פשוטים למדי: שתי קבוצות פונות לשדה קרב דמוי מבוך. המטרה היא לתפוס כמה שיותר מצוותים האחרים דגלים וירטואליים תוך הגנה על שלהם, וכל הצוות שתופס הכי הרבה דגלים בחמש דקות מנצח. אולם בפועל הדברים יכולים להסתבך מהר מאוד.
צוות DeepMind יצר 30 אלגוריתמים רשתיים עצביים והכריחו אותם להילחם זה בזה בסדרה של מפות משחק שנוצרו באופן אקראי. הבוטים קלעו נקודות על ידי תפיסת דגלים ומיפוי שחקנים אחרים, החזרתם חזרה לאזור שנשבה מחדש שם הדמות שלהם מופעלת מחדש. בתחילה, פעולות הבוטים נראו אקראיות. עם זאת, ככל שהם שיחקו יותר, הם היו טובים יותר. כל הרשתות העצביות שאיבדו באופן עקבי הוחלפו והוחלפו בגרסאות משתנות של ה- AI המנצח בסוף 450, 000 משחקים, הכתירה הקבוצה רשת עצבית אחת - המכונה בשם ה- Win (FTW) - כמו האלופה.
קבוצת DeepMind שיחקה באלגוריתם ה- FTW נגד מה שמכונה בוטים במראה, אשר חסרים כישורי למידה של AI ואז גם נגד צוותים אנושיים. FTW ריסק את כל האתגרים.
הקבוצה ערכה אז טורניר בו התאמה 40 שחקנים אנושיים באופן אקראי כשני חברי הקבוצה והן כמתנגדי הבוט. על פי הפוסט בבלוג, שחקנים אנושיים מצאו שהבוטים היו יותר שיתופיים מחבריהם לקבוצה האמיתית. שחקנים אנושיים בשילוב עם סוכני FTW הצליחו לנצח את לוחמי הסייבר בכ -5 אחוזים מההתאמות.
כפי שנודע להם, הבוטים גילו כמה אסטרטגיות שאומצו על ידי שחקנים אנושיים זמן רב, כמו להסתובב ליד נקודת הנשמה של הדגל כדי לתפוס אותה כשתופיע שוב. צוותי FTW מצאו גם באג שהם יכולים לנצל: אם הם יורים בחבר הצוות שלהם מאחור, זה נתן להם דחיפה מהירה, דבר שהם השתמשו ביתרון שלהם.
"מה שהיה מדהים במהלך פיתוח הפרויקט הזה היה לראות את הופעתן של כמה מהתנהגויות ברמה הגבוהה הזו", אומר חוקר DeepMind והסופר הראשי מקס ג'דרברג לג'נט. "אלה דברים שאנחנו יכולים להתייחס אליהם כשחקנים אנושיים."
אחת הסיבות העיקריות לכך שהבוטים היו טובים יותר משחקנים אנושיים היא שהם היו אנשי חותם מהירים ומדויקים, מה שהפך אותם למהירים יותר בתיקו מאשר מתנגדיהם האנושיים. אבל זה לא היה הגורם היחיד להצלחה שלהם. על פי הבלוג, כאשר החוקרים בנו תוך זמן קצר את התגובה לעובדי רובו, האנשים הטובים ביותר עדיין יכלו לנצח אותם בערך 21 אחוז מהזמן.
מאז המחקר הראשוני הזה, FTW וצאצאיו שוחררו בשדה הקרב המלא של Quake III Arena, והראו שהם יכולים לשלוט בעולם מורכב עוד יותר עם יותר אפשרויות וניואנסים. הם גם יצרו בוט שמצטיין במשחק האסטרטגיה האולטרה מורכב Starcraft II.
אולם המחקר לא נועד רק ליצור אלגוריתמים טובים יותר למשחקי וידאו. לימוד על עבודת צוות עשוי בסופו של דבר לעזור ל- AI לעבוד בצי מכוניות המונעות על עצמן או אולי יום אחד להפוך לעוזרים רובוטיים העוזרים לצפות את צרכיהם של המנתחים, מדווח ג'נט של Science .
אולם לא כולם חושבים שהרובוטים של כוכב ארקייד מייצגים עבודת צוות אמיתית. חוקר AI מארק רידל מג'ורג'יה טק אומר לניו יורק טיימס כי הבוטים כל כך טובים במשחק מכיוון שכל אחד מבין לעומק את האסטרטגיות. אבל זה לא בהכרח שיתוף פעולה מכיוון שצוותי AI חסרים אלמנט מכריע אחד בעבודת צוות אנושית: תקשורת ושיתוף פעולה מכוון.
וכמובן, הם גם חסרים את הסימן ההיכר האחר של חוויית משחקי הווידיאו השיתופיים: זבל שמדבר את הקבוצה השנייה.
