עם מצלמה בכל כיס ותוכנה לזיהוי פנים המובנית בסמארטפונים וברשתות החברתיות שלנו, לפעמים קל לשכוח שלקח תמונות ולזהות פרצופים בהן לא תמיד היה כל כך פשוט. בין אם אבוד, פגום או פשוט ללא תווית, תהליך זיהוי האנשים בתמונות ישנות יכול להיות מייגע. אך כפי שגילה קורט לותר, פרופסור למדעי המחשב בווירג'יניה טק, החוויה יכולה להיות גם די מרגשת.
לותר היה בתערוכת "מלחמת האזרחים של פנסילבניה" שהתקיימה במרכז ההיסטוריה של הסנטור של ג'ון היינץ בפיטסבורג בשנת 2013, כשנתקל בתצלום של דודו הגדול-רבא, אוליבר קרוקסטון. הוא תיאר את ההתבוננות בתמונה, שהייתה התצלום המשפחתי העתיק ביותר שראה, כשעבר בזמן.
כבר חובב היסטוריה שהתעניין במלחמת האזרחים האמריקאית, הרגע שנתקע עם לותר והוא החל לתהות כיצד להביא את אותה חוויה לאלפי חובבי היסטוריה אחרים.
"התחלתי ללמוד יותר על צילום מלחמת אזרחים, " אומר לותר, "וכיצד לזהות [אנשים] באמצעות רמזים חזותיים שונים, כמו המדים, האותיות או מידע הסטודיו של הצלם. בינתיים עשיתי הרבה מחקר בתחום ההמונים פרופסור כפרופסור למדעי המחשב, וחשבתי שאולי יש דרך להפגיש בין שני הדברים האלה. "
לותר נתקל בתצלום של דודו הגדול-רבא, אוליבר קרוקסטון. (באדיבות אוסף קן טרנר) התוצאה היא תוכנה מקוונת וחינמית בשם מלחמת האזרחים Photo Sleuth המשתמשת במוצרי קהל ושירותי זיהוי פנים כדי לעזור למשתמשים לזהות נושאים לא ידועים בתצלומי תקופת מלחמת האזרחים. רגע לפני יציאתה הרשמית בשנת 2018, הטכנולוגיה זכתה הן בפרס הבכורה בסך 25, 000 דולר במסגרת אתגר המחקר Cloud AI של מיקרוסופט, על ניצול תוכנת זיהוי הפנים של מיקרוסופט, ופרס הדגמה הטובה ביותר בכנס אנוש המחשוב והצפיפות 2018. השבוע מציג לותר בכנס האגודה לממשקי משתמש אינטליגנטיים למכונות מחשוב בלוס אנג'לס.
Photo Sleuth, שתוכננה בעזרת סטודנטים לתארים מתקדמים לתואר ראשון בווירג'יניה טק, כולל הובלת הפרויקט ויקראם מוהנטי, ובשיתוף עם מחלקת ההיסטוריה של וירג'יניה טק, משתמשת בפוטו סלוה בגישה רב-עוצמתית כדי להציע את ההזדהות המדויקת ביותר.
השלב המכריע הראשון בתהליך היה בניית בסיס נתונים גדול של תמונות שכבר זוהו. עד כה, ב- Photo Sleuth יש בערך 17, 000 תמונות מזוהות, מארכיונים לאומיים כמו המכון להיסטוריה צבאית של ארה"ב וכן אוספים פרטיים, הכוללים לא רק חיילי מלחמת אזרחים, אלא גם אזרחים ואנשי צבא אחרים של התקופה.
לותר אומר כי התמזל מזלם של תמיכתם של קהילה נלהבת שכבר של היסטוריונים של מלחמת אזרחים עם גישה לתמונות אלה, מכיוון שללא בסיס איתן של תמונות שכבר זוהו, כמעט בלתי אפשרי היה שהתוכנה הייתה מועילה.
"זה לא כמו בשדה החלומות ", אומר לותר, "אם היינו משיקים את האתר ללא תמונות ופשוט קיווינו שהמשתמשים יוסיפו את כולם, היינו עומדים בפני בעיית ההתחלה הקרה שבה פשוט אין לך תוכן. "
מאגר התמונות המזוהות משמש תפקיד חיוני בסיוע למשתמשים לזהות תמונות שהם מעלים בעצמם. משתמשים מתייגים ידנית תכונות חזותיות מיוחדות, כגון צבע מעילים, שיער פנים או דרגות צבאיות, והתמונה עוברת באלגוריתם לזיהוי פנים כדי לנתח ולתחום יחסי פנים ייחודיים, כמו המרחק בין ציוני דרך כמו האף והעיניים. Photo Sleuth משווה את הנתונים החזותיים של התצלום הלא ידוע לתמונות שכבר זוהו בבסיס הנתונים ומציג למשתמש את מה שהוא חושב שההתאמות הטובות ביותר מבוססות על דמיון פנים ומידע הנגזר מהמטא נתונים האחרים, כמו חיילים שנראים כאילו הם נמצאים ב אותה יחידה בהתבסס על סמלי המדים שלהם. בעוד שהתוכנה נוקטת בצעדים מכוונים כדי להגביל את האפשרות לזיהוי כוזב, לותר אומר שבסופו של יום זה המשתמש שעליו לבצע את הזיהוי הסופי כאשר הוא יוצג בפני מיטב הניחושים של התוכנה.
"היינו מודאגים מאוד ממניעת זיהוי כוזב", אומר לותר, "מכיוון שכשמדברים על האינטרנט, ברגע שאתה שם קצת מידע שגוי שם, קשה מאוד להיפטר ממנו או לשנות אותו."
כדי להבטיח שהתוכנה שלהם מספקת למשתמשים את ההזדהות המוצעת הטובה ביותר האפשרית, לותר ביצע ניתוח בחודש הראשון של התוכנה להזדהות המוצעת בשיטות המתוארות בטורים שתרם למגזין ההיסטוריה של מלחמת האזרחים Military Images . דירוג ההזדהות מ'החלט לא התאמה ', ' כנראה לא התאמה ', ' כנראה התאמה ', ו'החלט התאמה', הניתוח מצא ש 85 אחוז מההזדהות המוצעת היו כנראה או בהחלט התאמה. בכנס השבוע אומר לותר כי הוא מתכוון להדגיש את ממצאי המחקר האחרון של הצוות בנושא Photo Sleuth, כולל תגלית שביצע דייב מורין, אספן תמונות של מלחמת האזרחים בניו המפשייר, על דיוקן של סגן שני שאינו מזוהה. . הצילום סליוט הציע שהאיש שבדיוקן היה וויליאם ה. בולדווין מהמהנדסים הראשון בניו יורק. מורין, שאישר כי בולדווין הוא יליד ניו המפשייר, אומר שמעולם לא היה מוצא את המהנדס הממלכתי גרניט המדובר ללא עזרתו של פוטו סלוט.
קורט לותר הוא פרופסור למדעי המחשב בווירג'יניה טק. (איימי לופלר) המחקר מדגיש גם את חוזקותיהם המשלימות של היסטוריונים אנושיים ואת התוכנה עצמה. למרות המאמצים הטובים ביותר, לותר אומר שהתוכנה יכולה להרחיק לכת רק בזיהוי התאמות נכונות ומסתמכת על משתמשים שיסייעו בזיהוי רמזים שנמצאים בנקודות העיוורות של אלגוריתם הפנים.
"[האלגוריתם] מאומן להכרת פנים כללית [על] תמונות מודרניות בעיקר", אומר לותר. "ל- AI קשה מאוד כאשר פנים מופנות לצד [בפרופיל]. זה סוג של דיוקן יוצא דופן בסטנדרטים של ימינו, אבל באמצע המאה ה -19 זה היה נפוץ. "
הצוות מצא כי המשתמשים הצליחו הרבה יותר מהאלגוריתם בלבד בזיהוי יצרנים ייחודיים אחרים כמו זקן וצלקות.
פטריק לואיס, היסטוריון של מלחמת אזרחים ועורך מנהל משאבים ומחקרים מדעיים בחברה ההיסטורית של קנטאקי, שלא היה חלק מהתפתחותו של פוטו סליוט, אומר כי צילום סלוט במלחמת האזרחים יהיה כלי נהדר לא רק להביא את הסיפורים הנשכחים האלה ל החיים אך כדי לעזור בבניית רשת שיתופית של היסטוריונים של מלחמות אזרחים ברחבי הארץ.
"אני אוהב להיכנס ולחפש בתמונות החדשות המתויגות של קנטאקי", אומר לואיס. "[ושאל] מי האנשים שנמצאים שם באיסוף? האם על אספני הפרט שלהם להיות מודע, והאם עלי ליצור קשר איתם כדי לבדוק אם יש להם חומרים אחרים שעשויים לעניין מחקר? "
הוא טרם התחבר לאספנים אישיים כלשהם באמצעות Photo Sleuth, אבל לואיס אומר כי האגודה ההיסטורית של קנטאקי עצמה פעלה לבניית רשומות של ארכיונים מקוונים ידועים וכי תוכנה כמו Photo Sleuth תשפר באופן דרמטי את יכולתם להמשיך בעבודה זו.
בהמשך, לותר אומר שהם מחפשים "להכפיל את [נקודות החוזק] האנושיות" של התוכנה, כולל להוסיף אפשרות "חוות דעת שנייה" שתאפשר למשתמשים מרובים לשתף פעולה בזיהוי הסופי של תמונה, כמו גם לעבוד. על הרחבת היקף גופני וניהול קהילתי בכדי להגדיל את בסיס המשתמש של Photo Sleuth. התוכנה תראה גם כמה מתיחות פנים, כולל פונקציה חדשה שתאפשר למשתמשים להעלות ולזהות אנשים בתמונה קבוצתית.
"המטרה הסופית שלנו היא לזהות כל תצלום לא ידוע של מלחמת אזרחים, " אומר לותר, "ולהגדיל וטוב יותר [Photo Sleuth], מכיוון ש -25, 000 תמונות הן רק טיפה בדלי."
