לפני מספר שבועות הייתי בקניון כשהבחנתי באישה סוחבת תיק יד נהדר עם רצועה דמוית חבל. מכיוון שאני מחפש תיק חדש, שקלתי לשאול אותה מאיפה היא השיגה את זה. אבל לפני שהספקתי את הצעד שלי, היא נעלמה מעבר לפינה. כשהגעתי הביתה, ניסיתי googling את התיק. אבל אני לא אופנתיסטית, וגיליתי שלא היה לי את אוצר המילים לתאר את מה שראיתי. "תיק עור עם רצועת שרוך" לא היה בסדר. גם לא "ארנק עם ידית חבל" או "תיק עם רצועת חוט." בסופו של דבר ויתרתי.
כעת, טכנולוגיה חדשה שמטרתה לעזור לאנשים לחפש דברים שהם לא בהכרח יכולים לתאר במילים.
ג'יימס הייס, מדען מחשבים במכון הטכנולוגי בג'ורג'יה, יצר תוכנת מחשב המסוגלת להתאים תמונות מצוירות ביד לתצלומים. זה עשוי בסופו של דבר להוביל לתוכנית שיכולה לסרוק שירותי חיפוש תמונות באינטרנט, כגון תמונות Google, ולמצוא תמונות שתואמות במדויק את רישומי המשתמשים.
"המטרה היא להיות מסוגל לקשר או להתאים תמונות ורישומים לשני הכיוונים, ממש כמו יכול אדם", אומר הייס. "בן אנוש יכול לראות רישום שצייר בצורה לא טובה ולראות לאיזה תמונה נראה שהוא תואם. אנו רוצים שתהיה אותה יכולת חישובית. "
כדי ליצור את התוכנית, גייס הייס כמעט 700 עובדים מחברת אמזון מכניקת טורק, שוק ההשקעות במוצרי מכון התואמים עובדים עם אנשים הזקוקים למשימות. צוותו הראה לעובדים תמונות של חפצים ובעלי חיים רגילים, כמו סנאים, קומקומים ובננות, ומאפשר להם להסתכל על התמונה במשך שתי שניות. לאחר מכן העובד היה שואב את החפץ מהזיכרון. הצוות אסף בסופו של דבר יותר מ- 75, 000 רישומים של 12, 500 חפצים. הם קראו לזה "מסד הנתונים הסקיצים".
לאחר מכן, ניתחה התוכנית את הרישומים והתאמה להם עם התצלום שדומה ביותר. הטכנולוגיה זיהתה את התצלום הנכון 37 אחוז מהזמן. בני אדם, לעומת זאת, היו נכונים כ -54 אחוז מהזמן. אמנם 37 אחוזים אולי לא נראים מרשימים, אך למעשה מדובר בקפיצת מדרגה למחשבים.
"בני אדם כבר כל כך טובים בראייה, אנו מכירים תמונות ללא מאמץ", אומר הייס. "זה בעצם קשה באופן חישובי באופן מפתיע."
אחד האתגרים העיקריים בשיפור התוכנית הוא שרוב האנשים אמנים די מחורבנים. כפי שכתב Hays וצוותו בעיתון בנושא, "צורות ומאזניים מעוותים. חלקי החפץ הם קריקטורות (אוזניים גדולות על פיל), אנתרופומורפי (פה מחייך על עכביש), או מפושט (גפיים דמות מקל). "
מבחינה היסטורית, מחקר על הכנת מחשבים לזהות סקיצות התמקד בדברים כמו התפלגות קווים ברישום, הכיוון אליו נכנסים הקווים או היכן גבולות הרישום. אך מכיוון שבני האדם רק מציירים את מה שמובהק לבני אדם (עיניים, למשל, כלולים תמיד ברישומים, למרות שהם קטנים יחסית), חשוב שמחשב "ילמד" כיצד סקיצות נוטות להיות דומות ואיך הם נוטים להיות שונה מצילומים. לצורך כך התוכנית משתמשת בשתי רשתות נפרדות, אחת המעריכה סקיצות, כזו שמעריכה צילומים. על ידי ניתוח קבוע של מערך נתונים גדול, התוכנית יכולה "ללמוד" ברציפות.
הייס וצוותו מתכננים להמשיך ולשפר את התוכנית על ידי הוספת נתונים. ההתקדמות בלימוד מחשבים אמורה גם לסייע בשיפור שיעורי ההתאמה. נכון לעכשיו, לתוכנית קצב התאמה גבוה למדי כאשר משווים סקיצות למאגרי תמונות באינטרנט, כולל פליקר, אם כי קשה לכמת, אומר הייס.
בנוסף לחיפוש תמונות התמונות שאני כל כך זקוקה לו, לתוכנית יש מספר שימושים פחות פוטנציאליים קל דעת. המשטרה יכלה לסרוק רישומים חשודים ולהשוות אותם למאגר של תמונות פליליות. התוכנית יכולה לשמש אנשים שמדברים וכותבים בכל שפה, או שאינם יכולים לכתוב בכלל.
"מטרה אחת להבנת הסקיצות היא שהן שפה מעט אוניברסלית", אומר הייס. "זה לא קשור לשפה כתובה מסוימת וזה אפילו לא קשור לאוריינות. [תוכנית כזו יכולה להביא] גישה למידע ללא שפה כתובה. "
ניתן היה להשתמש בתוכנית גם באופן אומנותי, ליצירת סצנות פוטוריאליסטיות מתוך סקיצות. דמיינת תמיד לחיות בטירה בירח? צייר את זה והתוכנית יכולה יום אחד ליצור עבורך תמונת תמונה על ידי תפירה של חלקים אחרים של תמונות.
המידע שנאסף על ידי היי וצוותו יכול לעזור גם בטיפול בכמה שאלות בנושא מדעי המוח והפסיכולוגיה, אומר הייס.
"זוגות התצלומים הללו אומרים משהו על התפיסה האנושית, על מה שאנחנו חושבים שהוא בולט, אילו חלקים מתמונות מושכים את תשומת ליבנו, " אומר הייס. "במובנים מסוימים, מסד הנתונים הזה מקודד את זה די טוב. יכול להיות שיש להקניט משהו מזה, אם אתה רוצה לומר משהו על בני האדם עצמם. "
