במהלך העשורים האחרונים פיתחו החוקרים באופן קבוע מכשירים שנועדו לתרגם את שפת הסימנים האמריקאית (ASL) לאנגלית, בתקווה להקל על התקשורת בין אנשים חירשים וכבדי שמיעה לבין עולם השמיעה. רבות מהטכנולוגיות הללו משתמשות בכפפות כדי לתפוס את תנועת החתימה, שיכולה להיות מגושמת ומביכה.
כעת, קבוצת חוקרים מאוניברסיטת מישיגן (MSU) פיתחה מכשיר חסר כפפות בגודל צינור צ'פסטיק שהם מקווים שישפר את התרגום ל- ASL לאנגלית.
הטכנולוגיה, המכונה DeepASL, משתמשת במכשיר מצלמה בכדי לתפוס תנועות ידיים, ואז מזינה את הנתונים באמצעות אלגוריתם למידה עמוק, התואם אותם לסימנים של ASL. שלא כמו מכשירים קודמים רבים, DeepASL יכול לתרגם משפטים שלמים ולא מילים בודדות, ואינו דורש מהמשתמשים להשהות בין סימנים.
"זו טכנולוגיה ממש לא פולשנית", אומר מי ג'אנג, פרופסור להנדסת חשמל ומחשבים שמוביל את המחקר.
ג'אנג וצוותו מקווים ש- DeepASL יוכלו לעזור לאנשים חירשים וכבדי שמיעה באמצעות מתרגם בזמן אמת. זה יכול להיות שימושי במיוחד במצבי חירום, אומר ג'אנג, כאשר ההמתנה למתרגם עשויה לעלות דקות יקרות. המכשיר, שניתן לשלב אותו בטלפון, טאבלט או מחשב, יכול לעזור גם בהוראת ASL, אומר ג'אנג. מכיוון שיותר מ 90 אחוז מהילדים החרשים נולדים להורים ששומעים, קיימת קהילה גדולה של מבוגרים שצריכים ללמוד ASL במהירות. DeepASL יכול לשמש מורה דיגיטלי, לתת משוב אם הלומדים חותמים נכון.
ג'אנג הגיש בקשה לפטנט ומקווה שיהיה מכשיר בשוק בתוך שנה. מכיוון שהיא מבוססת על טכנולוגיה משתלמת - מערכת לכידת התנועה של Leap Motion נמכרת במחיר של 78 דולר - היא עשויה להיות נגישה באופן נרחב יותר מהמאמצים הקודמים.
החוקרים Baii Fang ו- Mi Zhang מדגימים את DeepASL. (אוניברסיטת מישיגן) אולם כריסטיאן פוגלר, פרופסור ללימודי תקשורת באוניברסיטת גלווד, אוניברסיטה לאנשים חירשים או כבדי שמיעה, ספקן לגבי מכשירים שנועדו לתרגם ASL, והספקנות שלו משותפת לרבים בקהילה החרשת.
מכשירים בדרך כלל לא 'מתרגמים' ASL, אלא רק מזהים שלטי יד והופכים אותם למילה באנגלית לכל סימן, אומר פוגלר. המשמעות היא שאיבד מידע דקדוקי מרכזי, מידע אם ביטוי הוא שאלה, שלילה, סעיף יחסי וכן הלאה. בעוד ש- DeepASL מתרגם משפטים מלאים, תכונות מסוימות של דקדוקת ASL עוברות מעבר לסימני ידיים - הבעות פנים משמשות לרוב כמעצבים, הגבהת גבות יכולה להפוך ביטוי לשאלה, מיקום הגוף יכול להעיד מתי משתמש ה- ASL מצטט מישהו אחר.
עד כה, "אף אחת מהמערכות אפילו לא שימשה מרחוק לאנשים החותמים", אומר פוגלר, והוסיפה כי לעתים קרובות נראה כי לחוקרים יש "מעט מאוד קשר עם קהילת [חרשים וכבדי שמיעה] ומעט מאוד מושג לגבי האמיתי שלהם צרכי."
צוותו של ג'אנג לא בדק את המכשיר על אנשים חירשים וכבדי שמיעה, אלא על תלמידים בתוכנית תרגום לשפת הסימנים. ג'אנג מדגיש כי DeepASL נועד לאפשר רק תקשורת בסיסית בנקודה זו, וכי זהו רק מקום התחלתי. לדבריו, הצוות שלו מקווה להרחיב בעתיד את יכולותיו של DeepASL בכדי ללכוד גם הבעות פנים.
"זו תהיה אבן הדרך המשמעותית הבאה שאפשר להגיע אליה", הוא אומר.
פוגל אומר כי חיובי שטכנולוגיית MSU משתמשת בשיטות למידה עמוקות, שהצליחו בשפה מדוברת. אבל, למרות שאינו מצריך כפפה, ככל הנראה למכשיר יש אותן מלכודות של מערכת קודמת כלשהי, מכיוון שהוא לא תופס תנועות פנים וגוף.
פוגל חושב שחוקרים צריכים להתרחק מהרעיון שמכשירים לזיהוי שפת הסימנים באמת יכולים לענות על צורכי התקשורת האישית.
"יש לנו אפשרויות רבות להקל על תקשורת אישית, ועד שיהיה לנו משהו שמכבד בפועל את התכונות הלשוניות של שפות חתומות ואת התנהגויות התקשורת בפועל של חותמים, מאמצים אלה לא יתקרבו להחליף או להחליף אותם, " הוא אומר. "במקום זאת, אנשים צריכים לעבוד עם חברי קהילה בפועל, ועם אנשים שמבינים את המורכבות של שפות חתומות."
פוגל אומר שזה יעיל לטכנולוגיות זיהוי שפת הסימנים כמו MSU לעבוד עם ממשקי קול כמו אלכסה. צמיחת הממשקים הללו מהווה אתגר נגישות עבור אנשים חירשים וכבדי שמיעה, לדבריו, כמו שהאינטרנט - מדיום חזותי ברובו - מציב אתגר מרכזי עבור אנשים שעיוורים לאורך השנים.
"נכון לעכשיו אין לנו דרך יעילה ויעילה לקיים אינטראקציה עם ממשקי הקול האלה אם איננו מסוגלים, או לא רוצים להשתמש בקול שלנו", הוא אומר. "זיהוי שפת הסימנים הוא התאמה מושלמת למצב זה, וכזה שלמעשה יכול להיות מועיל ולהתרגל."
