כ -500, 000 אמריקאים משתמשים בשפת הסימנים האמריקאית (ASL). עבור משתמשים חרשים של ASL, תקשורת עם אלה שאינם דוברי השפה יכולה להיות אתגר. אף שרוב האמריקאים ילידי החרשים לומדים שפה מדוברת באמצעות טיפולי דיבור, יש כאלה שעדיין מתקשים להפוך את עצמם להבנה מילולית, או פשוט מוצאים את שפת הסימנים בצורה זורמת יותר להביע את עצמם.
כעת, חוקרים מאוניברסיטת טקסס A&M פיתחו מכשיר לביש ש"מתרגם "את שפת הסימנים לאנגלית על ידי חישה בתנועות המשתמש. המכשיר, שעדיין בשלב אב-טיפוס, יכול לזהות כ -40 שלטי ASL ברמת דיוק של 96 אחוז.
המערכת משתמשת בשני חיישנים. האחד הוא חיישן תנועה עם מד תאוצה וג'ירוסקופ, המודד את מהירות זווית היד והזרוע של המשתמש. על ידי תחושה היכן הידיים והזרועות של המשתמש נמצאות, הוא יכול להתחיל לנחש איזו מילה הוא עשוי לחתום. ואז יש חיישן אלקטרומיאוגרפי, המודד את הפוטנציאל החשמלי של תנועת השרירים. זה יכול לדעת בדיוק איזה חלק של הידיים והאצבעות נעים, וזה קריטי.
"אם אתה מסתכל על אוצר המילים האמריקני בשפת הסימנים, ישנם מקרים שהיד עצמה זזה ואז יש לך תנועה עדינה מאוד של האצבעות", אומר רוזבה ג'פרי, המהנדס שהוביל את הפרויקט. "אם אתה רוצה לזהות את אלה, אתה לא תוכל להשתמש רק בתנועת היד."
לדוגמה, המילה "בבקשה" ב- ASL כוללת יצירת מעגלים על החזה שלך ביד פתוחה. המילה "סליחה" משתמשת בתנועה זהה, אך היד סגורה באגרוף.
החיישנים נלבשים על מפרק כף היד הימני של המשתמש. המידע שנאסף נשלח באמצעות Bluetooth למחשב נייד. מחשב נייד זה מריץ אלגוריתם לפרשנות השלט ומציג את המילה באנגלית על המסך.
בסופו של דבר, ג'פרי מקווה לשלול את הצורך במחשב הנייד על ידי שילוב מחשב קטן ישירות במכשיר. לאחר מכן המחשב יכול לשלוח את המילים האנגלית לטלפון של אדם אחר, כך שיוכלו לקרוא את מה שבן זוג השיחה אומר.
ברור שהמתרגם יצטרך גם להיות בקיא בסימנים הרבה יותר מ- 40 כדי להיות מוצר בר-קיימא. בעוד שיש מאות שלטי ASL, 40 הסימנים המקוריים נבחרו מכיוון שהם נפוצים ושימושיים, אומר ג'פרי. אדם יכול להשתמש בהם בכדי לומר משפטים פשוטים וחיוניים כמו "אני זקוק למים." המכשיר יצטרך גם להגיע מהר יותר - כרגע המשתמשים צריכים להשהות בין מילים כדי לתת לו זמן לתרגם.
"במציאות אנשים לא מדברים ככה", אומר ג'פרי.
אבל המערכת המתקדמת יותר הזו, לדבריו, היא דרכים במורד הקו והיא תערוך יותר עבודה ומימון.
טכנולוגיות תרגום קודמות של ASL השתמשו במצלמות לקריאת המחוות. אבל אלה לא עובדים טוב בתנאי תאורה נמוכים, אומר ג'פרי. בנוסף, אנשים רבים לא אוהבים את הרעיון של מצלמה שתצפה בהם כל הזמן.
מספר טכנולוגיות אחרות נוצרו בשנים האחרונות כדי לעזור לחירשים ושומעים לתקשר זה עם זה. אפליקציה בשם Transcense, שיצאה בשנה שעברה, מתרגמת דיבור מרובים אנשים למילים כתובות ומציגה אותם על המסך בבועות עם קידוד צבע. זה נועד לעזור לחירשים במפגשים או במצבים חברתיים, שבהם מספר דוברים יכולים להוות אתגר אפילו לקוראי השפתיים המיומנים ביותר. חברה אחרת, MotionSavvy, עבדה על טאבלט שמפרש את תנועות ה- ASL וקורא את המילים בקול רם באנגלית. בסין, החוקרים השתמשו בציוד חישה תנועה של מיקרוסופט על מנת לתרגם את שפת הסימנים הסינית למילים מדוברות וכתובות.
כמי שכבר מזמן עבד עם טכנולוגיות לבישות, כמו שעונים המפקחים על קצב הלב, ג'פרי מבין את חשיבות הנוחות והאסתטיקה. אם מכשיר אינו נוח ומכשיל, אנשים לא ילבשו אותו. אב הטיפוס הנוכחי של מכשיר התרגום לשפת הסימנים נראה כמו כלי רפואי, עם אלקטרודות ורצועות וחוטים. ג'פרי רוצה שהגרסה הסופית תהיה קטנה ומושכת.
"אני רוצה לגרום לכל המערכת להתאים לשעון, " הוא אומר.
