עם התקדמות האלקטרוניקה ומדעי המוח, החוקרים הצליחו להשיג דברים ראויים לציון באמצעות מכשירי השתלת מוח, כמו למשל להחזיר מראה ראייה לעיוורים. בנוסף לשיקום החושים הגופניים, מדענים מחפשים דרכים חדשניות להקל על התקשורת עבור מי שאיבד את יכולת הדיבור. "מפענח" חדש המקבל נתונים מאלקטרודות שהושתלו בתוך הגולגולת, למשל, עשוי לעזור לחולים משותקים לדבר רק באמצעות מוחם.
חוקרים מאוניברסיטת קליפורניה, סן פרנסיסקו (UCSF) פיתחו שיטה דו-שלבית כדי להפוך אותות מוח לדיבור מסונתז ממוחשב. תוצאותיהם, שפורסמו השבוע בכתב העת המדעי Nature, מספקות דרך אפשרית לתקשורת זורמת יותר לאנשים שאיבדו את יכולת הדיבור.
במשך שנים מדענים מנסים לרתום את התשומות העצביות כדי להחזיר קול לאנשים שהנזק הנוירולוגי שלהם מונע מהם לדבר - כמו ניצולי שבץ מוחי או חולי ALS. עד כה, רבים מממשקי המוח והמחשב הללו מציגים גישה של מכתב אחר מכתב, בה מטופלים מניעים את עיניהם או את שרירי הפנים כדי להסביר את מחשבותיהם. (סטיבן הוקינג ביים במפורסם את סינתיסייזר הדיבור שלו באמצעות תנועות קטנות בלחיו.)
אבל ממשקים מסוגים אלה הם איטיים - מרבית החומרים המפיקים 10 מילים לדקה, חלק מהמהירות הדיבור הממוצעת של בני האדם של 150 מילים לדקה. לתקשורת מהירה ונוזלית יותר, חוקרי UCSF השתמשו באלגוריתמי למידה עמוקים כדי להפוך אותות עצביים למשפטים מדוברים.
"המוח שלם אצל חולים אלה, אך העצבים - המסלולים המובילים לזרועות, או לפה או לרגליים - נשברים. אנשים אלה בעלי יכולת קוגניטיבית גבוהה ויכולות, אך הם אינם יכולים לבצע משימות יומיומיות כמו לנוע או לומר דבר ", אומר גופלה אנומנציפלי, מחבר משותף למחקר החדש וחוקר עמיתים המתמחה בכירורגיה נוירולוגית ב- UCSF. "למעשה אנו עוקפים את המסלול המתקלקל."
החוקרים התחילו עם נתוני פעילות מוח ברזולוציה גבוהה שנאספו מחמישה מתנדבים במשך מספר שנים. המשתתפים הללו - שכולם היו בעלי תפקוד דיבור תקין - כבר עברו תהליך מעקב לטיפול באפילפסיה שכלל השתלת אלקטרודות ישירות למוחם. הצוות של צ'אנג השתמש באלקטרודות אלה כדי לעקוב אחר פעילות באזורים הקשורים לדיבור במוח כאשר המטופלים הקריאו מאות משפטים.
משם צוות UCSF ביצע תהליך דו-שלבי לשחזור המשפטים המדוברים. ראשית, הם יצרו מפענח כדי לפרש את דפוסי הפעילות המוחית שהוקלטו כהוראות להזזת חלקים ממערכת הקול הווירטואלית (כולל השפתיים, הלשון, הלסת והגרון). לאחר מכן הם פיתחו סינתיסייזר שהשתמש בתנועות הווירטואליות כדי לייצר שפה.
מחקרים אחרים ניסו לפענח מילים וצלילים ישירות מאותות עצביים, ודלגו על הצעד האמצעי של פענוח התנועה. עם זאת, מחקר שפרסמו חוקרי UCSF בשנה שעברה, טוען שמרכז הדיבור של המוח שלך מתמקד כיצד להעביר את דרכי הקול לייצור צלילים, ולא במה יהיו הצלילים שהתקבלו.
"דפוסי הפעילות המוחית במרכזי הדיבור מיועדים ספציפית לתיאום תנועות דרכי הקול, ורק בעקיפין קשורים לדיבור נשמעים עצמם", אדוארד צ'אנג, פרופסור לכירורגיה נוירולוגית ב- UCSF ושותף לעיתון החדש, אמר בתדרוך לעיתונות השבוע. "אנו מנסים בפירוש לפענח תנועות על מנת ליצור צלילים, לעומת פענוח ישיר של הצלילים."
דוגמה למערך השתלת מוח של אלקטרודות תוך-גולגוליות מהסוג המשמש להקלטת פעילות מוחית. (UCSF) בשיטה זו החוקרים הצליחו לבצע בהנדסה הפוכה מילים ומשפטים מפעילות מוחית שהתאימו באופן גס להקלטות האודיו של דיבור המשתתפים. כשביקשו מתנדבים בפלטפורמת הובלות מקוונות לנסות לזהות את המילים ולהעתיק משפטים באמצעות בנק מלים, רבים מהם יכלו להבין את הדיבור המדומה, אם כי הדיוק שלהם היה רחוק מלהיות מושלם. מתוך 101 משפטים מסונתזים, כ- 80 אחוז הועברו באופן מושלם על ידי מאזין אחד לפחות באמצעות בנק בן 25 מילים (שיעור זה צנח לכ- 60 אחוז כאשר גודל המילה בנק הוכפל).
קשה לומר כיצד התוצאות הללו משתוות לניסויי דיבור מסונתזים אחרים, אומר מארק סלוצקי, נוירולוג צפון-מערבי שלא היה מעורב במחקר החדש. סלוצקי עבד לאחרונה על מחקר דומה שהפיק מילים מסונתזות ישירות מאותות קליפת המוח, מבלי לפענח את תנועת דרכי הקול, ולדעתו איכות הדיבור שהתקבלה הייתה דומה - אם כי ההבדלים במדדי הביצועים מקשים על השוואה ישירה.
עם זאת, אחד ההיבטים המרגשים במחקר UCSF הוא שהמפענח יכול להכליל תוצאות מסוימות על פני המשתתפים, אומר סלוצקי. אתגר מרכזי למחקר מסוג זה הוא שהכשרת אלגוריתמי הפענוח מחייבת בדרך כלל את המשתתפים לדבר, אך הטכנולוגיה מיועדת לחולים שאינם יכולים עוד לדבר. היכולת להכליל חלק מאימוני האלגוריתם עשויה לאפשר עבודה נוספת עם חולים משותקים.
כדי להתמודד עם אתגר זה, החוקרים בדקו את המכשיר עם משתתף שהחיק בשקט את המשפטים במקום לדבר אותם בקול רם. אף שהמשפטים שהתקבלו לא היו מדויקים באותה מידה, החוקרים טוענים כי העובדה שהסינתזה הייתה אפשרית גם ללא דיבור קולי, היא בעלת השלכות מרגשות.
"זה היה ממש מדהים לגלות שאנחנו עדיין יכולים להפיק אות שמע ממעשה שלא יצר שמע בכלל", אמר ג'וש צ'טייר, מחבר מוביל במחקר וסטודנט לתואר שני בהנדסה ביו-אוניברסיטת UCSF. .
דימוי של מחבר המחקר Gopala Anumanchipalli, PhD, מחזיק דוגמה למערך אלקטרודות תוך גולגולתי מהסוג המשמש להקלטת פעילות מוחית במחקר הנוכחי. (UCSF) מטרה נוספת למחקר עתידי היא להמשיך בהדגמות בזמן אמת של המפענח, אומר אנומנציפלי. המחקר הנוכחי נועד כהוכחת מושג - המפענח פותח בנפרד מתהליך איסוף הנתונים, והצוות לא בדק את המהירות בזמן אמת של תרגום פעילות מוחית לדיבור מסונתז, אם כי זו תהיה המטרה הסופית של מכשיר קליני.
סינתזה בזמן אמת היא משהו שצריך שיפור כדי שמכשיר כזה יוכל להועיל בעתיד, אומר ג'ימי הנדרסון, נוירוכירורגית סטנפורד שלא היה מעורב במחקר. עם זאת, לדבריו, השיטה הדו-שלבית של הכותבים היא גישה חדשה ומלהיבה, והשימוש בטכנולוגיית למידה עמוקה עשוי לספק תובנות חדשות לגבי אופן פעולת הדיבור.
"בעיניי, הרעיון להתחיל לחקור את הבסיס הבסיסי לייצור הדיבור אצל אנשים הוא מאוד מרגש, " אומר הנדרסון. "[מחקר זה] מתחיל לחקור את אחת היכולות האנושיות ביותר שלנו ברמה הבסיסית."
