קשה להתווכח נגד כוחו של המדע. ממחקרים המעריכים את המגמה התזונתית האחרונה ועד ניסויים שמאירים מנבאים לאושר, אנשים הגיעו יותר ויותר להתייחס לתוצאות מדעיות כעובדות קונקרטיות ואמינות שיכולות לשלוט באופן בו אנו חושבים ופועלים.
תוכן קשור
- מדענים שכפלו 100 מחקרי פסיכולוגיה, ופחות מחציתם השיגו תוצאות זהות
אך במהלך השנים האחרונות, תלוי הולך וגובר של מדענים החל להטיל ספק באמיתותם המקובלת של מחקרים שפורסמו - גם לאחר שזה פינה את מכשולי ביקורת העמיתים ומופיע בכתבי-עת מכובדים. הבעיה היא חוסר יכולת מוחלט לשכפל חלק גדול מהתוצאות על פני תחומים רבים.
בשנת 2005, למשל, ג'ון יואנידיס, פרופסור לרפואה באוניברסיטת סטנפורד, השתמש בכמה סימולציות כדי להראות שטענות מדעיות נוטות יותר לשווא מאשר נכונות. ובקיץ האחרון בריאן נוסק, פרופסור לפסיכולוגיה באוניברסיטת וירג'יניה, ניסה לשכפל את ממצאי 100 מחקרי הפסיכולוגיה וגילה שרק 39 אחוז מהתוצאות התקיימו בבדיקה מחודשת.
"ישנן מספר שורות של ראיות, תיאורטיות ואמפיריות כאחד, שהחלו להביא לשחזור של קטע משמעותי של ספרות מדעית בספק, " אומר יואנידיס. "אנחנו מקבלים מיליוני עיתונים שלא מגיעים לשום מקום."
ממצאים ראשוניים אלה הולידו יצירת תחום חדש לחלוטין בשם meta-research - המחקר המדעי של המדע.
השבוע השיקה זרוע הביולוגיה של הספרייה הציבורית למדע (PLOS), ארגון מו"לים וייעוץ למלכ"רים, מדור חדש שמוקדש אך ורק למחקר מטא. המדור יבחן סוגיות כמו שקיפות במחקר, סטנדרטים מתודולוגיים, מקורות להטיה, שיתוף נתונים, מימון ומבני תמריץ.
כדי לבטל את העניינים, יואנידיס ועמיתיו העריכו מדגם אקראי של 441 מאמרים ביו-רפואיים שפורסמו בין השנים 2000-2004. הם בדקו אם מאמרים אלה סיפקו גישה ציבורית לנתונים גולמיים ופרוטוקולים ניסויים, ששוכפלו במחקרים הבאים, האם כל התוצאות שלהם השתלבו במערכת ביקורות על תחום נושא וכללו תיעוד של מקורות מימון וסכסוכים פוטנציאליים אחרים.
התוצאות שלהם היו מטרידות בלשון המעטה. למשל, רק מחקר אחד סיפק פרוטוקולים ניסויים מלאים, ואפס מחקרים סיפקו נתונים גולמיים זמינים ישירות.
"אלה שני עמודי תווך בסיסיים לשחזור, " אומר יואנידיס. "אלא אם קיימים נתונים והפרוטוקול המלא, אי אפשר באמת לשחזר כלום." אחרי הכל, בלי מידע מפתח זה, כיצד צוות אחר יכול לדעת בדיוק מה לעשות ואיך התוצאות שלהם שונות מהתוצאות שבניסוי המקורי?
הצוות גם מצא כי הטענות של שמונה בלבד מהמאמרים שנסקרו אושרו לאחר מכן על ידי מחקרים הבאים. ואף על פי שרבים מהמחקרים טענו שיש להם ממצאים חדשים, תוצאותיהם של 16 מאמרים בלבד נכללו במאמרי סקירה מאוחרים יותר, המשמשים מבחן לקמוס להשפעה האמיתית של מחקר בנושא מסוים.
"המספרים שאנחנו מקבלים הם די מפחידים, " אומר יואנידיס, "אבל אתה יכול לראות את זה כנקודת הבסיס של המקום בו אנו נמצאים כעת, ויש מספיק מקום לשיפור."
עם זאת, לא כל התוצאות היו מייאשות. אחוז המאמרים ללא הצהרת ניגוד עניינים ירד מ 94.4 אחוזים בשנת 2000 ל 34.6 אחוזים בשנת 2014 - ככל הנראה תוצאה של מודעות הולכת וגוברת להשפעות המזיקות של הטיה על תוצאות המחקר.
במחקר מטה-מחקר שני, צוות גרמני ניתח כיצד אובדן של נבדקים בבעלי חיים במהלך ניסויים פרה-קליניים עשוי לתרום לחוסר היכולת הרחב לתרגם ממצאי מעבדה לתרופות קליניות שימושיות.
חיות מחקר עלולות להיעלם ממחקר באופן אקראי - למשל בגלל שהחיה מתה - או באמצעות פעולות מוטות בעדינות, כמו הוצאת מהניסוי כדי לחסל נתונים שמערערים את התוצאות הצפויות. הצוות הדגים כי הסרתם המוטה של נבדקים בבעלי חיים יכולה להסיט תוצאות ולהגדיל באופן משמעותי את הסבירות לחיובית כוזבת - כשמדובר שתרופה חדשה עובדת אך למעשה לא.
בניתוח נפרד של מחקרים פרה-קליניים על אירוע מוחי וסרטן, אותם החוקרים מצאו כי מרבית העיתונים לא דיווחו כראוי על אובדן הנבדקים בבעלי חיים, וכי ניתן להעריך במידה רבה את ההשפעות החיוביות של תרופות רבות שנבדקו.
אז מדוע המשבר הזה בשקיפות ושעתוק מתרחש מלכתחילה?
בעוד סוגיות מסוימות עשויות להטות הטיות מחקריות מודעות או לא מודעות, סביר להניח שרוב המחקרים המגיעים לפרסום הם מסוג אחד עקב מבנה התמריצים הנוכחי במדע.
בעולם הצוואר של האקדמיה, המדד העיקרי להצלחה הוא מספר המחקרים שמקבל חוקר בכתבי עת יוקרתיים. כתוצאה מכך, מדענים נמצאים בלחץ לבזבז את רוב זמנם בהשגת סוגים של תוצאות פריצת דרך שסביר להניח כי יתפרסמו.
"אמנם אנו מעריכים את ההעתקה במושג, אך אנו לא באמת מעריכים זאת בפועל", אומר נוסק, שהוא גם מנהל משותף של המרכז למדע פתוח, סטארט-אפ טכנולוגי ללא מטרות רווח הפועל לטפח שקיפות ושחזור במחקר מדעי.
"התמריצים האמיתיים המניעים את התנהגותי כמדען הם לחדש, לגלות תגליות חדשות ולפרוץ דרך חדשה - לא לחזור על מה שאחרים עשו. זה החלק המשעמם במדע. "
מדענים רואים גם תמריצים מעטים לספק את המידע הדרוש לאחרים כדי לשכפל את עבודתם, וזו אחת הסיבות העיקריות לכך שטענותיהם של מחקרים רבים כל כך לא מאומתים.
"אני לא מתוגמל על כך שנגישתי את הנתונים שלי או איברתי את המתודולוגיה שלי בעומק רב יותר מהנדרש בכדי להיכנס לפרסום", אומר נוסק.
כתבי עת רבים אכן מבקשים מהמדענים לספק הסבר מפורט על שיטותיהם ולחלוק נתונים, אך לעיתים רחוקות מדיניות זו נאכפת ואין תקני פרסום אוניברסליים.
"אם הייתי יודע שמעולם לא יהיו שוטרים בכבישים, האם הייתי תמיד דבוק במהירות המותרת? לא - זה טבע אנושי, "אומר איבן אורנסקי, מייסד שותף של Retract Watch, ארגון המקדם אחריות ושקיפות על ידי מעקב אחר נסיגות בספרות המדעית. "אם אתה יודע שאף אחד לא ינקה אותך, אתה לא מתכוון לשתף נתונים."
מדענים שרוצים לבצע עבודות שכפול ומסוגלים להשיג פרטים ניסויים, סביר להניח כי הם לא ימצאו מימון מגורמים ציבוריים כמו ה- NIH, אשר שופטים בעיקר מענק בקשות על בסיס חידוש וחדשנות.
"הסיכויים הם בבירור נגד שכפול, " אומר יואנידיס.
שם יכול התחום המתפתח של מטה-מחקר להיכנס פנימה. ארגונים כמו המרכז למדע פתוח ומרכז החדשנות למטרות מחקר בסטנפורד (METRICS) פועלים לסייע בהתאמת מערכת התגמול וקביעת סטנדרטים אוניברסליים מחמירים שיעודדו נפוצה יותר. שיטות שקיפות ושחזור
"אם רמות המימון או הקידום היו תלויים במה שקרה למחקר הקודם שלך - אם ניתן היה לשכפל אותו, אם אנשים היו יכולים להבין את זה, אם אנשים היו יכולים לתרגם את זה למשהו מועיל ולא רק לכמה מאמרים פרסמת - זה יהיה תמריץ חזק מאוד לשנות את המחקר כדי להפוך לשחזור יותר, "אומר יואנידיס, שהוא מנכ"ל משותף ב- METRICS.
"אני מקווה שהמדדים הללו ישתפרו, " הוא מוסיף. "ולחלקם אין אפשרות אחרת אלא לעלות, כי אנחנו מתחילים מאפס."
