افزایش بحران تکرارپذیری علم در نشریه‌های معتبر

از مهم‌ترین مشخصه‌های یک پژوهش علمی معتبر می‌توان به شفافیت روش و قابلیت تکرارپذیری نتایج، اشاره کرد. یعنی پژوهشگرانی که مهارت‌ها و توانایی‌های مشابهی داشته باشند بتوانند به نتایج مشابهی دست یابند. اما مدتی است که توجه‌ها به سوی «بحران تکرارپذیری» جلب شده است و در بعضی علوم مانند روان‌شناسی و پزشکی بیشتر است. در یک نظرسنجی‌ که توسط نشریه‌ی نیچر انجام شد، سوال‌هایی درمورد بحران تکرارپذیری از حدود ۱۶۰۰ پژوهشگر در حوزه‌های مختلف پرسیده شد. نیمی از پاسخ‌دهندگان معتقد به وجود بحران جدی تکرارپذیری در علوم بودند. ۴۰٪ دیگر معتقد به وجود بحران خفیف تکرارپذیری بودند. فقط ۱۰٪ آن‌ها مطلع نبودند یا معتقد بودند چنین بحرانی وجود ندارد.

وقتی از آن‌ها درباره‌ی دلایل ایجاد این بحران پرسیده شد، اکثر آنها معتقد بودند که فشار برای انتشار سریع نتیجه‌ی پژوهش و همین‌طور گزارش انتخابی، از عوامل همیشه حاضر هستند. افزایش رقابت برای دریافت فرصت‌ها و موقعیت‌های دانشگاهی و روند دست‌و‌پاگیر اداری و اجرایی، پژوهشگران را در وضعیت کمبود وقت و منابع دائمی قرار داده است. اما بخشی از این بحران نیز به ایرادهای موجود در برخی روش‌های مرسوم در طراحی تجربه‌ها مربوط می‌شود. به‌عنوان مثال اگر به روش متداول «آزمایش تصادفی کنترل‌شده» که کاربرد گسترده‌ای در کارآزمایی‌های بالینی دارد، توجه کنیم؛ در این روش، داوطلبان به صورت تصادفی به دو یا چند گروه تقسیم می‌شوند: گروه اول تحت درمان مورد آزمایش قرار می‌گیرند (گروه تحت آزمایش) و گروه دوم تحت درمان قرار نمی‌گیرند ولی وضعیت آن‌ها جهت مقایسه زیر نظر گرفته می‌شود (گروه کنترل). در نهایت، نتایج گروه تحت آزمایش و گروه کنترل با هم مقایسه می‌شوند و روابط علت و معلولی بین درمان و پاسخ به آن بررسی می‌شوند.

این نوع پژوهش‌ها  به صورت گسترده‌ای برای بررسی تأثیرات، موارد ایمنی، خطرات احتمالی و در مجموع کارآیی داروها و رویه‌های درمانی جدید به‌کار گرفته می‌شوند و قوانین بهداشتی کشورها و معیارهای رسمی دارویی-درمانی آن‌ها نیز تا حد زیادی از آن‌ها تأثیر می‌گیرند. فرض بنیادینی که صحت این روش را تضمین می‌کند این است که دو گروه باید به گونه‌ای انتخاب شوند که قابل مقایسه باشند یعنی نوع و پراکندگی خصوصیت‌های اعضای آن‌ها با یکدیگر قابل مقایسه باشد؛ حداقل تا جایی که به پیش‌زمینه‌ها و عواملی که می‌توانند روی نتیجه‌ی کارآزمایی تاثیر بگذارند مربوط می‌شود. واضح است که در حوزه‌های مربوط به انسان و جامعه این کار دشوار و تقریبا ناممکن است، چرا که سوابق و خصوصیت‌های افراد منحصر به فرد است و تعداد عواملی که می‌توانند روی نتیجه‌ی کارآزمایی تاثیر بگذارند بسیار زیاد است. بنابراین محققان چاره‌ای جز ساده‌سازی و چشم‌پوشی از بخشی از این عوامل ندارند. اما آیا این ساده‌سازی‌ها و چشم‌پوشی‌ها منجر به تولید نتایج قابل اعتماد و تکرارپذیر می‌شوند؟

مقاله‌ای که اخیرا در یکی از ژورنال‌های معتبر پزشکی منتشر شد، زنگ خطر را به صدا در آورده است. نویسنده ۱۰ مورد از پر ارجاع‌ترین مقاله‌ها در حوزه‌ی پزشکی را که همه‌ی آنها از روش «آزمایش تصادفی کنترل‌شده» استفاده کرده‌اند، بررسی کرده است. بر اساس این پژوهش، در مقاله‌های یاد شده خصوصیت‌‌های زمینه‌ای داوطلبان که می‌توانند نتایج را تغییر دهند معمولا به‌صورت نامطلوبی بین گروه‌های کارآزمایی تقسیم شده‌اند و کارآزمایی‌ها معمولا عوامل دیگری را که می‌توانند روی نتایج گزارش ‌شده‌شان تاثیر بگذارند نادیده گرفته‌اند. اگر این یافته درست باشد، تحقیقات گسترده‌ای که طی سال‌ها با استفاده از این روش انجام شده‌اند فاقد اعتبار می‌گردد و باید مورد ارزیابی دوباره قرار بگیرند. این یعنی کارآیی و خطرات احتمالی بسیاری از داروها و شیوه‌های درمانی که بر اساس این نوع تحقیقات ارزیابی شده‌اند زیر سوال خواهد رفت. این پژوهش در ژورنال نیچر منتشر شده است.

بحران تکرارپذیری به معنای افزایش تعداد پژوهش‌هایی است که کسی قادر به تکرار نتایج آن‌ها نیست. این نتایج حتی وقتی در ژورنال‌های علمی منتشر می‌شوند محدود به شرایط منحصر به فرد حاکم بر تحقیق انجام شده هستند، در نتیجه قابل تکرار و تعمیم نیست و ارتباط چندانی با موضوع ادعایی ندارند. در شرایطی که روز به روز به پیچیدگی تجربه‌ها، اندازه‌گیری‌ها و تحلیل‌ها افزوده می‌شود، کار محققان علوم تجربی نیز برای تولید نتایج تکرارپذیر و قابل اعتماد دشوارتر و دشوارتر می‌شود. تکرار کردن در علم اهمیت بالایی دارد. برای اینکه اطمینان بیشتری نسبت به نتایج پژوهش داشته باشیم، باید آن‌را تکرار کرد تا به نتایج مشابهی دست یافت. تمامی دانشمندان درباره‌ی نحوه‌ی تفسیر نتایج توافق نظر ندارند‌؛ اما وقتی روشی بیش از یک مجموعه‌داده تولید می‌کند، اطمینان در آزمایش تا حد زیادی کاهش می‌یابد.

در سال‌های اخیر، علم روانشناسی با بحران تکرارپذیری دچار چالش‌هایی شده است. یعنی آزمایش‌های تکرار شده و غالبا تاثیرگذار به مشاهده‌های یکسانی نمی‌رسند. شاید گذاشتن نام بحران بر روی آن مقدری اغراق‌آمیز باشد، اما بررسی انجام شده در سال گذشته توسط مجله‌ی Nature مشخص کرد که بیش از ۱،۵۷۶ پژوهشگر ادعا کردند که مشکلی مهم وجود دارد. از پنج مطالعه‌ی کلیدی، دو مورد به‌صورت رضایت بخش تکرار شد؛ دو مورد با مشکلات فنی گیج‌کننده‌ای روبه‌رو شد و یک مورد هم اصلا تکرار نشد. چنان‌که از وخیم بودن نتایج پیداست، دانستن نحوه‌ی تفسیر نتایج هم کار سختی است. از طرفی، اطمینان ما نسبت به مفید بودن چنین پژوهشی باید دچار لغزش شود. اما برخی از پیچیده بودن علم سخن به میان آورده‌اند. چارلز سایر، ویراستار eLIFE و زیست‌شناس سرطان در ماه ژانویه اعلام کرده بود، افراد همیشه این نظرات بی‌معنی را مطرح می‌کنند که تکرارپذیری در علم وجود ندارد.

پژوهشگران به بررسی گزارش «جهش‌های یافت شده در برخی انواع سرطان خون و سرطان مغز»، منتشر شده در مجله‌ی Cancer Cell on mutations و مقاله‌ای دیگر به‌نام «بازدارنده‌ای که جلوی تقسیم سلول‌های سرطان خون را می‌گیرد»، پرداختند. هر دوی این مقاله‌ها توانستند بخش‌های مهمی از پژوهش‌های قبلی را تکرار کنند. یعنی تاکنون چهار مورد از هفت آزمایش، موفق به پشتیبانی از یافته‌ها شده‌اند. اما همه‌ی نتایج عالی نبود؛ هرچند آن بازدارنده‌ی یاد شده به کاهش رشد سلول‌های سرطانی در موش‌ها منجر شد، اما مطالعه‌ی جدید از افزایش عمر موش‌ها خبری به‌دست نداد. چون مطالعه‌ی جدید مقداری از روش قبلی فاصله گرفت، پژوهگران فکر می‌کنند که تاکید زیاد بر این اختلاف جزئی درست نیست. کارن آدلمن، زیست‌شناس مولکولی در دانشگاه هاروارد در مجله‌ی Science اعلام کرد:

به‌نظر من نباید زیاد بر نبود تفاوت‌های آماری معنادار به‌عنوان نقطه‌ی نهایی تاکید کرد. در سال‌های آینده خبرهای بیشتری در رابطه با تکرار آزمایش‌ها و مقاله‌ها شنیده خواهد شد. پس نفس خود را حبس نکنید، چون برخی در این امر به موفقیت می‌رسند و برخی در تکرار نتایج ناکام خواهند بود. موفقیت واقعی، دستیابی به اطلاعات جدیدی خواهد بود که می‌توان از آنها برای گسترش و تقویت علم استفاده کرد.

Johan Mackenbach، پژوهشگر سلامت عمومی در روتردام و مدیر پنل آکادمی سلطنتی علم و هنر هلند، چندین پیشنهاد نیز برای حل مشکل دارد؛ از جمله این که می‌توان دقت عمل مقالات دست اول علمی را افزایش داد و دانشمندانی که قصد دارند تحقیقات قبلی را تکرار کنند، حمایت کرد. مؤسسات باید تاکیدات بیشتری روی آموزش طراحی تحقیق و آنالیز آماری داشته باشند. همچنین باید به دانشمندان حوزه‌ی تکنولوژی، نحوه‌ی بازتولید تحقیقات را آموزش داد. ژورنال‌ها بایستی محققان را موظف به ثبت reports in advance کنند تا قبل از این که اصلا سرریز اطلاعات صورت گیرد، تا همان ابتدا چاره‌ای برای پروتکل تحقیق و طرح آنالیز اندیشیده شود. دانشمندان نیز شایسته است اطلاعات بیشتری را از متدهای مورد استفاده‌ی خود در دسترس قرار دهند تا گروه‌های دیگر بتوانند تحقیقات را تکرار کنند.