الشفافية أم إخفاء الهوية: أيهما أفضل للقضاء على التحيز في التحكيم العلمي؟

السياق:

ثمة إجماع واسع على أن ممارسة العلم على نحو أكثر انفتاحًا يمكن أن تسرّع الاكتشاف العلمي وتحسّن الثقة في نزاهة البحث.[1] وفي الوقت نفسه، تدعو الجهات الممولة على نحو متزايد إلى تحسين الشفافية والمساءلة،[2] مشجعةً الناشرين الأكاديميين والمؤلفين والمحكّمين على اعتماد طرائق عمل جديدة.[3] ويقدم هذا المقال رؤى مستمدة من تجربة (IOP Publishing) في إدخال منهجين متكاملين للتحكيم العلمي، من شأنهما أن يساعدا الناشرين والباحثين الذين يدرسون مزايا تعزيز عملية التحكيم المعتادة أو تعديلها.

التحول إلى طرائق عمل جديدة:

من سبل تعزيز الشفافية في عملية البحث والنشر التحكيمُ الشفاف، وهو أسلوب يستطيع فيه القراء الاطلاع على سجل التحكيم كاملًا، بما في ذلك تقارير المحكّمين ورسائل قرارات المحرر وردود المؤلفين، إلى جانب المقال المنشور. وإتاحة هذه العملية للمجتمع العلمي تزيد مساءلة جميع المشاركين فيها، وتتيح الاعتراف العلني بعمل المحكّمين.[4]

ومن فوائد التحكيم الشفاف الأخرى أنه يتيح التدريب والإشراف. فالباحثون في بداية مسارهم المهني (early career researchers) ممن هم جدد على تحكيم المقالات يستطيعون التعلم من خلال تحليل العملية التحريرية والتقارير المنشورة المصاحبة للمقالات المنشورة في مجال بحثهم. ولا يساعد ذلك على تدريب الباحثين في بداية مسارهم فحسب، بل يعني أيضًا أن المحكّمين قد ينالون تقديرًا أكبر للعمل الذي يؤدونه، ولا سيما إذا اختاروا توقيع تقاريرهم.[5]

ومع أن عددًا من الناشرين قد اعتمد عناصر من طريقة العمل هذه، فإن ثمة تباينًا كبيرًا في كيفية تطبيقها. فبعض الدوريات تستخدم التحكيم الشفاف شكلًا إلزاميًا للتحكيم فيها، في حين يمنح بعضها الآخر المؤلفين خيار الانضمام إليه. فعلى سبيل المثال، تمنح دار النشر (Wiley) المؤلفين خيار رفض التحكيم الشفاف عند تقديم المقال، في حين يستطيع محكّموها اختيار البقاء مجهولي الهوية أو توقيع تقاريرهم إن شاؤوا.[6] وتتيح دار النشر (Sage) التحكيم الشفاف لأربع من دورياتها عبر برنامج (Web of Science™ Transparent Peer Review Program).[7] وثمة أيضًا اختلاف في درجة الشفافية، إذ تنشر بعض الدوريات جميع تقارير التحكيم مع المراسلات ذات الصلة وردود المؤلفين ورسائل القرارات التحريرية، في حين لا تنشر أخرى سوى تقارير المحكّمين. ويُلاحظ التباين كذلك في التسميات المعتمدة لهذا الأسلوب، وهو تحدٍّ يحاول التصدي له الفريق العامل المعني بتصنيف التحكيم العلمي (Working Group on Peer Review Taxonomy) التابع لرابطة (STM) أولًا، ثم منظمة (NISO).[8]

وحتى وقت كتابة هذا المقال، يختار ما يزيد قليلًا على نصف جميع المؤلفين الذين ينشرون بالوصول المفتوح لدى (IOP Publishing) الإفصاح عن تقارير المحكّمين، وقد اختار 40 في المئة من المحكّمين الانضمام. ويشهد ناشرون آخرون إقبالًا مماثلًا أو أعلى بين المؤلفين. فبحسب (Nature)،[9] يختار ما يقرب من نصف مؤلفيها طوعًا نشر تقارير المحكّمين الخاصة بمقالاتهم، وبعد تجارب أولية أفادت (Sage)[10] بأن 84 في المئة من المؤلفين المتقدمين اختاروا المشاركة.

وثمة حاجة إلى مزيد من البحث لإلقاء الضوء على دوافع المؤلفين والمحكّمين التي قد تجعلهم لا يرغبون في الانضمام إلى مناهج التحكيم الجديدة.

ودعمًا للعلم المفتوح (open science)، وبعد تجربة أولية،[11] نقلت (IOP Publishing) مؤخرًا جميع دورياتها الثماني عشرة المتاحة بالوصول المفتوح الكامل إلى التحكيم الشفاف. ويمنح هذا النهج المؤلفين والمحكّمين كليهما خيار الانضمام على أساس طوعي، ويشمل نشر سجل التحكيم كاملًا. ويختار المؤلفون الانضمام أو عدمه عند تقديم مقالاتهم، إذ يتضمن نموذج التقديم خيارًا لذلك، ويختار المحكّمون الانضمام أو عدمه عند تقديم تقاريرهم.

التحكيم مزدوج الإخفاء:

منذ أبريل 2021، نقلت (IOP Publishing) أيضًا جميع الدوريات التي تملكها إلى التحكيم مزدوج الإخفاء بوصفه الخيار الافتراضي، وفيه تُحجب هويتا المحكِّم والمؤلف في أثناء عملية التحكيم. وتأتي هذه الخطوة في إطار التزام الناشر بمعالجة انعدام المساواة في عملية النشر العلمي، إذ تنطوي على إمكانية الحد من التحيز المتعلق بالجنس[12] أو الميول الجنسية[13] أو بلد المنشأ أو الانتماء المؤسسي. وتُظهر الدراسات[14] أن المحكّمين الأكاديميين أكثر ميلًا، على نحو غير واعٍ، إلى قبول العمل إذا كتبه أشخاص يرونهم مشابهين لهم، ويبدو أن هذا ينطبق على الجنس والانتماء العرقي والموقع الجغرافي. كما يبدو أن التحيز القائم على السمعة (reputation bias) يزدهر في ظل أسلوب الإخفاء الأحادي (single-anonymous).[15] وتُظهر دراسات كثيرة أيضًا أن التحكيم مزدوج الإخفاء يفضّله كثيرون، ولا سيما الأقليات الأقل تمثيلًا التي ترى أنه يزيد فرصها في النشر.[16] وتدعمه النتائج الأولية في بيانات المستخدمين المبكرة[17] لدى (IOP Publishing)، التي جُمعت منذ إدخال التحكيم مزدوج الإخفاء، والتي تشير إلى أن المقالات المُخفاة الهوية أكثر حظًا في اجتياز التحكيم والقبول مقارنة بالمقالات المنشورة في الدورية نفسها في ظل التحكيم أحادي الإخفاء. وتَعُدّ (IOP Publishing) المخطوطات خاضعة للتحكيم أحادي الإخفاء إذا ترك المؤلف في المخطوطة معلومات تكشف هويته.

ولا يقتصر تفضيل التحكيم مزدوج الإخفاء على الباحثين في بداية مسارهم أو على من قد يشعرون بأن أسماءهم أو المنطقة الجغرافية التي يقيمون فيها قد تنعكس سلبًا على تقييم أعمالهم. فقد أخفى الحائز على جائزة نوبل نوفوسيلوف (Novoselov) مؤخرًا هويته في مخطوطته عند تقديمها إلى إحدى دوريات (IOP Publishing)، مُظهرًا إيمانًا بمنظومة النشر وثقةً في جودة البحث بدلًا من الاعتماد على سمعته الراسخة.[18]

التحكيم الشفاف: النتائج حتى الآن والتطلع إلى المستقبل:

أظهرت تجربة (IOP Publishing) أن ثمة تباينًا ضئيلًا على نحو مفاجئ في معدلات الانضمام بين الباحثين في التخصصات المختلفة التي تشمل الفيزياء وعلوم المواد والهندسة الطبية الحيوية والعلوم البيئية.

وبحسب إحصاءات المستخدمين لدى (IOP Publishing)، التي جُمعت منذ إدخال التحكيم الشفاف، لا يبدو أن معظم المحكّمين ينفرون من التحكيم الشفاف ما دام يُسمح لهم بالبقاء مجهولي الهوية. وتكشف الملاحظات غير الرسمية الواردة من المحكّمين أن الباحثين في بداية مسارهم خاصةً يترددون في الكشف عن أسمائهم للمؤلفين، ولا سيما إذا كان المؤلفون باحثين كبارًا، لأن ذلك قد يُحسب عليهم في المستقبل. ومن ثم، فإن الكشف عن أسماء المحكّمين قد يدفعهم إلى أن يكونوا أقل نقدًا في تقاريرهم. وهذا يفسر لماذا يختار معظم المحكّمين (أكثر من 90 في المئة) نشر تقاريرهم دون الكشف عن هويتهم. ولا يُلاحظ أي أثر في استعداد المحكّمين لتقديم التقارير في ظل هذا النموذج، ولا أي تغيير في متوسط المدة حتى صدور القرار الأول. ومنذ تطبيق التحكيم الشفاف، شهدت (IOP Publishing) زيادة طفيفة في متوسط جودة التحكيم، إذ حصل عدد أكبر قليلًا من التقارير المقدمة في ظل هذا النموذج على أعلى تقييم مقارنة بالتقارير المقدمة دون التحكيم الشفاف.

ولزيادة الإقبال على التحكيم الشفاف، تدرس (IOP Publishing) إشراك المحكّمين تلقائيًا بحيث يقتصر اختيار الانضمام إلى التحكيم الشفاف على المؤلفين وحدهم. ومن أسباب عدم مشاركة المؤلفين تدني مستوى الوعي به بين المؤلفين والمحكّمين.

ومع توقع أن يزداد التحكيم الشفاف انتشارًا، اعتمدت (IOP Publishing) أسلوبًا قابلًا للتوسع. فقد تقرر أن تكون منصة (Publons)، المملوكة لشركة (Clarivate)، أفضل شريك لتطبيق التحكيم الشفاف على مجموعة دوريات (IOPP) المتاحة بالوصول المفتوح بأكملها. وتوفر (Publons)[19] صفحة للمقال يُنشر فيها سجل التحكيم، ويُخصَّص لكل عنصر من عناصر التحكيم الشفاف (تقارير المحكّمين ورسائل القرارات وردود المؤلفين) معرّف رقمي للكائن (digital object identifier, DOI) مستقل، مما يسهّل الإحالة إلى المحتوى والاستشهاد به. ويتوافق سير العمل هذا مع أفضل الممارسات في لوائح خصوصية البيانات، ويضمن الحفاظ على التفضيلات الفردية للمؤلفين والمحكّمين والدوريات. كما بنت (Publons) واجهة تستقبل المقالات المقبولة تلقائيًا، مما يلغي الحاجة إلى تجميع التفاصيل وإرسالها إليها يدويًا، فيوفر بذلك قدرًا كبيرًا من الوقت.

الإقبال على التحكيم مزدوج الإخفاء:

كانت ملاحظات المؤلفين والمحكّمين إيجابية بوجه عام، إذ شهدت بعض دوريات (IOP Publishing) اختيار ما يقرب من نصف جميع المؤلفين تقديم مخطوطات مُخفاة الهوية.

وبدأت (IOP Publishing) أيضًا تلمس الفرق الذي يُحدثه ذلك لبعض الفئات ناقصة التمثيل. فبالنسبة إلى الباحثين في أفريقيا والشرق الأوسط، زادت فرص قبول أعمالهم إلى أكثر من الضعف في ظل أسلوب الإخفاء المزدوج. وتستند هذه النتائج إلى 12,192 مقالًا صدرت بشأنها قرارات نهائية بين يناير وأبريل 2022، في دوريات (IOP Publishing) التي تتيح الإخفاء المزدوج والأحادي. وما زال جمع البيانات في مراحله الأولى، لكن هذا لافت للنظر بلا شك. ومن المثير للاهتمام أنه لا توجد نتائج مماثلة فيما يتعلق بالجنس، إذ تشهد جميع الأجناس أثرًا متشابهًا في معدلات القبول. وهذا يناقض التصور القائل إن الجنس يؤثر في نتيجة التحكيم.

ويرى بعضهم أن الإخفاء المزدوج ليس فعالًا على نحو خاص، لأن المحكّمين قد يتمكنون من التعرف على شخص ما من خلال النظر في المراجع المستخدمة في المخطوطة أو في مجال الدراسة. غير أن البيانات المبكرة من بحث (IOP Publishing) تُظهر أن 85 في المئة من المحكّمين الذين حكّموا مخطوطات مُخفاة الهوية يقولون إنهم لا يشعرون بالثقة في تخمين هويات المؤلفين. وقد جُمعت هذه البيانات عبر استبانة المحكّمين لدى (IOPP)، المشار إليها في المصادر التكميلية، التي تُرسل، منذ إدخال التحكيم مزدوج الإخفاء في أبريل 2021، إلى جميع المحكّمين بمجرد اتخاذ القرار النهائي بشأن المخطوطة. وتسأل هذه الاستبانة المستمرة المحكّمين عن تجربتهم، وتحديدًا عن مستوى ثقتهم في تخمين هويات المؤلفين في المقالات المقدَّمة بالإخفاء المزدوج.

الخاتمة:

إن إتاحة كلٍّ من التحكيم مزدوج الإخفاء قبل القبول للنشر والتحكيم الشفاف بعد النشر يحقق أقصى قدر من الموضوعية في أثناء عملية التحكيم، وأقصى قدر من الشفافية بعد النشر. ولكلا أسلوبي التحكيم فوائد مميزة. والجمع بين النهجين سيساعد على التخفيف من التحيز الواعي وغير الواعي، وسيحفز مزيدًا من التنوع ومزيدًا من المساءلة.

ويمكن للناشرين أن يؤدوا دورًا رائدًا في اختبار الممارسات الجديدة في التحكيم العلمي. وتعريف المؤلفين والمحكّمين بفوائد هذه الأساليب الجديدة سيساعد على رفع الوعي بما يؤثر في أحكام التحكيم. وهذا بدوره سيعزز أسس العلم، وسيضمن تطبيق أعلى معايير التحكيم الممكنة على جميع الأعمال المنشورة.

المراجع:

1. Kim Eggleton, “Is anonymity or transparency the best solution to bias in peer review?,” Times Higher Education (THE), March 14, 2022, https://www.timeshighereducation.com/blog/anonymity-or-transparency-best-solution-bias-peer-review (accessed 21 July 2022).
2. “OACA List,” SPARC Europe, https://sparceurope.org/what-we-do/open-access/sparc-europe-open-access-resources/open-access-citation-advantage-service-oaca/oaca-list/ (accessed 21 July 2022).
3. Katrina Pickersgill, “Review of Six Months of Transparent Peer Review at SAGE,” SAGE Perspectives (blog), September 22, 2021, https://perspectivesblog.sagepub.com/blog/six-months-of-transparent-peer-review-at-sage (accessed 21 July 2022).
4. Rachel Pells, “Journal Transparency Rules to Help Scholars Pick Where to Publish,” Times Higher Education (THE), June 4, 2019, https://www.timeshighereducation.com/news/journal-transparency-rules-help-scholars-pick-where-publish (accessed 21 July 2022).
5. Alice Meadows, “What Does Transparent Peer Review Mean and Why Is It Important?,” The Scholarly Kitchen, August 3, 2017, https://scholarlykitchen.sspnet.org/2017/08/03/transparent-peer-review-mean-important/ (accessed 21 July 2022).
6. “Transparent Peer Review,” Authorservices.wiley.com, https://authorservices.wiley.com/Reviewers/journal-reviewers/what-is-peer-review/transparent-peer-review.html (accessed 21 July 2021).
7. “Transparent Peer Review,” SAGE Publications Ltd., May 21, 2021, https://uk.sagepub.com/en-gb/eur/transparent-peer-review (accessed 21 July 2021).
8. “Working Group on Peer Review Taxonomy,” STM, https://www.stm-assoc.org/standards-technology/peer-review-taxonomy-project/ (accessed 21 July 2022); “Work Item Title: Developing a Standard Peer Review Taxonomy (PRT): Background and Problem Statement,” NISO, https://groups.niso.org/higherlogic/ws/public/download/25638/NISO_PeerReviewTaxonomy_for_VM_approval.pdf (accessed 21 July 2022).
9. “Transparent peer review: the value is clear,” Commun Phys 5, no. 108 (2022), DOI: https://doi.org/10.1038/s42005-022-00891-6 (accessed 15 August 2022); “Transparent peer review one year on,” Nature Communications 7, no. 13626 https://www.nature.com/articles/ncomms13626 (accessed 15 August 2022).
10. Katrina Pickersgill, “Six months of Transparent Peer Review at SAGE,” Sage Perspectives (blog), September 22, 2021, https://perspectivesblog.sagepub.com/blog/six-months-of-transparent-peer-review-at-sage (accessed 15 August 2021).
11. Marc Domingo and Simon Harris, “Transparent Peer Review—a Practical Solution to Implement Open Peer Review at Scale: A Case Study,” Science Editor 43, no. 3 (September 1, 2020): 72–76, DOI: https://doi.org/10.36591/se-d-4303-72 (accessed 21 July 2022).
12. Amber E. Budden et al., “Double-Blind Review Favours Increased Representation of Female Authors,” Trends in Ecology & Evolution 23, no. 1 (January 1, 2008): 4–6, DOI: https://doi.org/10.1016/j.tree.2007.07.008; Stefanie K. Johnson and Jessica F. Kirk, “Dual-Anonymization Yields Promising Results for Reducing Gender Bias: A Naturalistic Field Experiment of Applications for Hubble Space Telescope Time,” Publications of the Astronomical Society of the Pacific 132, no. 1009 (18 February, 2020): 034503, DOI: https://doi.org/10.1088/1538-3873/ab6ce0 (accessed 21 July 2022); Andrew Tomkins, Min Zhang, and William D. Heavlin, “Single versus Double Blind Reviewing at WSDM 2017,” ArXiv:1702.00502 [Cs] (October 2017), https://arxiv.org/abs/1702.00502 (accessed 15 August 2022).
13. Dakota Murray et al., “Author-Reviewer Homophily in Peer Review,” bioRxiv 400515, August 4, 2019, DOI: https://doi.org/10.1101/400515 (accessed 21 July 2022); Johnson and Kirk, “Dual-Anonymization Yields Promising Results for Reducing Gender Bias: A Naturalistic Field Experiment of Applications for Hubble Space Telescope Time.”; Tomkins, Zhang, and Heavlin, “Single versus Double Blind Reviewing at WSDM 2017.”
14. Mengyi Sun, Jainabou Barry Danfa, and Misha Teplitskiy, “Does Double-Blind Peer Review Reduce Bias? Evidence from a Top Computer Science Conference,” Journal of the Association for Information Science and Technology 73, no.6 (October 12, 2021): 811–819, DOI: https://doi.org/10.1002/asi.24582 (accessed 21 July 2021).
15. Andrew Tomkins, Min Zhang, and William D. Heavlin, “Reviewer bias in single- versus double-blind peer review,” PNAS, 114, no. 48 (October 10, 2017): 12708-12713, DOI: https://doi.org/10.1073/pnas.1707323114 (accessed 21 July 2021).
16. “Single-Blind Vs. Double-Blind Peer Review,” Enago Academy, last updated March 16, 2022, https://www.enago.com/academy/double-blind-peer-review-for-better-or-for-worse/ (accessed 15 August 2022).
17. “IOP Publishing: Reviewer Experience Survey,” Institute of Physics Publishing.
18. Xinyao Zhou et al., “Conformal Screen Printed Graphene 4 × 4 Wideband MIMO Antenna on Flexible Substrate for 5G Communication and IoT Applications,” 2D Materials 8, no. 4 (August 20, 2021): 045021, DOI: https://doi.org/10.1088/2053-1583/ac1959 (accessed 21 July 2022).
19. Laura Simonite, “What Is Publons Transparent Peer Review?” Web of Science, modified August 1, 2019, https://publons.freshdesk.com/support/solutions/articles/12000060026-what-is-publons-transparent-peer-review- (accessed 21 July 2022).
20. Supplementary file 1: Full journal titles. DOI: https://doi.org/10.1629/uksg.584.s1.
21. Supplementary file 2: IOP Publishing Reviewer Experience Survey. DOI: https://doi.org/10.1629/uksg.584.s2.