نحو مقاييس أكثر إنسانية لتقييم البحث في العلوم الإنسانية

مقدمة:

ثمة قلق متزايد في العلوم الإنسانية من ظروف عمل وممارسات «غير إنسانية» تُلحق الضرر بالباحثين وبالتخصصات التي يعملون فيها. ففي السنوات الأخيرة مورست على الأقسام الجامعية ضغوط مؤسسية وحكومية هائلة لإثبات العائد على الاستثمار (return on investment, ROI) للبحث العلمي الذي تدعمه [1]. ويعاني أعضاء هيئة التدريس أفرادًا أيضًا من مطالب متزايدة (أن يكتبوا أكثر، وأن يُستشهد بأعمالهم أكثر، وأن يدرّسوا أكثر، وأن يشاركوا في لجان أكثر، وأن يفوزوا بجوائز أكثر) في مقابل تناقص الوقت والأجر والدعم [2]. ويخشى المشتغلون بالعلوم الإنسانية، ويفيد بعض المختصين في القياس العلمي (scientometrics)، أن هذه الضغوط قد غيّرت وجه البحث في العلوم الإنسانية، فأفضت في بعض الحالات إلى تخصصات أضعف تضحّي أحيانًا بالجودة لصالح مقاييس تبدو جيدة على الورق وفي التقارير [3،4،5،6،7].

ويرى هذا المقال أن هذه المشكلات وغيرها ناجمة عن مقاييس وحوافز غير متسقة لأقسام العلوم الإنسانية وباحثيها. ولن نستطيع تحديد المقاييس التي ينبغي أن نحكم بها على أقسامنا وزملائنا وأنفسنا إلا بالتعبير الصريح عن جميع القيم (مثل الزمالة والانفتاح والإنصاف) التي تحرك الممارسات العلمية الإيجابية (مثل كتابة تقارير تحكيم علمي مفيدة، والنشر في الوصول المفتوح، وإعداد تكليفات صفية يتاح الوصول إليها لجميع الطلاب).

والقضايا التي تُناقش هنا وثيقة الصلة بالقدر نفسه بالجهات الممولة والباحثين والأقسام ومعاهد البحث والجمعيات العلمية على السواء. فالمقاييس تشكّل الممارسات المهنية للباحثين، والمقاييس التي يُحكم بها على الباحثين قد استخدمتها الجهات الممولة والأقسام ومعاهد البحث والجمعيات العلمية أو أوصت بها.

ويبدأ المقال بمناقشة ثقافة التقييم الأكاديمي وأوجه اختلاف العلوم الإنسانية عن غيرها من التخصصات، ثم يتناول عددًا من الأسئلة التي وجّهت العمل على تطوير مؤشرات أكثر إنسانية لتقييم البحث في العلوم الإنسانية ضمن مبادرة (HuMetricsHSS):

• كيف نحقق اتساقًا أفضل بين الممارسات العلمية في العلوم الإنسانية والمقاييس التي تحاول قياسها؟
• ما الممارسات التي نريد تحفيزها في العلوم الإنسانية؟
• ما القيم التي تحدد الممارسات التي يراها المشتغلون بالعلوم الإنسانية الأهم؟
• ما التحديات الحالية أمام التعبير عن قيمنا المشتركة وممارساتنا ومقاييسنا المنشودة؟ وكيف نتغلب عليها؟

ويختتم المقال بمناقشة الكيفية التي تعتزم بها مبادرة (HuMetricsHSS) التصدي للعمل المقبل.

تغير ممارسات البحث في العلوم الإنسانية:

لا تعكس ممارسات تقييم البحث الحالية واقع العمل العلمي اليوم في العلوم الإنسانية. فعلى الرغم من التغيرات التي أحدثتها الإنسانيات الرقمية والإنسانيات العامة في ممارسة البحث، يظل التخصص، حين يتعلق الأمر بما «يُحتسب» في تقييم العلوم الإنسانية، مسعًى فرديًا يغلب عليه تأليف الدراسات المفردة (monographs). فإنتاج المخرجات البحثية التقليدية ليس، لدى كثير من الباحثين في العلوم الإنسانية، إلا جانبًا صغيرًا من إسهامهم في المجتمع الفكري. فهم يدرّسون، ويعدّون مواد تعليمية مفتوحة، وينظمون سلاسل محاضرات، ويرشدون الزملاء المبتدئين. لكن هذه الممارسات كثيرًا ما لا تحظى باعتراف رسمي في عمليات التقييم، كالترقية والتثبيت الوظيفي، بالقدر نفسه الذي يحظى به البحث التقليدي.

بل إن البحث نفسه يتغير تغيرًا جوهريًا، والعلوم الإنسانية تحاول جاهدة التعامل مع ذلك. فأنظمة التقييم الحالية تعجز عن التقاط أكثر ما هو جوهري في الأشكال الأحدث والرقمية من العمل العلمي التي نمارسها. فمن إعداد مواد تعليمية متعددة الوسائط متاحة بالوصول المفتوح (open access, OA)، إلى رقمنة النصوص للتحليل الحاسوبي، أو إنشاء تصورات مرئية غنية للبيانات تروي سرديات شاملة عن الأدب أو التاريخ عبر الزمن، كثيرًا ما يُعدّ العمل الرقمي ملحقًا بعمل المشتغلين بالعلوم الإنسانية لا العمل نفسه. وقد وضعت عدة جمعيات علمية كبرى في الولايات المتحدة إرشادات لإدراج العمل الرقمي في ملفات الترقية والتثبيت [8،9،10]، لكن الأخذ بتوصياتها ما زال متقطعًا. ولعل ذلك يرجع إلى أن ثقافات البحث، متى ترسّخت، تقاوم التغيير [11،12].

وقد تمثل مشروعات الإنسانيات الرقمية والعامة تحديًا لطريقة فهم التقييم الحالي في العلوم الإنسانية للاعتراف بالفضل والنسبة؛ فهي تعاونية في الغالب الأعم، وتتطلب قدرًا هائلًا من العمل خلف الكواليس لا يُعترف به دائمًا. وقد تفتقر هذه المشروعات أيضًا إلى حدود قاطعة، مما يطرح تحديًا لقابلية الاكتشاف: ما «الكائن» القابل للاستشهاد به في مشروع رقمي؟ ثم هناك تحدي تقييم مشروعات الإنسانيات الرقمية والعامة. فكيف يُقاس الأثر تحديدًا؟

تقييم العلوم الإنسانية:

ظل الباحثون في العلوم الإنسانية سنوات يحتجون بأن إجراءات تقييم العلوم الإنسانية والاجتماعية استُعيرت من العلوم البحتة، بدلًا من أن تُطوَّر من الأساس لتلبية احتياجات المشتغلين بالعلوم الإنسانية [13]. (وللاطلاع على مراجعة شاملة لهذه الحجج، يُنظر دي رايكه (de Rijcke) وزملاؤه) [14].

وفي التصدي لتحدي تحسين تقييم البحث في العلوم الإنسانية، سعت دراسات عدة إلى استكشاف الدور الذي يمكن للقيم، بل ينبغي لها، أن تؤديه في كيفية تقييم البحث. غير أن نطاقها اقتصر في الغالب على دراسة المقاييس القائمة على قيمتي الجودة والأصالة [15،16،17]. وما زال أمامنا الكثير لفهم كيف يمكننا قياس أنواع أخرى من الأثر القائم على القيم (مثل الزمالة).

وقد أثارت دراسات عدة إشكاليات حول استخدام المقاييس الببليومترية (bibliometrics) في تقييم البحث في العلوم الإنسانية، إذ تعكس اختلافات في أنماط الاستشهاد، والاستشهاد الذاتي، وممارسات التعاون، والتوجهات الإقليمية عبر العلوم الإنسانية [18،19،20]. ومع التحسن في السنوات الأخيرة، ما زال ثمة قصور في تغطية بحوث العلوم الإنسانية في قواعد البيانات العلمية الشائعة [21،22]. وهذا الشحّ في البيانات الصالحة للاستخدام يجعل قياس التقدم نحو أي قيمة، بما في ذلك الجودة وما يتجاوزها، أمرًا عسيرًا.

ومع ذلك، يشكك بعض المشتغلين بالعلوم الإنسانية في أن يكون السعي إلى نتائج قابلة للقياس (أي «الأثر») هدفًا مرغوبًا فيه أصلًا. وكما توضح بلفيوري (Belfiore): «الأثر إشكالي من نواحٍ كثيرة … مما يسوّغ رفض شكله الحالي بوصفه مؤشرًا بديلًا واحدًا غير كافٍ للقيمة يسهم في الضغوط المتزايدة لتسليع إنتاج المعرفة والخبرة الأكاديمية» [23]. والسعي وراء الأثر، شأنه شأن المطالبة بعائد على الاستثمار في بحوث العلوم الإنسانية، يشجع الممارسات التي يمكن القول إنها تضرّ بالعلوم الإنسانية.

مبادرة (HuMetricsHSS): تطوير مؤشرات إنسانية للعلوم الإنسانية:

تأسست مبادرة (HuMetricsHSS) [24] على اعتقاد بأن رواية قصص أكثر ثراءً وتفصيلًا عن عمليات العمل العلمي بمعناه الواسع، وإخفاقاته ونجاحاته، وتقديرها، يمكن أن تفتح الباب أمام بيئة أكاديمية أكثر صحة وإرضاءً. وقد وُلد المشروع في معهد ترايانغل للاتصال العلمي (Triangle Scholarly Communication Institute, SCI) عام 2016 [25]، حين تساءل فريق من أمناء المكتبات والعمداء والممولين والباحثين في العلوم الإنسانية: «ماذا قد يحدث لو استخدمنا القيم التي يزعم التعليم العالي أنه يتبناها، وهي قيم جوهرية مثل الإنصاف والانفتاح والزمالة والجودة والمجتمع، أساسًا لإطار للتقييم الأكاديمي؟»

وفي أثناء وجودنا في معهد ترايانغل، أعددنا، زملائي وأنا، في جلسات عصف ذهني قوائم بالممارسات والمنتجات والقيم الجوهرية التي تحرك العلوم الإنسانية. ثم سألنا أنفسنا كيف يمكن أن تتجلى تلك القيم الجوهرية في الممارسات العلمية الشائعة، مثل إعداد خطة مقرر دراسي (syllabus)، أو استضافة مؤتمر، أو نشر دراسة مفردة. فعلى سبيل المثال، كيف يمكن لقيمة الإنصاف أن تُرشد تصميم خطة مقرر دراسي لجعلها أيسر وصولًا؟ أو كيف يمكن لتقارير تحكيم تتسم بروح زمالية أكبر أن تحسّن جودة دراسة مفردة؟

وبدعم من مؤسسة أندرو و. ميلون (Andrew W Mellon Foundation)، سعينا إلى اختبار نظريتنا القائلة إن العلوم الإنسانية والاجتماعية تشترك حقًا في مجموعة من القيم المشتركة التي يمكن استخدامها لتطوير مؤشرات أفضل وأكثر إنسانية. وفي خريف 2017 استضفنا ورشة عمل أولى جمعت 25 باحثًا وإداريًا وأمين مكتبة وطالب دراسات عليا من مؤسسات تعليم عالٍ متنوعة لمساعدتنا على تطوير قائمة القيم الجوهرية التي أعدها فريقنا إلى مجموعة من القيم الجوهرية المختبرة والمعتمدة من المجتمع.

ومن المفاجئ أننا لم نتمكن من التوصل إلى توافق على قائمة بالقيم المشتركة، وإن كنا قد اقتربنا من ذلك. لكننا تعلمنا بدلًا من ذلك شيئًا أهم. فالنقاشات والخلافات المثمرة التي شجعتها الورشة، وإن لم تكن سهلة دائمًا، أظهرت لنا أن عملية التداول في القيم ومناقشتها، باستخدام شيء مثل إطارنا الأولي منطلقًا للحوار، خطوة أولى مهمة في تطوير إطار مؤسسي للتقييم القائم على القيم.

وبهذا الدرس في أذهاننا، استضفنا بعد ذلك ورشة عمل ثانية تمحورت حول كيفية تجلي القيم في ممارسة علمية بعينها: إعداد خطط المقررات الدراسية. فعلى سبيل المثال، طلبنا من المشاركين أن يتأملوا كيف يمكن لقيمة الجودة أن تؤثر في طريقة تقييمهم لخطط مقرراتهم الدراسية في السنوات الماضية. وطرح المشاركون أسئلة مثل: «هل تتضمن خطة مقرري تكليفات إبداعية أو تتسم بالجدية، أو تجمع بين الأمرين؟» و«هل تدفع خطة المقرر حدود التخصص إلى الأمام؟»

وعلى امتداد الورشة، تغيرت أسئلة المشاركين بحسب سياقاتهم المؤسسية أو الشخصية، لكن درسًا واحدًا تكرر: فبالتفكير في القيم في أثناء إعداد خطط المقررات وما يتصل بها من تكليفات ومحاضرات، يصبح الباحث الفرد قادرًا على الحديث عن المقاصد الكامنة وراء عمله في حواراته مع زملائه والإداريين، وعلى الإسهام في بناء ثقافة تضع القيم أولًا في التفكير. وبذلك يترسخ التفكير القائم على القيم مؤسسيًا بوصفه أمرًا مهمًا.

ما الممارسات التي نريد تحفيزها في العلوم الإنسانية:

تتفاوت الممارسات المهمة للأفراد والأقسام بحسب أهدافهم المتنوعة. فعلى سبيل المثال، لدى بعض المؤسسات سياسة تُلزم بالوصول المفتوح (OA mandate) يُقصد بها تشجيع قيمة الانفتاح من خلال النشر بالوصول المفتوح أو كتابة شيفرة مفتوحة المصدر. وتشدد مؤسسات وأقسام أخرى على قيمة المجتمع من خلال اشتراط التفاعل مع الجمهور في إرشادات الترقية والتثبيت. وعادةً ما تُدوَّن هذه الأهداف في وثائق الاستراتيجية الخاصة بالأقسام والمؤسسات، وبيانات الرسالة، ووثائق الرؤية.

ويحاول فريق (HuMetricsHSS) أن يتبع نهجًا مقصودًا في ممارساتنا البحثية نحن. فنحن نعزز الانفتاح والشفافية بالكتابة عن عملنا علنًا في مدونة مشروعنا، وبالعمل مع فريق من التقنيين لكتابة شيفرة مفتوحة المصدر. ونمارس الإنصاف بالتفكير مليًّا في كيفية تشجيع التنوع بين المشاركين في ورش عملنا. ونحاول أن نجسّد الزمالة في طريقة تعاملنا بعضنا مع بعض ومع غيرنا من المشتغلين بالعلوم الإنسانية في مشروعاتنا التعاونية، وفي حضورنا على وسائل التواصل الاجتماعي، وفي المؤتمرات. وليس ذلك سهلًا دائمًا، لكنه ممكن.

وأيًّا كانت أهدافنا أو قيمنا، فإن ممارساتنا المهنية تحركها الحوافز وتقيسها المقاييس. وكثيرًا ما تكون هذه المقاييس مدمجة في عمليات التقييم الأكاديمي. فعلى سبيل المثال، تُقيَّم مقترحات المنح جزئيًا على أساس عدد من المقاييس: فنحن نعدّ الاستشهادات والجوائز مقاييس للجودة، وعدد المقالات المودعة في المستودعات المؤسسية (institutional repositories) مقياسًا للانفتاح، وتنوع الطلاب الذين يُرشَدون مقياسًا للإنصاف. ومن ثمّ ينبغي أن نفكر مليًّا في الممارسات التي نريد (أفرادًا أو أقسامًا أو جمعيات مهنية أو مؤسسات) تشجيعها انطلاقًا من القيم المشتركة، وأن نستنبط مؤشرات يمكن أن تساعد على تقدير مدى نجاحنا في تجسيد تلك القيم من خلال ممارساتنا تقديرًا تقريبيًا.

ما القيم التي تحدد الممارسات التي يراها المشتغلون بالعلوم الإنسانية الأهم:

لما كانت القيم نسبية بحسب الأهداف التنظيمية أو أهداف القسم أو الأهداف الشخصية، فهذا سؤال يصعب الإجابة عنه. وسأقلب هذا السؤال بأن أطلب منك، أيها القارئ، أن تتأمل القيم التي تراها أنت وزملاؤك مهمة.

تأمّل ممارسة علمية بعينها، سواء أكانت تحكيم دراسة مفردة، أم إرشاد طالب، أم تأليف مقالة في دورية. ثمة عدد من الممارسات الأصغر التي تدخل في إنجازها. استعرض في عصف ذهني هذه الممارسات والقرارات المرتبطة بها. ثم تأمّل «المخرجات» الناتجة عن هذا النشاط، مهما بلغت دقة تفاصيلها. ويمكن أن تكون هذه المخرجات أي شيء يبقى بعد انتهاء النشاط أو يوجد بسببه (مثل المقالات، والمعارض، والأرشيفات، والببليوغرافيات، وبيانات الأهداف). وأخيرًا، فكّر في أيٍّ من الممارسات والقرارات التي حددتها تحركه القيم (سواء على نحو واعٍ أو غير واعٍ). وللاطلاع على مثال، يُنظر الجدول 1.

الجدول 1. تحديد القيم التي تحرك إعداد خطة المقرر الدراسي:

ويوضح التمرين السابق كيف تقوم الممارسة العلمية كلها على القيم. ويمكنك استخدامه لاستكشاف قيمك الخاصة، أو قيم قسمك أو مؤسستك. غير أن أي نوع من التأمل الذاتي يمكن أن يوصلك إلى نتيجة مماثلة: قائمة مدروسة مستندة إلى الواقع بالقيم التي تحرك ممارساتك العلمية.

ما التحديات الحالية أمام التعبير عن قيمنا المشتركة وممارساتنا ومقاييسنا المنشودة؟ وكيف نتغلب عليها:

ثمة عدد من التحديات الاجتماعية التقنية التي تجعل من الصعب حاليًا فهم القيم المشتركة للعلوم الإنسانية والممارسات المنشودة والمقاييس الملائمة. ومنها:

• تفشي النيوليبرالية في الأكاديميا، مما يشجع التفكير بمنطق العائد على الاستثمار ويقدّمه على الفهم الدقيق للآثار المحتملة الكثيرة للعلوم الإنسانية
• الميل إلى استخدام ممارسات التقييم الختامي (summative assessment) التي تحكم على أعضاء هيئة التدريس بمعايير مرجعية، وتعاقب من يقصرون عن بلوغها، بدلًا من ممارسات التقييم التكويني (formative assessment) التي تساعد أعضاء هيئة التدريس على التأمل في فرص نموهم الشخصي
• تفضيل أعضاء هيئة التدريس والمقيّمين للمقاييس المبسطة على الأدلة الغنية التي تبيّن الأثر في سياقه
• الغموض التنظيمي، إذ لا يتاح لأعضاء هيئة التدريس الاطلاع على البيانات التي يُحكم عليهم بها أو تصحيحها
• انعدام الثقة الناجم عن حسابات النفوذ والعلاقات الشخصية والتاريخ المؤسسي، مما يقوّض في مؤسسات كثيرة النقاش الصريح حول القيم
• نقص البيانات المقروءة آليًا ذات التراخيص المتساهلة التي تسمح باستخدامها في تطوير المقاييس
• شحّ المصادر المحتملة للمقاييس، مثل التغطية الكافية للعلوم الإنسانية في كشافات الاستشهاد الشائعة، أو مصادر البيانات ذات الصلة إقليميًا المدمجة في خدمات المقاييس البديلة (altmetrics).

ويمكن التغلب على بعض هذه التحديات بالابتكار وتغيير السياسات وممارسات البيانات المفتوحة. فعلى سبيل المثال، يمكن تطوير تقنيات تعوّض نقص البيانات المقروءة آليًا بأن تجمع ببساطة أنواعًا أخرى من البيانات من الويب آليًا وتعالجها.

أما القضايا الثقافية الأعمق فتمثل تحديًا أكبر.

كيف نحقق اتساقًا أفضل بين الممارسات العلمية والمقاييس في العلوم الإنسانية:

علمتنا ورشة العمل الأولى لمبادرة (HuMetricsHSS) أنه قد لا يكون من الممكن تطوير قائمة واحدة بالقيم الجوهرية تناسب الجميع التي يمكن أن تُرشد المقاييس، حتى ضمن حدود العلوم الإنسانية. وعلمتنا أيضًا أن تطوير المؤشرات وعملية التقييم يمكن تحسينهما تحسينًا كبيرًا بالجلوس مع آخرين قد يشغلون مواقع مختلفة جدًا عن مواقعنا، والتداول في القيم التي يعتز بها كل منا.

ويجب أن تكون هذه النقاشات نابعة من القاعدة، لا مفروضة أو خاضعة لسيطرة الإداريين، ولا تديرها مجموعات عمل تعمل تحت ستار «الديمقراطية التمثيلية». بل يجب أن تتيح هذه النقاشات لكل فرد أن يكون له صوت وأن يسهم في بناء التوافق. وهذه الخطوة أساسية لكسب الثقة والتأييد اللذين ظلا غائبين عن تخطيط التقييم سنوات، وهي تتردد فيها أصداء توصيات مماثلة من خبراء تقييم العلوم الإنسانية بشأن المناهج التصاعدية (من القاعدة إلى القمة) [26].

وما زال عمل مبادرة (HuMetricsHSS) بعيدًا عن الاكتمال. فقد علمتنا جهودنا حتى الآن عددًا من الدروس القيّمة حول أهمية إشراك المجتمع في إنشاء أي إطار، وحول الحاجة إلى إتاحة إعادة الجمع والتكييف محليًا (بل تشجيعهما). ولو أردنا تحويل إطارنا إلى أداة حاسوبية تتيح للمرء إدخال البيانات والحصول في المقابل على قائمة بالمقاييس التي تقيس تقدمه نحو قيم معينة، لتعيّن علينا أن نتصدى لسؤال: ما البيانات المتاحة واقعيًا للاستخدام في تطوير مؤشرات قائمة على القيم؟ فعلى سبيل المثال، حددنا في ورش عملنا عوائق مؤسسية وتقنية أمام تنزيل خطط المقررات وتحليلها على نطاق واسع، والوصول إلى البيانات المتعلقة بتعلم الطلاب ورضاهم، وتتبع النقاشات على الإنترنت لا حول المخرجات البحثية فحسب، بل حول الأفكار ومجمل أعمال الباحثين أيضًا.

خلاصة:

تواجه العلوم الإنسانية تحديات كثيرة، ليس أقلها أعراف تقييم البحث التي تخلق حوافز ذات نتائج عكسية، وتسيء استخدام مقاييس التقييم، وتشجع ممارسات مُفسِدة داخل الأوساط الأكاديمية. وقد تصدى عمل مبادرة (HuMetricsHSS) حتى الآن لهذه القضية باقتراح ممارسات ومؤشرات تقييم قائمة على القيم بديلًا عن الوضع الراهن. ويشير عملنا حتى الآن إلى أنه لا يمكن تحديد مجموعة واحدة من القيم أو المقاييس تناسب الجميع في العلوم الإنسانية، وأن الأهداف المؤسسية والشخصية للمرء هي أفضل محدِّداتها. وبالتشاور مع أعضاء آخرين في المجتمع الأكاديمي، تأكدنا من أهمية اتخاذ القرار بالتوافق ومدّ الجسور عبر حدود التخصصات والمسميات الوظيفية للتعبير عن القيم الأهم. وعندئذ فقط يمكن للمرء أن يستنبط بالهندسة العكسية المؤشرات التي ينبغي أن يُحكم بها على العمل العلمي، بهدف تمكين الباحثين والمؤسسات من قياس تقدمهم نحو تجسيد قيمهم والقيم المهمة للمجالات الأوسع للعلوم الإنسانية والاجتماعية.

وفوق كل شيء، أكد عمل فريق (HuMetricsHSS) أهمية التواصل والمجتمع في تطوير ممارسات لتقييم البحث تكون إنسانية وسليمة وعادلة. ونحن نشجع كل من يهتم بتطوير مقاييس أكثر إنسانية داخل مؤسسته أو تخصصه على التأمل في القيم التي يعتز بها.

المراجع:

1. Butler L, Modifying publication practices in response to funding formulas, Research Evaluation, 2003, 12(1), 39–46; DOI: https://doi.org/10.3152/147154403781776780 (accessed 16 October 2018).
2. Hoffman A J, In Praise of ‘B’ Journals, Inside Higher Ed, 2017: https://www.insidehighered.com/views/2017/03/28/academics-shouldnt-focus-only-prestigious-journals-essay (accessed 16 October 2018).
3. Butler, ref. 1.
4. Hoffman, ref. 2.
5. Haustein S and Lariviere V, The Use of Bibliometrics for Assessing Research: Possibilities, Limitations and Adverse Effects. In: Incentives and Performance: Governance of Research Organizations, Ed Welpe I M et al., 2015, Springer International Publishing, London, pp. 121–139; DOI: https://doi.org/10.1007/978-3-319-09785-5_8 (accessed 17 October 2018).
6. Moore S, Neylon C, Eve M P, O’Donnell D P and Pattinson D, “Excellence R Us”: university research and the fetishisation of excellence, Palgrave Communications 3, 2017, 16105; DOI: https://doi.org/10.1057/palcomms.2016.105 (accessed 16 October 2018).
7. Sivertsen G, Patterns of internationalization and criteria for research assessment in the social sciences and humanities, Scientometrics, 2016, 107(2), 357–368; DOI: https://doi.org/10.1007/s11192-016-1845-1 (accessed 16 October 2018).
8. Modern Language Association, Guidelines for Evaluating Work in Digital Humanities and Digital Media, 2012: https://www.mla.org/About-Us/Governance/Committees/Committee-Listings/Professional-Issues/Committee-on-Information-Technology/Guidelines-for-Evaluating-Work-in-Digital-Humanities-and-Digital-Media (accessed 16 October 2018).
9. American Historical Association, Ad Hoc Committee on the Evaluation of Digital Scholarship by Historians, Guidelines for the Professional Evaluation of Digital Scholarship by Historians, 2015: https://www.historians.org/teaching-and-learning/digital-history-resources/evaluation-of-digital-scholarship-in-history/guidelines-for-the-professional-evaluation-of-digital-scholarship-by-historians (accessed 16 October 2018).
10. American Anthropological Association, AAA Guidelines for Tenure and Promotion Review: Communicating Public Scholarship in Anthropology, 2017: http://www.americananthro.org/AdvanceYourCareer/Content.aspx?ItemNumber=21713 (accessed 16 October 2018).
11. Curry S, Let’s move beyond the rhetoric: it’s time to change how we judge research, Nature, 2018, 554(147); DOI: https://doi.org/10.1038/d41586-018-01642-w (accessed 16 October 2018).
12. Schimanski L A & Alperin J P, The evaluation of scholarship in academic promotion and tenure processes: Past, present, and future, F1000Research, 2018, 7, 1605; DOI: https://doi.org/10.12688/f1000research.16493.1 (accessed 16 October 2018).
13. Ball C, Barrett K, Berkery P, Clemons J, Crosby S, Falk-Krzesinski H J and Konkiel S, Promotion & Tenure Reform Workgroup Report, Open Scholarship Initiative Proceedings, 2017, 2(0): https://journals.gmu.edu/osi/article/view/1928 (accessed 16 October 2018).
14. De Rijcke S, Wouters P F, Rushforth A D, Franssen T P and Hammarfelt B, Evaluation practices and effects of indicator use – a literature review, Research Evaluation, 2016, 25(2), 161–169; DOI: https://doi.org/10.1093/reseval/rvv038 (accessed 16 October 2018).
15. Ochsner M, Hug S E, Daniel H D, Research assessment in the humanities: Towards criteria and procedures, 2016, Springer International Publishing, London; DOI: https://doi.org/10.1007/978-3-319-29016-4 (accessed 16 October 2018).
16. Guetzkow J, Lamont M and Mallard G, What is Originality in the Social Sciences and the Humanities?, American Sociological Review, 2004, 69(2), 190–212; DOI: https://doi.org/10.1177/000312240406900203 (accessed 24 October 2018).
17. Gogolin I, Åström and Hansen A, Approaches on Assessing Quality in European Educational Research Introduction to the volume. In: Assessing Quality in European Educational Research: Indicators and Approaches, Ed Gogolin I, Åström F and Hansen A, 2014, Springer Fachmedien Wiesbaden, Wiesbaden; DOI: https://doi.org/10.1007/978-3-658-05969-9_1 (accessed 16 October 2018).
18. Hammarfelt B, Following the Footnotes: A Bibliometric Analysis of Citation Patterns in Literary Studies, 2012, Uppsala: Uppsala University: http://urn.kb.se/resolve?urn=urn:nbn:se:hb:diva-280 (accessed 16 October 2018).
19. Ochsner M, Hug S and Galleron I, The future of research assessment in the humanities: bottom-up assessment procedures, Palgrave Communications, 2017: DOI: https://doi.org/10.1057/palcomms.2017.20 (accessed 16 October 2018).
20. De Rijcke S et al., ref. 14.
21. Ochsner M et al., ref. 15.
22. Hammarfelt B, An examination of the possibilities that altmetric methods offer in the case of the humanities (RIP), Proceedings of ISSI 2013 – 14th International Society of Scientometrics and Informetrics Conference, 2013, 1, 720–727.
23. Belfiore E, ‘Impact’, ‘value’ and ‘bad economics’: Making sense of the problem of value in the arts and humanities, Arts and Humanities in Higher Education, 2014; DOI: https://doi.org/10.1177/1474022214531503 (accessed 16 October 2018).
24. HuMetricsHSS Initiative: www.humetricshss.org (accessed 16 October 2018).
25. Triangle SCI: https://trianglesci.org/about/ (accessed 24 October 2018).
26. Ochsner M et al., ref. 15.