نماذج اللغة الكبيرة لتنظيم الاستشهادات: مسار محلي لإنتاج بيانات ببليوجرافية قابلة للمعالجة آليًا

مقدمة:

خلفية ودافع:

استغرقت مكتبات جامعة نورث وسترن وقتًا وجهدًا كبيرين في تنظيم بيانات الاستشهادات يدويًا. وتبين هذه التجربة أن نماذج اللغة الكبيرة يمكن أن تحول الاستشهادات النصية إلى BibTeX بكفاءة، لإنتاج بيانات وصفية قابلة للمعالجة آليًا، وأنها تستطيع العمل محليًا دون نفقات حوسبة سحابية. وعند اقترانها بالمراجعة البشرية، يمكن أن تحسن كفاءة النشر الجامعي مع المحافظة على الجودة.

تنشر المكتبات دوريتين محكمتين: The Bulletin of Applied Transgender Studies وStudies in Russian Philosophy, Literature, and Religious Thought. وتعمل تحت قيود اقتصادية مباشرة وقيود تكلفة الفرصة، لكنها تواجه مشكلات شبيهة بمشكلات الناشرين التجاريين بموارد أقل كثيرًا [1، 2].

ومن هذه المشكلات بيانات المراجع القابلة للمعالجة آليًا، التي تستخدم في عد الاستشهادات. ويساعد التقاطها وعدها واستخدامها بدقة جهات التمويل والجامعات والناشرين في قرارات توزيع الأموال، والمحكمين في التحقق من البحوث، والباحثين في تسريع مراجعة الأدبيات.

مثال من سير العمل:

نتلقى المخطوطات في ملفات Microsoft Word، ثم نستخدم Pandoc لتحويلها إلى Markdown، ومن مصدر واحد ننشئ نسختي PDF والويب [3]. لكن كتابة المؤلفين في Word تعني البحث يدويًا عن كل مرجع، وإضافته إلى Zotero، ثم تصديره إلى BibTeX لنسخة الويب [4]. ومع تولي شخص واحد عملية نشر الدوريات واتساعها وتعقدها، أصبح البحث عن طريقة أسرع ضرورة.

توجد مشروعات لتحويل النص العادي إلى BibTeX برمجيًا، لكنها قد تقتصر على لغات معينة [5] أو تعتمد على بيانات خارجية [6]. وتستشهد مخطوطاتنا كثيرًا بمصادر بلغات لا تستخدم الحروف اللاتينية، كما في دراسات الفلسفة الروسية، مما يقيد صلاحية عدد من تلك الأدوات [7].

بدأنا بتجربة واجهتي GPT-3 وGPT-3.5، لكن دفع رسوم المعالجة يضعف قابلية توسيعها إلى دوريات كثيرة ومئات المراجع في العدد. ونفضل أدوات شفافة يمكن تكرار نتائجها؛ إذ قد يتغير الوصول إلى النماذج التي تديرها جهة خارجية، فنضطر إلى تبديل النظام. أما الأدوات المفتوحة فتسمح بتغيير الإصدارات حسب الحاجة دون رسوم خدمة مماثلة. ولهذا اتجهنا إلى Ollama [8].

القيود ومواطن القلق:

تقتصر بيانات التحليل على أعمال تظهر في واجهة Crossref، مما يخلق تحيزًا ضد الأعمال القديمة والكتب الأكاديمية. وتناسب النتائج أكثر المجالات التي تركز استشهاداتها على أعمال حديثة، مثل العلوم الفيزيائية. وينبغي أن تتوسع الدراسات التالية إلى مراجع تاريخية وغير رقمية وغير أكاديمية.

وتثير نماذج اللغة مخاوف بيئية [9، 10]. وترى الكاتبة أن استخدام نماذج أصغر مثل المتاحة عبر Ollama قد يخفف هذه المخاوف. كذلك قد تولد النماذج بيانات مختلقة. لكن الجمع بين مدققات مثل bibtexparser والمراجعة البشرية منح فريقنا ثقة كافية لاستخدام النظام في إنتاج الدوريات [11]. ويظل بناء مسارات قابلة للتوسع والتحقق، تحتاج إلى إشراف بشري أقل، مهمة مستقبلية.

المنهجية:

جُمعت البيانات عبر Crossref باستخدام دالة العينات لاختيار DOI عشوائي، ثم تفاوض المحتوى لجلب استشهاد نصي بنمط يختار عشوائيًا من سبعة أنماط: Chicago Author-Date وElsevier-Harvard وEcoscience وAPA وMLA وIEEE وCouncil of Science Editors [12].

وجُمعت لكل عمل أربعة متغيرات: DOI؛ والاستشهاد بصيغة BibTeX؛ والاستشهاد النصي؛ ونمط الاستشهاد النصي. وأنتج الاختيار العشوائي توزيعًا متقاربًا للأنماط، كما يبين الشكل الأول في الأصل.

التحليل:

اختُبرت النماذج الثمانية بأدوات Ollama على عنقود Quest في الجامعة، داخل حاوية Singularity [13–15]. واستغرق الاختبار أربع عشرة ساعة على وحدتي رسوميات NVIDIA A100، وعقدة ذات ثماني أنوية وذاكرة 128 غيغابايت [16، 17]. وكُتبت الشيفرة ببايثون في بيئة Anaconda لتيسير إعادة النشر [18].

استُخدم الاستشهاد النصي من Crossref مدخلًا، وبياناته مرجعًا للمقارنة، ووُجه إلى كل نموذج الطلب نفسه: «أنت محلل استشهادات محترف. حوّل الاستشهاد النصي المعطى إلى مدخل BibTeX منظم، مع الحقول المناسبة، مثل المؤلف والعنوان والدورية والمجلد والصفحات والسنة. أخرج مدخل BibTeX وحده دون شروح أو مقدمات أو نص إضافي».

وشملت النماذج codegemma:2b وcodegemma:7b وllama2:7b وllama3.3:70b وllama3:8b وmistral:7b وstarcoder2:3b وtinyllama، لتمثيل أحجام وطرائق تدريب مختلفة.

وحُفظت متغيرات النموذج، والاستشهاد النصي، ومدة التوليد، وBibTeX الفعلي من Crossref، وعدد الحقول المقارنة، وعدد الحقول المتطابقة، ونسبة التطابق التي تساوي عدد المتطابق مقسومًا على الإجمالي. ونتجت ثمانية ملفات CSV يضم كل منها نحو ثلاثة آلاف صف، يمثل كل صف DOI واحدًا، لتحليل الكفاءة والفاعلية.

فاعلية النماذج:

حقق llama3.3:70b، وهو الأكبر بين النماذج المختبَرة، أفضل أداء. ولم ينتج starcoder2:3b أي مدخل BibTeX صحيح البنية، بينما أنتجت بقية النماذج مداخل قابلة للتحليل لكل الاستشهادات. وهذا ما يعرضه الشكل الثاني، ويعرض الثالث توزيع مدد التوليد.

لكن سلامة BibTeX هنا تعني إمكانية تحليله دون خطأ نحوي، ولا تعني صحة البيانات التي يتضمنها. وقد أنتج llama3.3:70b أكثر المداخل مطابقة للمرجع، لكن الاختلاف عن تمثيل Crossref لا يدل دائمًا على خطأ.

اقترب Mistral وCodegemma من أدائه مع عدد معلمات أقل وكلفة حوسبية أدنى. وقد يكون التنازل عن 0.2% من الدقة الإجمالية مقابل سرعة تقارب خمسة أمثالها مناسبًا لهذه الحالة.

كانت حقول المجلد والسنة والدورية الأكثر دقة، والمؤلف والناشر والجامعة الأقل، كما يبين الشكل الرابع. وتسمح الحقول الأخيرة بحرية أكبر في الصياغة، مما قد يجعل القيم الصحيحة مختلفة نصيًا. فـNational Academy of Sciences, The وThe National Academy of Sciences يدلان على الجهة نفسها، لكن المقارنة النصية قد تعاملهما كاختلاف. ويجب تطوير مدقق للتكافؤ بين أسماء الأشخاص والناشرين والجامعات.

لذلك ينبغي فهم النتائج باعتبارها تطابقًا مع Crossref، لا حكمًا بأن كل حقل مختلف خطأ. وتفيد المقارنة في اختيار النموذج الملائم أكثر مما تفيد في الاستنتاج أن نصف الحقول غير صحيح.

إعادة التجربة على أجهزة شخصية:

استُخدم الحاسوب الفائق لتيسير المقارنة، لكن النماذج الأصغر من عشرة مليارات معلمة يمكن تشغيلها على أجهزة شخصية حديثة. وجُرّبت على جهاز ببطاقة NVIDIA 3080 Ti ومعالج AMD Ryzen ذي ست أنوية وذاكرة 32 غيغابايت، وعلى Apple M3 Max بذاكرة 36 غيغابايت.

يعرض الأصل أمر تثبيت Ollama في أنظمة UNIX باستخدام cURL، ثم تنزيل نموذج Mistral، والتعامل مع خادم محلي يستمع إلى المنفذ 11434. وترد الأوامر والدالة أدناه للتوثيق. ويمكن إرسال المدخلات إلى الدالة للحصول على استجابة BibTeX، وتوجد الشيفرة الكاملة في مستودع الكاتبة.

خاتمة وإتاحة البيانات:

يمكن للناشرين الجامعيين استخدام نماذج صغيرة تعمل محليًا لإنشاء BibTeX سليم البنية وأتمتة خطوة من إعداد بيانات الاستشهادات. وبحسب التجربة وقت نشرها، توفر نماذج سبعة مليارات معلمة، خصوصًا Mistral، أداءً مقبولًا على حواسيب محمولة حديثة بتكلفة منخفضة، مع بقاء التحقق البشري ضروريًا.

تسعى الكاتبة إلى الالتزام بمبادئ FAIR لإتاحة البيانات وإعادة استخدامها؛ وتتوافر بيانات التحليل والشيفرة في GitHub.

جدول مدة التوليد:

القيمة الصفرية لـstarcoder2 لا تدل على سرعة إنتاج ناجح؛ فقد فشل في توليد مداخل صالحة في الاختبار.

الأوامر والدالة الواردة في الأصل:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull mistral

def generate_text_with_ollama(model_name, prompt):
    url = 'http://localhost:11434/api/generate'
    payload = {
        "model": model_name,
        "prompt": prompt,
        "temperature": 0,
        "stop": ["\n\n"]
    }
    headers = {"Content-Type": "application/json"}
    response = requests.post(url, headers=headers,
                             data=json.dumps(payload), stream=True)
    generated_text = ''
    for line in response.iter_lines():
        if line:
            data = json.loads(line)
            if data.get('done', False):
                break
            else:
                generated_text += data.get('response', '')
    return generated_text.strip()

الهوامش:

[15] تتيح حاويات Singularity بيئات قابلة لإعادة الإنتاج، ويتوافر ملف تعريف الحاوية في المستودع. وبسبب الطبيعة الاحتمالية للنماذج، تُتوقع نتائج متشابهة بدرجة معقولة لا متطابقة تمامًا. ويساعد الملف المؤسسات على نشر النظام محليًا.

[16] يتوافر نص إنشاء مهمة SLURM في مستودع Biblatex-Transformer.

[17] شكر لكات نايكيل من جامعة بوردو على المساعدة في بناء حاوية Singularity ونشرها.

[18] مرجع بيئة إعادة الإنتاج هو مستودع Netzer نفسه المذكور في المرجع 12.

المراجع:

• [1] ACRL (2024). The State of U.S. Academic Libraries: Findings from the ACRL 2023 Annual Survey.
• [2] RELX (2023). Market Segments.
• [3] Pandoc، تاريخ الاطلاع 8 مارس 2024.
• [4] Zotero: Your Personal Research Assistant، تاريخ الاطلاع 31 ديسمبر 2024.
• [5] Makino Takaki. Generate BiBTeX Entry from Plain Text. النص، تاريخ الاطلاع 9 مارس 2024.
• [6] Text2bib، تاريخ الاطلاع 9 مارس 2024.
• [7] Williams, R. (2024). Sergeii Bulgakov, Socialism, and the Church. Northwestern University Studies in Russian Philosophy, Literature, and Religious Thought.
• [8] Ollama (2025). Ollama/Ollama.
• [9] Ding, Y., and Shi, T. (2024). Sustainable LLM Serving: Environmental Implications, Challenges, and Opportunities. IGSC, 37–38. DOI:10.1109/IGSC64514.2024.00016.
• [10] Chien, A. A., et al. (2023). Reducing the Carbon Impact of Generative AI Inference (Today and in 2035). Proceedings of the 2nd Workshop on Sustainable Computer Systems, 1–7. DOI:10.1145/3604930.3605705.
• [11] About the Journal – Bulletin of Applied Transgender Studies، تاريخ الاطلاع 8 مارس 2024.
• [12] Netzer, A. (2025). Biblatex-Transformer: الشيفرة والبيانات.
• [13] Northwestern University. Quest High-Performance Computing Cluster، تاريخ الاطلاع 1 يناير 2025.
• [14] Kurtzer, G. M., Sochat, V., and Bauer, M. W. (2017). Singularity: Scientific Containers for Mobility of Compute. PLOS ONE, 12(5), e0177459. DOI:10.1371/journal.pone.0177459.