جدوى الذكاء الاصطناعي المحلي مفتوح المصدر في إنشاء البيانات الوصفية لمجموعات الصور الرقمية

مقدمة:

من تطبيقات الذكاء الاصطناعي في المكتبات قدرته المحتملة على المساعدة في إنشاء البيانات الوصفية للصور بتوليد أوصاف أو عناوين أو كلمات مفتاحية للمجموعات الرقمية. وتتوافر خيارات كثيرة للذكاء الاصطناعي، تتراوح بين الحلول البرمجية السحابية التي تقدّمها الشركات، ومنها (Microsoft Azure Custom Vision) و(Computer Vision) و(Google Cloud Vision)، وحزم البرمجيات مفتوحة المصدر المستضافة محليًا مثل (OpenCV) و(Sheeko). وتبحث دراسة الحالة هذه في جدوى نشر برمجية الذكاء الاصطناعي مفتوحة المصدر المستضافة محليًا (Sheeko) (رابط المصدر)، وفي دقة الأوصاف التي تولّدها للصور باستخدام اثنين من نماذجها المدرَّبة مسبقًا. وتهدف الدراسة إلى التحقق مما إذا كان ذكاء (Sheeko) الاصطناعي حلًا مجديًا لإنتاج بيانات وصفية في صورة أوصاف أو عناوين للمجموعات الرقمية في مكتبات جامعة كالغاري ومواردها الثقافية (LCR).

السياق:

كما هو الحال في مؤسسات كثيرة، تمتلك مكتبات جامعة كالغاري ومواردها الثقافية عددًا كبيرًا من المجموعات الرقمية، يفتقر كثير منها إلى بيانات وصفية كافية في صورة عناوين وأوصاف دقيقة. ويغلب على المجموعات الرقمية لدى (LCR) الطابع الأرشيفي، وترتبط باتفاقيات مع المتبرعين تقتضي منا طلب الإذن لمعالجتها عبر خدمات ذكاء اصطناعي تابعة لأطراف ثالثة. وفي أثناء جائحة كوفيد-19، كانت (LCR) في طور ترحيل مجموعاتنا الرقمية من (CONTENTdm) إلى نظام جديد لإدارة الأصول الرقمية (Digital Assets Management, DAM) من شركة (Orange Logic) (رابط المصدر). ومع أن نظام إدارة الأصول الرقمية من (Orange Logic) يقدّم خدمات ذكاء اصطناعي من أطراف ثالثة، هي (Google) و(Microsoft)، لتوليد الكلمات المفتاحية، والتعرف على الوجوه، ووسم المحتوى المسيء، فإنه لا يقدّم توليد أوصاف الصور (image captioning) ضمن خدمات الذكاء الاصطناعي لديه. وحين تطلّعنا إلى الذكاء الاصطناعي للمساعدة في تحسين بعض جوانب إنشاء البيانات الوصفية لمجموعاتنا الرقمية وربما أتمتتها، قدّم مشروع (Sheeko) حلًا محتملًا في صورة برمجية محلية مفتوحة المصدر لإنتاج أوصاف أمِلنا أن تُستخدم لإنشاء أوصاف أو عناوين للصور، ولا سيما في بعض مجموعاتنا الأكبر.

حلول محتملة من خدمات الشركات لمعالجة الصور بالذكاء الاصطناعي:

قبل الخوض في تفاصيل دراسة الحالة هذه لاختبار ذكاء (Sheeko) الاصطناعي المستضاف محليًا، من المفيد إجراء استعراض موجز للحلول التي أصبحت متاحة لجامعة كالغاري، والموازنة بين بعض نقاط قوتها وضعفها فيما يتعلق بإنشاء البيانات الوصفية. فخدمة (Azure Custom Vision) من (Microsoft) (رابط المصدر) «خدمة للتعرف على الصور تتيح لك بناء نماذجك الخاصة لتحديد الصور ونشرها وتحسينها» (Farley et al. 2022). وثمة فرق رئيس واحد بين خدمتَي (Computer Vision) و(Custom Vision) من (Microsoft)؛ إذ تمنح (Custom Vision) المستخدمين القدرة على تحديد التسميات (labels) التي تُستخدم للأشياء داخل الصور وتدريب النماذج على اكتشاف تلك الأشياء، في حين تقدّم (Computer Vision) للمستخدمين «أنطولوجيا تضم أكثر من 10,000 مفهوم وشيء» ثابتة يمكن تطبيقها على الصور (Computer Vision . . . c2023). وتقدّم (Computer Vision) أيضًا مجموعة من الخدمات الأخرى، منها التعرف الضوئي على الحروف (Optical Character Recognition, OCR) وخدمات التعرف على الوجوه، وهي مفيدة كذلك لاكتشاف (discovery) الصور في المجموعات الرقمية، لكن هذا المقال لا يتناولها. ومع أن خدمة (Computer Vision) من (Azure) (رابط المصدر) تقدّم فعلًا خدمة للوصف على الصور ضمن حزمة الخدمات المعرفية (Cognitive Services)، فإن هذا المنتج غير مدرج في خدمات الأطراف الثالثة لدى (Orange Logic)، وسيتطلب مزيدًا من التخصيص. أما (Google Vision) (رابط المصدر) فتتيح للمستخدمين «إسناد تسميات إلى الصور وتصنيفها بسرعة في ملايين الفئات المحددة مسبقًا. واكتشاف الأشياء، وقراءة النصوص المطبوعة والمكتوبة بخط اليد، وبناء بيانات وصفية قيّمة في فهرس صورك» (Vision AI … n.d.). وتخطط (LCR) لاختبار تقنية التعرف على الوجوه والوسم الآلي للصور بالكلمات المفتاحية مستقبلًا، لكن أيًّا منهما لم يكن مفيدًا بمفرده في استخلاص الأوصاف أو العناوين المعيارية التي كنا نريدها حاليًا. وتتطلب خدمات (Microsoft) و(Google) كلتاهما إرسال الصور عبر واجهة برمجة تطبيقات (API) إلى خدماتهما، ثم معالجتها وإعادة النتائج، وهو ما يستغرق وقتًا ويتم خارج المؤسسة. ولو أُجريت هذه المعالجة داخل المؤسسة بجهاز محلي، لأمكن معالجة بيانات الصور بحجم أكبر وسرعة أعلى. وإضافة إلى ذلك، فإن لخدمات (Google) و(Microsoft) كلتيهما تكلفة، وإن لم تكن تكاليف هذه الخدمات كبيرة بما يكفي لتكون رادعًا عن استخدامها [1][2]. وتتمثل أكبر نقاط قوة خدمات الأطراف الثالثة هذه المتاحة عبر (Orange Logic) في سهولة استخدامها، وتكاملها مع منصة المجموعات الرقمية، وقدرتها على التعرف على أشياء أو أشخاص بعينهم ثم وسم الصور آليًا. غير أن أيًّا من هاتين الخدمتين لم تقدّم الحل الأمتن المتمثل في توليد عبارات متكاملة تُستخدم في الأوصاف اللازمة لوصف الصور أو لعناوينها. وفي المقابل، كان (Sheeko) يقدّم حلًا محتملًا للوصف على الصور.

(Sheeko): حل محلي مفتوح المصدر للذكاء الاصطناعي في معالجة الصور:

(Sheeko) بيئة برمجية للذكاء الاصطناعي مستضافة محليًا، طوّرها فريق من مكتبة جيه. ويلارد ماريوت (J. Willard Marriott Library) بجامعة يوتا (University of Utah)، يتألف من هاريش مارينغانتي (Harish Maringanti)، ودانوشكا ساماراكون (Dhanushka Samarakoon)، وبوهان تشو (Bohan Zhu). ويطبّق (Sheeko) نماذج تعلّم الآلة على مجموعات الصور لاكتشاف الأشياء وتوليد الأوصاف. وهو مبني على بيئة برمجية مفتوحة المصدر، مكوناتها مدرجة أو متاحة للتنزيل عبر (GitHub). ويقدّم (Sheeko) للمستخدمين المحتملين ثلاثة خيارات لاستخدام البيئة، كما هو موضح في قسمَي «(Training a Model)» و«(Sheeko Pretrained Models Resource)» من ملف (README) في مستودع (GitHub) (Samarakoon and Zhu 2021). إذ يمكن لمستخدمي (Sheeko) تدريب نموذجهم الخاص (باستخدام نموذج (Inception v3))، أو ضبط نموذج قائم ضبطًا دقيقًا (باستخدام نموذج (im2txt))، أو استخدام أحد سبعة نماذج مدرَّبة مسبقًا متاحة للتنزيل على موقعهم (Maringanti et al. n.d). لكن قبل الشروع في هذه العملية، يجب على المستخدمين تثبيت الحزمة إما في (VirtualBox)، وإما بتنزيل حزمة الشيفرة والبرمجيات الإضافية المطلوبة مسبقًا.

وكان القصد من اختبار (Sheeko) في جامعة كالغاري التحقق مما إذا كان تدريب نموذج، أو نشر نموذج مدرَّب مسبقًا من (Sheeko)، إجابةً عملية عن الحاجة إلى البيانات الوصفية للأوصاف والعناوين اللازمة لمجموعات الصور التي لم تكن موصوفة حينئذ. وقد أُجري الاختبار في جامعة كالغاري عام 2020 في أثناء جائحة كوفيد-19، حين كان معظم الموظفين، وأنا منهم، يعملون من المنزل. ولم تنجح المحاولة الأولى لتثبيت (VirtualBox)، فطلبت المساعدة من موظفي خدمات التقنية (Technology Services) لدينا.

ولأن بيئة (VirtualBox) مدعومة باستخدام (Vagrant) وتتطلب من المستخدمين ضبط إعدادات (BIOS) اللازمة، ولأن هذا العمل كان سيُنفَّذ على حاسوب محمول تديره الجامعة وموجود حينئذ في منزلي، بمساعدة عن بُعد من خدمات التقنية، لم يكن استخدام (VirtualBox) خيارًا متاحًا. ومن ثَمّ كان التثبيت المحلي لحزمة الشيفرة هو الطريقة المختارة. ولنشر (Sheeko) محليًا، تلزم تهيئات محددة للعتاد، ونحو اثني عشر من اعتماديات حزمة الشيفرة، كما هو مدرج في الورقة البيضاء لمشروع (Catalyst) وفي قسم البدء (getting started) في صفحتهم على (GitHub) (Maringanti et al. 2019; Samarakoon and Zhu 2021). ومن بين المتطلبات المسبقة الكثيرة للنظام عمليات تثبيت محددة لوحدة معالجة الرسوميات (GPU) ومشغّلاتها، ومعرفة ببرمجة بايثون (Python) تتجاوز المستوى التمهيدي. واستغرقت هذه المهام عدة أسابيع من موظفي خدمات التقنية لإنجازها. وبعد تثبيت البرمجية، قررنا اختبار نموذجين مدرَّبين مسبقًا على مجموعة من 114 صورة. وتستخدم جميع النماذج المدرَّبة مسبقًا المتاحة للتنزيل من مشروع (Sheeko) نموذج «(Show and Tell)» من (Tensorflow) نموذجًا أساسيًا، يُحسَّن وفق مواصفات مختلفة في كل نموذج من النماذج السبعة المتاحة. و(Tensorflow) «منصة مفتوحة المصدر متكاملة من البداية إلى النهاية لتعلّم الآلة» (Tensorflow n.d.). و«نموذج (Show and Tell) شبكة عصبية عميقة تتعلم وصف محتوى الصور» (Kim et al. 2020). واستخدمت دراسة الحالة هذه نموذجين: نموذج (MS COCO) ‏(ptm-im2txt-incv3-mscoco-3m) الذي دُرّب على صور من مجموعة (Microsoft Common Objects in Context)؛ ونموذج (Marriott) ‏(ptm-im2txt-incv3-mlib-cleaned-3m) الذي دُرّب على صور فوتوغرافية تاريخية من المجموعة الرقمية لمكتبة ماريوت. وكان الهدف الرئيس من الاختبار معرفة ما إذا كان أيٌّ من هذين النموذجين ملائمًا لأيٍّ من طائفة من المجموعات تتراوح بين الصور الفوتوغرافية التاريخية والأحدث عهدًا. ولزيادة الضبط التجريبي، أردنا إبقاء أكبر عدد ممكن من المتغيرات ثابتًا في النموذجين. فقد سبق تدريب كلا النموذجين المدرَّبين مسبقًا المختارين بنموذج (Show and Tell)، بنقطة انطلاق هي (Inception v3) و3 ملايين خطوة. وتمثّل الفرقان الرئيسان بين النموذجين في الصور المستخدمة في التدريب، وفي أن نموذج (Marriott) خضع لمعالجة اللغة الطبيعية والتنظيف لإزالة أسماء العلم.

اختيار عينة الصور:

للتحقق من نقاط قوة النموذجين المختارين من (Sheeko) ونقاط ضعفهما، ولمعرفة أي نموذج أدى أداءً أفضل مع الصور ذات الخصائص أو الأشياء المعينة، اختيرت عينة مقطعية من 114 صورة من مجموعات رقمية كبيرة كانت تفتقر إلى عناوين وصفية. وشمل ذلك صورًا من مكتبة ومحفوظات غلينبو (Glenbow Library and Archives) ‏(رابط المصدر)، تتضمن في معظمها صورًا تاريخية عن غرب كندا وتاريخ مقاطعة ألبرتا وحياة المستوطنين، يعود تاريخها إلى أواخر القرن التاسع عشر فما بعد. وكانت الصور المأخوذة من مجموعة دراسات الجبال (Mountain Studies) ‏(رابط المصدر) للمتنزهات الوطنية في جبال الروكي الكندية، وتضمنت جبالًا ومناظر طبيعية وحياة برية. أما الصور المأخوذة من مجموعة كالغاري ستامبيد (Calgary Stampede) ‏(رابط المصدر)، فكانت هي الأخرى ذات طابع غربي لكنها أحدث عهدًا، مع تركيز على الخيول ورعاة البقر وساحات المعارض، ويعود تاريخها إلى الستينيات فما بعد، مع أن المجموعة نفسها تضم صورًا من عام 1908 فما بعد. وكانت الصور المأخوذة من أرشيف (EMI Music Canada) ‏(رابط المصدر) لأشياء موسيقية، منها الأشرطة والأسطوانات والأقراص المدمجة وعلب حفظ أخرى. وكانت الصور المأخوذة من معارض نيكل (Nickle Galleries) لعدد قليل من القطع الفنية، وهي غير متاحة للجمهور حاليًا. وتضمنت الصور المأخوذة من مجموعة صور جامعة كالغاري (University of Calgary Photographs) ‏(رابط المصدر) مباني الجامعة من الخمسينيات فما بعد. وأُخذت الصور المتبقية من مجموعة الصور الجوية لألبرتا (Alberta Airphotos) ‏(رابط المصدر)، ومجموعة المحفوظات الفوتوغرافية لمعهد القطب الشمالي لأمريكا الشمالية (Arctic Institute of North America Photographic Archives) ‏(رابط المصدر)، ومجموعة إضراب وينيبيغ العام (Winnipeg General Strike) ‏(رابط المصدر).

نظام تقييم أوصاف (Sheeko):

حين يشغّل (Sheeko) نموذجًا لتوليد أوصاف للصور، يُخرج كل نموذج ملف (json) يتضمن أسماء ملفات جميع الصور المعالَجة، والأوصاف الثلاثة المولَّدة لكل اسم ملف، ودرجة ثقة لكل وصف. ولم تكن الأوصاف الأعلى في درجة الثقة هي الأنسب بالضرورة. ومع أن مُخرَج (json) مفيد، فإنه يعني أن على المستخدمين عرض الملفات بمعزل عن الأوصاف، وهو أمر غير ميسّر للمستخدم ولا مفيد حين يحاول المرء تقييم أفضل الأوصاف لصورة ما. وقد خطرت لإحدى محللات دعم تقنية المكتبات، كارين مارتن-لي (Karynn Martin-Li)، في مكتبات جامعة كالغاري ومواردها الثقافية، فكرة بارعة هي بناء أداة عرض تعرض الصورة والأوصاف الثلاثة من كل نموذج مُختبَر. وقد جعلت أداة العرض المخصصة عملية اختيار الوصف المناسب من كل نموذج أيسر على المستخدم بكثير. وقد بنتها مارتن-لي خصيصًا ولم تكن مدرجة في (Sheeko)، لكنها أوجدت واجهة وجعلت الاستخدام أسهل بكثير.

{"file_name": "glenbowid21521.jpg",
"captions": [{"caption_text": "a black and white cow standing in a field.",
"score": 0.0012332111498308891},
{"caption_text": "a black and white photo of a cow standing in the snow.",
"score": 0.0004844283302840979},
{"caption_text": "a black and white cow standing in a field",
"score": 0.00048442775066202847}]},
{"file_name": "glenbowid21745.jpg",
"captions": [{"caption_text": "a black and white photo of a city street.",
"score": 0.0016210542383307202},
{"caption_text": "a black and white photo of a city street",
"score": 0.000650292656660278},
{"caption_text": "a black and white photo of a city bus",
"score": 0.0004501958654109137}]},
{"file_name": "glenbowid21841.jpg",
"captions": [{"caption_text": "a black and white photo of a city street.",
"score": 0.001934344178677972},
{"caption_text": "a black and white photo of a city street",
"score": 0.0014626184147026346},
{"caption_text": "a black and white photo of a building",
"score": 0.0007475796404555153}]},

ولكل صورة من الصور الـ114 المعالَجة جميعها، اختير أحد الأوصاف الثلاثة بوصفه الأنسب من كلٍّ من نموذج (MS COCO) ونموذج (Marriott). وقُيّمت الأوصاف المختارة من كل نموذج من هذين النموذجين على مقياس من صفر إلى خمسة (صفر لأدنى وصف جودةً، وخمسة لأعلى وصف جودةً). واستند تقييم الأوصاف إلى ثلاثة متغيرات: تحديد الموضوعات أو الأشياء الموجودة في الصورة (0-2 نقطة)، وخلفية الصورة أو سياقها المكاني (0-2 نقطة)، ونوع الصورة (0-1 نقطة). والمجموع البالغ ثلاث درجات فأكثر يُعد صالحًا للاستخدام أساسًا لوصف. وسيوضح فحص بعض الأوصاف من كل نموذج كيفية عمل نظام الترتيب.

ملاحظات على أوصاف (Sheeko):

مُنحت الصورة الفوتوغرافية المعنونة «’(Canso)’ (at head of Coronation Fiord)» ‏[طائرة «كانسو» عند رأس مضيق كورونيشن] في مجموعة معهد القطب الشمالي لأمريكا الشمالية بجامعة كالغاري الدرجة خمسة لوصف نموذج (MS COCO) ‏«(a black and white photo of a plane in the water)» ‏[صورة بالأبيض والأسود لطائرة في الماء]. فقد وصف وصف (MS COCO) على نحو مناسب نوع الصورة بأنها بالأبيض والأسود، والشيء بأنه طائرة، والخلفية بأنها ماء. أما وصف نموذج (Marriott) لهذه الصورة فأُعطي الدرجة واحدًا عن وصفه «(photo shows a helicopter being used like a crane to transport a tower during construction of a lift)» ‏[صورة تُظهر مروحية تُستخدم كرافعة لنقل برج في أثناء إنشاء مصعد]. ويصف هذا الوصف نوع الصورة وصفًا دقيقًا بأنها صورة فوتوغرافية، لكنه لا يحدد الشيء ولا الخلفية في الصورة تحديدًا صحيحًا.

وحصلت الصورة المعنونة «(Cattalo), (male), (named) ‘(King)’ (in Buffalo National Park near Wainwright), (Alberta).» ‏[كاتالو، ذكر، يُدعى «كينغ»، في متنزه بافلو الوطني قرب وينرايت، ألبرتا] في المجموعة الرقمية لمكتبة ومحفوظات غلينبو على الدرجة 4 عن وصف نموذج (MS COCO) ‏«(a black and white photo of a cow standing in the snow)» ‏[صورة بالأبيض والأسود لبقرة واقفة في الثلج]. ويحدد هذا الوصف نوع الصورة تحديدًا صحيحًا بأنها بالأبيض والأسود، لكن وصف الأشياء دقيق جزئيًا فقط. فالحيوان في هذه الصورة كاتالو (cattalo)، وهو هجين بين البقرة والجاموس الأمريكي (البافلو)، علمًا بأنه كان متوقعًا ألا يكون أي نموذج ذكاء اصطناعي قد دُرّب على حيوانات الكاتالو حتى الآن. ومع ذلك، يبدو الحيوان شبيهًا جدًا بالجاموس الأمريكي، ولذا فالوصف صحيح بنسبة النصف حين يصنّف الموضوع بأنه بقرة. والخلفية أيضًا صحيحة جزئيًا فقط، إذ إن الحيوان واقف في الثلج، لكن لا ذكر لحقل أو مرعى أو أشجار موجودة في الخلفية. وكان وصف (Marriott) لهذه الصورة «(photo show a cow grazing)» ‏[صورة تُظهر بقرة ترعى]، وقد مُنح درجة 2، إذ إن وصف نوع الصورة بأنها صورة فوتوغرافية صحيح، لكنه يفتقر إلى الواصفَين «بالأبيض والأسود». وموضوع البقرة صحيح بنسبة النصف، والحيوان لا يرعى، ولم تُذكر أي خلفية.

وبالنسبة إلى البطاقة البريدية المعنونة «(Dog Team in Heavy)» ‏[فريق كلاب في (ثلج) كثيف] للمصوّر بايرون هارمون (Byron Harmon)، في المجموعة الرقمية لدراسات الجبال، أنتج كلا النموذجين أوصاف بالدرجة 1. فقد ولّد نموذج (MS COCO) الوصف «(picture of a vase of flowers on a table)» ‏[صورة لمزهرية زهور على طاولة]، فحدد تحديدًا صحيحًا نوع الصورة فقط بأنها صورة، وأخطأ بشأن الكلاب والرجل في البطاقة البريدية، وكذلك بشأن السياق المكاني المتمثل في غابة مكسوّة بالثلج. وأنتج نموذج (Marriott) الوصف «(artwork a person)» ‏[عمل فني شخص] وحصل على الدرجة 1، إذ إن الصورة عمل فني لكن العمل الفني صورة فوتوغرافية، فلم تُمنح نقاط لنوع الصورة. وقد حدد النموذج تحديدًا صحيحًا أحد الموضوعات بأنه شخص، لكنه لم يذكر الكلاب، ولم يصف الخلفية إطلاقًا.

وكانت النتائج الإجمالية أن نموذج (MS COCO) المدرَّب مسبقًا أدى أداءً أفضل بكثير، إذ حصلت 53% من الصور على درجة 3 أو أكثر. أما نموذج مكتبة ماريوت المدرَّب مسبقًا فلم تحصل إلا 15% من الصور معه على درجة 3 أو أكثر. ويمكن الاطلاع على التفصيل الكامل للنتائج في الجدول 1.

الجدول 1: نتائج تقييم الأوصاف المولّدة للصور:

ومن بين الصور المعالَجة، كان أداء كلا النموذجين ضعيفًا مع صور أرشيف (EMI Music Canada) ومعارض نيكل ومجموعات صور جامعة كالغاري، التي تضم أنواعًا معينة من الأشياء مثل أشرطة الكاسيت والأسطوانات والأعمال الفنية والصور الشخصية (البورتريهات). ومن هذه النتائج تقرر أن (Sheeko) لن يكون ملائمًا للصور التي تتطلب تحديد موقع بعينه أو الصور التي تتطلب تسمية الأفراد. وكان أداء النموذجين أفضل ما يكون مع صور مجموعة كالغاري ستامبيد ومجموعات غلينبو، حيث كان يصف أشياء أعم مثل مجموعات من الناس أو المباني أو الحيوانات أو المناظر الطبيعية. ولو أُجري مزيد من الاختبارات باستخدام (Sheeko)، لاستُخدم نموذج (MS COCO) أساسًا لمزيد من التدريب.

وفي تقرير الورقة البيضاء الذي كتبه مبتكرو (Sheeko) بعنوان «تعلّم الآلة يلتقي بالأرشيفات المكتبية: تحليل الصور لتوليد بيانات وصفية» (Machine learning meets library archives: Image analysis to generate descriptive metadata)، يذكرون أن نماذج (MS COCO) وغيرها من النماذج القائمة «طُوّرت مع التركيز على الصور الفوتوغرافية المولودة رقميًا للأشياء والمواقف اليومية (Maringanti et al. 2019). وتضمنت هذه النماذج أشياء لم تكن موجودة في الصور الفوتوغرافية التاريخية» (Maringanti et al. 2019). وقد أكدت دراسة الحالة هذه وجود أخطاء في تحديد بعض الموضوعات أو الأشياء. فقد كان واضحًا أن كلا النموذجين دُرّب على أنواع معينة من فئات الأشياء والموضوعات، كالخيول والأبقار مثلًا، لا على البيسون أو الجاموس الأمريكي أو الكاتالو. فحين ترى النماذج كاتالو، فإنها تصفه بأنه حصان أو بقرة، لا بيسون. وبالمثل، لم يُنتج أيٌّ من النموذجين أوصاف مفيدة لأشرطة الكاسيت، التي حددها نموذج (MS COCO) في إحدى الحالات بأنها وحدة تحكم في ألعاب (Nintendo Wii)، ووصفها نموذج (Marriott) بأنها عمل فني. ولتدريب نموذج على تحديد فئة أشياء معينة غير مدرجة حاليًا في ذلك النموذج، كالبيسون أو شريط الكاسيت، تلزم معالجة 10,000 صورة لذلك الشيء من زوايا مختلفة. ولا يتطلب تدريب نماذج الذكاء الاصطناعي استثمارًا كبيرًا للوقت في المعالجة، لكنه سيتطلب استثمارًا كبيرًا للوقت في تحليل المجموعات وتحديد الصور لتعيين فئات الموضوعات والأشياء اللازمة لتدريب النماذج، وفي جمع الصور لتدريب نموذج.

الخاتمة:

كان هدف دراسة الحالة هذه اختبار اثنين من نماذج تعلّم الآلة المدرَّبة مسبقًا في (Sheeko) للتحقق مما إذا كانت ستُنتج أوصاف يمكن استخدامها أوصافًا أو عناوين، ومن ثَمّ تقليل مقدار الوقت والعمل المطلوب من الموظفين لوصف الصور في المجموعات الرقمية لجامعة كالغاري. وتُظهر نتائج (Sheeko) أنه يُنتج فعلًا أوصاف يمكن استخدامها أساسًا للأوصاف، مع تدخل بشري معتدل. ولن تكون الأوصاف ملائمة لإنشاء العناوين دون تدخل بشري كبير. ولو استُخدم (Sheeko) لتوليد الأوصاف، فليس واضحًا ما إذا كان مقدار الوقت اللازم لاختيار أنسب وصف من الخيارات الثلاثة المولَّدة ثم إنشاء معلومات إضافية، أو تعديل وصف قائم بمعلومات من الأوصاف التي ولّدها (Sheeko)، سيكون أقل من الوقت الذي يستغرقه شخص لإنشاء بيانات وصفية للوصف من الصفر. وفي نهاية دراسة الحالة هذه تقرر عدم المضي في (Sheeko) بوصفه حلًا محتملًا للذكاء الاصطناعي لإنشاء البيانات الوصفية في الوقت الحالي. فالنتائج المستقلة لنموذج (MS COCO)، وإن كانت أفضل بكثير من نتائج نموذج (Marriott)، لم تُسفر عن أوصاف صالحة للاستخدام إلا لـ53% من الصور. وكان حجم الوقت والموارد البشرية المتوقع تخصيصها لتدريب النماذج على تحديد نوع الأشياء والموضوعات في المجموعات الرقمية لدى (LCR) التي تفتقر إلى أوصاف، أو ذات الأوصاف الضئيلة، غير متناسب مع جودة النتائج في دراسة الحالة هذه. وكون نشر (Sheeko)، وأي تدريب إضافي للنماذج فيه، سيعتمد اعتمادًا كبيرًا على مهارات موظفي تقنية المعلومات في (LCR)، ويتطلب وقتًا لإنشاء النماذج وتوفير الصور اللازمة للنمذجة، كان كله من العوامل التي ثبّطت المضي في (Sheeko). وقد صُممت دراسة الحالة هذه في البداية مشروعًا بحثيًا لي بصفتي أمينة مكتبة البيانات الوصفية الرقمية، على أن يمكّن الدعم التقني هذه المبادرة حيثما ومتى لزم الأمر. أما الواقع فكان أن هذا المشروع قاده من نواحٍ كثيرة فريق تقنية المعلومات في (LCR)، الذي أنا ممتنة له أشد الامتنان.

وقد جرت دراسة الحالة هذه بينما كان قسم الخدمات الرقمية لدينا في طور الترحيل من برمجية المجموعات الرقمية القديمة (CONTENTdm) إلى نظامنا الجديد لإدارة الأصول الرقمية من (Orange Logic). والآن وقد أكملنا الترحيل وأصبحنا أكثر إلمامًا بـ(Orange Logic)، حان الوقت لاختبار قدرات خدمات الذكاء الاصطناعي المدمجة من الأطراف الثالثة، واستكشاف حلول أخرى للوصف على الصور. وقد قدّم (Sheeko) حلًا محتملًا لوصف كمية كبيرة من المحتوى محليًا، دون استخدام مزوّدي خدمات من أطراف ثالثة، ودون رسوم خدماتهم أو وقت المعالجة المرتبط بها. كما يُغني (Sheeko) والبيئات المحلية مفتوحة المصدر عن الحاجة إلى السعي لطلب الأذونات وإعادة صياغة اتفاقيات المتبرعين، إذ لا تُعالَج الصور خارج المؤسسة الأم، مما يخفف أيضًا من أي مشكلات محتملة تتعلق بسيادة البيانات. وقد يظل حل برمجي محلي مماثل لـ(Sheeko) مفيدًا في سد فجوة في الوصف الآلي للصور بالذكاء الاصطناعي قائمة في نظامنا الجديد لإدارة الأصول الرقمية. ولم تكن تكلفة (Sheeko) رسومَ خدمات مالية، بل كانت تكلفة الأجور والوقت الثمين لموظفي خدمات التقنية لدينا في إجراء التهيئة اليدوية للبيئة البرمجية اللازمة لتشغيل (Sheeko)، وبناء تخصيص إضافي في صورة أداة عرض لتيسير الاستخدام. وفي نهاية المطاف، كانت تكلفة (Sheeko) كبيرة بما يكفي لاستبعاده حلًا محتملًا للوصف على الصور على نطاق واسع في الوقت الحاضر.

المراجع:

• [1] قائمة أسعار الخدمات المعرفية من Azure، بما فيها Computer Vision، متاحة في: https://azure.microsoft.com/en-us/pricing/details/cognitive-services/. وتُدرج خدمة Describe بسعر 1.50 دولار لكل 1,000 معاملة عند معالجة 0-1 مليون معاملة. وبعد مليون معاملة يصبح السعر 0.60 دولار لكل 1,000 معاملة. ولو عالجت مكتبات جامعة كالغاري ومواردها الثقافية جميع الصور البالغ عددها 2,241,793 صورة في مجموعتنا، لبلغت التكلفة 2,245 دولارًا.
• [2] قائمة أسعار خدمات Google Vision متاحة في: https://cloud.google.com/vision/pricing/ وسعر معظم الخدمات، باستثناء Web Detection وObject Localization، هو 1.50 دولار لكل 1,000 معاملة عند معالجة 0-5 ملايين معاملة. ولو عالجت مكتبات جامعة كالغاري ومواردها الثقافية جميع الصور البالغ عددها 2,241,793 صورة في مجموعتنا، باستخدام أيٍّ من خدمات Google Vision، لبلغت التكلفة 3,362 دولارًا. غير أن Google Vision لا تقدّم توليد أوصاف الصور.

• Maringanti H, Samarakoon D, Zhu B. (2019). Machine learning meets library archives: Image analysis to generate descriptive metadata. LYRASIS Research Publications. https://doi.org/10.48609/pt6w-p810
• Maringanti H, Samarakoon D, Zhu B. n.d. Sheeko: A computational helper [Internet]. Atlanta (GA): Lyrasis; [cited 2023 Feb 17]. Available from: https://sheeko.org/
• Samarakoon D, Zhu B. [updated 2021 Feb 17]. sheeko-vagrant. San Francisco (CA): GitHub; [cited 2023 Feb 17]. Available from: https://github.com/marriott-library/sheeko-vagrant
• Farley P, Buck A, MacGregor H, McSharry C, Downer R, Coulter D, contributors. 2022 Nov 22. What is Custom Vision? [Internet]. Redmond (WA): Microsoft; [cited 2023 Feb 17]. Available from: https://learn.microsoft.com/en-us/azure/cognitive-services/custom-vision-service/overview
• Computer Vision [Internet]. c2023. Redmond (WA): Microsoft; [cited 2023 Feb 17]. Available from: https://azure.microsoft.com/en-us/products/cognitive-services/computer-vision
• Vision AI [Internet]. n.d. Mountain View (CA): Google; [cited 2023 Feb 17]. Available from: https://cloud.google.com/vision#section-3catalog
• Tensorflow [Internet]. n.d. [cited 2023 Feb 17]. Available from: https://www.tensorflow.org/overview
• Kim J, Murdopo A, Friedman J, Wu N, contributors. [updated 2020, Apr 12]. Show and Tell: A Neural Image Caption Generator. San Francisco (CA): GitHub; [cited 2023 Feb 17]. Available from: https://github.com/tensorflow/models/blob/archive/research/im2txt/README.md