التعليق التوضيحي للبيانات (Data Annotation): دليل عملي للنصوص والصوت والصور العربية

التعليق التوضيحي للبيانات (Data Annotation) هو إضافة معلومات منظّمة إلى بيانات خام ليتعلم منها نموذج الذكاء الاصطناعي أو يُقاس بها: حدود كيان في جملة، أو نية رسالة، أو نص مفرَّغ بطوابع زمنية لتسجيل صوتي، أو مربع حول حقل في عقد ممسوح ضوئيًا، أو ترتيب بين إجابتين لنموذج لغوي. يتغير شكل الوسم بتغير نوع البيانات، لكن السؤال في العربية واحد: ما الذي يجب أن يحسمه دليل التوسيم قبل أن يبدأ الموسِّم، في لغة تُكتب فيها الكلمة الواحدة بأكثر من صورة وتُقال بأكثر من لهجة؟

يركّز هذا الدليل على «كيف» في كل نوع: مثال عربي، والشكل الذي يُسلَّم به الوسم، والقرار الذي يتعثر عنده الفريق عادة. أما إدارة المشروع كله، من اختيار اللهجات إلى قياس الاتفاق بين الموسِّمين، ففي دليل توسيم البيانات العربية.

ما هو التعليق التوضيحي للبيانات؟

أي مشروع تعليق توضيحي يقوم على ثلاثة عناصر قبل أن يُوسم عنصر واحد: وحدة العمل (رسالة كاملة، أو مقطع داخلها، أو ثوانٍ من تسجيل، أو منطقة في صفحة)، ومخطط الوسوم (Label Schema) أي القائمة المغلقة من الوسوم وتعريف كل منها، ودليل التوسيم (Annotation Guidelines) الذي يحسم الحالات الحدّية بأمثلة. ويُسلَّم كل وسم ومعه بيانات وصفية: من وسمه، وبأي إصدار من الدليل، وما لهجة العنصر.

الجدول التالي يلخّص أنواع التعليق التوضيحي الرئيسية، وما يُقاس به كل نوع:

التعليق التوضيحي للنصوص العربية: الكيانات والنية والمشاعر

الكيانات المسماة (Named Entity Recognition)

خذ الجملة: «وصلت الشحنة إلى ميناء الملك عبدالعزيز بالدمام يوم الأحد». هذا شكل الوسم بمواضع الحروف، بعد توحيد ترميز النص إلى صيغة NFC، والبداية محسوبة من صفر والنهاية غير داخلة في المقطع:

في هذا المثال ثلاثة قرارات عربية. الأول أن «بالدمام» كلمة واحدة تحمل حرف جر وأداة تعريف، فإذا وُسمت على مستوى الكلمة بصيغة BIO المعتادة دخلت الباء في الكيان، إلا إذا قُطّعت السوابق قبل التوسيم. ومواضع الحروف تحل المشكلة دون تقطيع. والثاني أن الكيانات في العربية تتداخل كثيرًا: في مدونة Wojood (نحو 550 ألف وحدة نصية (Token) من الفصحى واللهجات، و21 نوعًا من الكيانات) كان 22.5% من نحو 75 ألف كيان متداخلًا، فمخطط لا يسمح بالتداخل يُسقط معلومات حقيقية. والثالث أن المواضع تُحسب على نص ثابت: حذف التشكيل أو التطويل (ـ) بعد التوسيم يُزيح كل موضع يليه.

النية (Intent) ولهجة الرسالة

في رسائل خدمة العملاء يُوسم الغرض من الرسالة، ويجب أن يكون مخطط النوايا مستقلًا عن اللهجة، مع حقل منفصل يسجّل اللهجة. الرسالة نفسها بلهجات مختلفة (أمثلة توضيحية):

الفخ هنا في الكلمات التي تتغير دلالتها بين اللهجات والفصحى: «أبي» في الرسالة النجدية تعني «أريد»، وهي في الفصحى «والدي». والموسِّم الذي لا يعرف اللهجة قد يقرأ «أبي ألغي» خطأً إملائيًا ويصنّفها «غير مفهومة». لذلك يُوزَّع العمل حسب لهجة الموسِّم، ويجمع الدليل مرادفات كل نية بكل لهجة مطلوبة. وللهجات المملكة تحديدًا انظر اللهجات السعودية والذكاء الاصطناعي.

المشاعر والسخرية (Sentiment Analysis)

«والله خدمة ولا أروع، صار لي أسبوع أنتظر ردكم». ألفاظ الرسالة مدح، ومعناها شكوى. الشكل الذي نقترحه للوسم ثلاثة حقول منفصلة: المشاعر negative، والسخرية true، والجانب المستهدف «سرعة الرد». دمج السخرية في المشاعر يخفي عن النموذج ما يحتاج أن يتعلمه. وفي مجموعة ArSarcasm، التي تضم 10,547 تغريدة وُسمت بالسخرية والمشاعر واللهجة معًا، كانت 16% من التغريدات ساخرة، ووجد الباحثان أن أداء أدوات تحليل المشاعر يتراجع على المحتوى الساخر، وأن وسوم المشاعر ذاتية إلى حد كبير. معنى ذلك عمليًا: عيّنة مزدوجة التوسيم أكبر لهذه المهمة، وأمثلة سخرية بكل لهجة في الدليل.

التعليق التوضيحي للصوت: التفريغ والطوابع الزمنية وتمييز المتحدثين

التعليق التوضيحي للصوت ثلاث طبقات تُسلَّم معًا: التفريغ الصوتي (Transcription)، والطوابع الزمنية (Timestamps) لكل مقطع، وتمييز المتحدثين (Speaker Diarization) أي تحديد من يتكلم ومتى. هذا مقتطف توضيحي من مكالمة خدمة عملاء:

الإملاء: تُكتب «أقدر» بالقاف وإن نطقها الموظف /g/. وهذا ما تعتمده إرشادات CODA* للإملاء الاصطلاحي للهجات، التي طُبّقت على 28 لهجة مدينة من الرباط إلى مسقط، منها الرياض وجدة، ويورد أحد جداول أمثلته كلمة «طبق» بنطق الرياض /tˤabag/ مع بقاء القاف في الكتابة. ويعرض البحث نفسه 27 صورة كتابية رُصدت فعلًا لكلمة واحدة من العامية المصرية. هذا حجم التشتت الذي يمنعه دليل إملاء مكتوب.

الطوابع والتداخل: تُوضع حدود المقاطع عند الوقفات الطبيعية، ويُوسم الكلام المتداخل ولا يُحذف، لأن المقاطعة في مكالمات الشكوى جزء من المعنى. المتحدثون: يبقى رمز المتحدث ثابتًا في الملف كله، ويُسجَّل دوره (موظف أو عميل) في حقل مستقل. التبديل اللغوي: تبقى الكلمة الإنجليزية بحروفها اللاتينية مع وسم اللغة، ولا تُعرَّب في مرحلة ثم تُترك في أخرى.

المدونات المفتوحة تساعد لكنها لا تغني عن بيانات مجالك. QASR مثلًا نحو 2,000 ساعة من بث قناة الجزيرة، بتفريغ خاضع لإشراف خفيف (Lightly Supervised) مع تقطيع وعلامات ترقيم وبيانات المتحدثين. لكنها كلام بث إخباري، لا مكالمات مزدحمة بلهجات محلية. والقواعد التفصيلية للكتابة والوسوم في معايير التفريغ الصوتي للهجات العربية، وخدمة الجمع والتفريغ في جمع البيانات الصوتية العربية والتفريغ الصوتي.

التعليق التوضيحي للصور والمستندات العربية

في الصور العامة، الأدوات معروفة: المربع المحيط (Bounding Box)، والمضلع (Polygon) للأشكال غير المنتظمة، والتقسيم (Segmentation) على مستوى البكسل. والجزء العربي الصعب هو المستندات: العقود والفواتير والنماذج الحكومية والخط اليدوي، حيث يجتمع التعرف الضوئي على الحروف (OCR) واستخراج الحقول وترتيب القراءة. مثال توضيحي من عقد إيجار ممسوح:

القرارات التي يحسمها الدليل هنا:

• طبقتان للنص لا طبقة واحدة: نص حرفي يحفظ الأرقام الهندية (٠١٢) والتاريخ الهجري كما كُتبا، وقيمة معيارية للحقل. خلطهما يُفسد قياس دقة OCR ويُفسد الحقول معًا.
• الترتيب المنطقي لا البصري: يُخزَّن النص المرجعي بالترتيب المنطقي الذي تفترضه خوارزمية Unicode ثنائية الاتجاه (UAX #9)، لا كما يظهر على الشاشة. وإلا انقلبت الأرقام والكلمات الإنجليزية داخل السطر العربي.
• أشكال العرض: بعض أدوات استخراج النص من ملفات PDF تُخرج الحروف العربية بأشكال العرض (Arabic Presentation Forms-B) بدل الحروف الأساسية، فيبدو النص سليمًا ويفشل البحث والمقارنة. يُطبَّع إلى NFKC قبل مقارنته بالنص المرجعي.
• الخط اليدوي يُفرَّغ سطرًا سطرًا: مدونة KHATT من جامعة الملك فهد للبترول والمعادن تضم 1,000 نموذج بخط 1,000 كاتب، ويُطابَق نصها المرجعي مع الصور على مستوى النموذج والفقرة والسطر. والسطر هو الوحدة العملية لمعظم مشاريع خط اليد.

التعليق التوضيحي للفيديو: الأفعال والمشاهد

الفيديو يضيف الزمن إلى الصورة. يُوسم فيه الفعل أو الحدث (Action Labeling) بمدى زمني، ويُتتبع العنصر عبر الإطارات برقم هوية ثابت (Object Tracking)، ويُوسم المشهد كاملًا (Scene Tagging). وفي المحتوى العربي تأتي معه عادةً طبقتان أخريان: الكلام، والنص الظاهر على الشاشة. مثال توضيحي من مقطع مباراة بتعليق خليجي:

أكثر خلافات الموسِّمين في الفيديو على الحدود: هل تبدأ التسديدة عند رفع القدم أم عند لمس الكرة؟ يكتب الدليل قاعدة واحدة لكل فعل ويمثّل لها بإطار. ووسوم المشاهد تحتاج إلى سياق ثقافي: التمييز بين مناسبة عائلية وتجمّع عام، أو بين مجلس ومكتب، قرار يُحسم بأمثلة من المنطقة نفسها لا بتعريف عام.

التعليق التوضيحي لمخرجات النماذج اللغوية: الترتيب والتقييم

هنا لا تُوسم بيانات خام، بل إجابات النموذج نفسه. وصف بحث InstructGPT من OpenAI الخطوتين الأساسيتين: أمثلة يكتبها الموسِّمون للسلوك المطلوب تُستخدم في الضبط الدقيق الموجَّه (SFT)، ثم ترتيب إجابات النموذج لتدريبه بالتعلم المعزز من ملاحظات البشر (RLHF). مثال توضيحي: طلب المستخدم «اكتب لي رسالة اعتذار لعميل تأخر طلبه، بأسلوب لطيف وباللهجة السعودية».

الدرس أن التفضيل وحده لا يكفي: يُطلب من المقيِّم درجة لكل معيار، ومبرر مختصر، وترتيب مكتوب مسبقًا يبيّن أي المعايير يُقدَّم عند التعارض. ومن يحكم على ملاءمة اللهجة يجب أن يتكلمها، ومن يحكم على إجابة طبية أو قانونية يجب أن يكون مختصًا. التفاصيل في بيانات RLHF العربية.

أخطاء شائعة في التعليق التوضيحي للبيانات العربية

1. تطبيع النص بعد التوسيم. حذف التشكيل أو التطويل، أو تحويل الأرقام، بعد حساب المواضع يُزيح كل كيان يليه. طبّع أولًا، أو احفظ النص الأصلي واحسب المواضع عليه.
2. اختزال المخطط إلى «نعم/لا». في LabelBench سجّل نموذج لغوي محلي (a local language model) دقة مطابقة تامة (exact-match accuracy) بلغت 78% في تصنيف السمية الثنائي، ثم 25.3% على المخطط الحقيقي ذي الوسوم السبعة، على مجموعة الاختبار الثابتة (fixed held-out manifest). المخطط المبسّط يعطي أرقامًا مطمئنة لا تصمد.
3. الاعتماد على التوسيم الآلي لتحديد اللهجة. في التدقيق نفسه لم تتجاوز الدقة 22.4% في تحديد خمس مناطق لهجية من النص، والصدفة 20%. وسم اللهجة يحتاج إلى متحدثين أصليين.
4. موسِّم يفهم اللهجة ولا يتكلمها. الفهم العام يكفي لنية بسيطة، ولا يكفي للسخرية والكنايات والإساءة المبطّنة.
5. تجاهل العربيزي والتبديل اللغوي. رسائل مثل «ana 3ayez alghi el eshterak» تسقط من التوسيم أو تُوسم «لغة أخرى». يحتاج الدليل قاعدة صريحة لها، كما في دليل العربيزي والتبديل اللغوي (بالإنجليزية).
6. دمج طبقتين في حقل واحد. السخرية داخل المشاعر، أو النص الحرفي داخل القيمة المعيارية، أو دور المتحدث داخل رمزه. كل دمج يمنع قياس خطأ بعينه لاحقًا.

كيف نعمل في Bayanat Labs: نعمل وفق منهجية من خمس مراحل: الفحص، ثم التدريب، ثم الإنتاج، ثم ضبط الجودة، ثم التسليم. يُنفَّذ التعليق التوضيحي على النص والصوت والصور والفيديو بأيدي متحدثين أصليين ولغويين ومختصين مرخّصين يجتازون اختبارات اللهجة والمجال قبل أن يلمسوا بيانات العميل، وتُقاس جودته على مجموعات ذهبية مع تحكيم الخلافات وإعادة العمل، ومع سجل تدقيق لكل مهمة. نغطي أكثر من 25 لهجة وتنوعًا عربيًا، والاستضافة داخل المنطقة افتراضيًا، مع خيارَي التشغيل في مقرّك (on-prem) أو في سحابة خاصة. التفاصيل في خدمات توسيم البيانات العربية.