خدمات توسيم البيانات العربية للذكاء الاصطناعي

تقدّم Bayanat Labs (الرياض) خدمات توسيم البيانات العربية (Data Annotation) بالاستعانة بفريق يضم أكثر من 50,000 خبير توسيم، وهو أكبر فريق من نوعه في الشرق الأوسط، ومن بينهم متحدثون أصليون ولغويون ومختصون مرخّصون اجتازوا الفرز، ولديها 30,000 ساعة من الكلام العربي. والتوسيم هو إضافة الوسوم التي يتعلم منها النموذج: كيانٌ في جملة، أو نيةٌ في محادثة، أو متحدثٌ في تسجيل، أو حقلٌ في مستند. وتخدم الشركة فرق تدريب نماذج الذكاء الاصطناعي وتقييمها في الكيانات، والنوايا والمشاعر، والإشراف على المحتوى، وتحديد اللهجة، والتفريغ الصوتي، والمستندات والصور، عبر أكثر من 25 لهجة وتنويعة، مع معايرة على مجموعات ذهبية واستضافة داخل المنطقة افتراضيًا. والبداية مشروع تجريبي على بياناتك، يُنجَز عادةً خلال أسبوعين.

ما الذي تشمله خدمات توسيم البيانات العربية؟

ولبيانات التفضيل وتقييم النماذج خدمتان مستقلتان: RLHF للنماذج العربية وتقييم نماذج اللغة العربية. ولمعرفة شكل الوسم الذي يناسب كل نوع من البيانات، راجع دليلنا العملي لتوسيم النصوص والصوت والصور العربية.

مثال عملي: جملة سعودية واحدة وثلاثة قرارات توسيم

اللهجات والمجالات وأنماط البيانات

نغطي النص والصوت والصورة والفيديو في أكثر من 25 لهجة وتنويعة: الفصحى، والخليجية (ومنها السعودية والإماراتية والكويتية)، والشامية، والمصرية، والعراقية، والمغاربية. ونحدد النطاق باللهجة لا بالإقليم، فالمشروع السعودي يسمّي النجدية أو الحجازية. فقد وجد Keleg وزميلاه (ACL 2024) في 11 من 15 مجموعة بيانات عربية أن اتفاق الموسِّمين يتراجع كلما ابتعد النص عن الفصحى، حين تُوزَّع العينات عشوائيًا على الموسِّمين. وفي دراسة Bergman وDiab (2022) عَدّ خبراء البلد 74% من العينات العربية في مجموعة البيانات السعودية محتوى غير سعودي، ونبّه الباحثان إلى أن كثيرًا من اختبارات الكفاءة الجاهزة في العربية تقتصر على الفصحى.

لذلك يجتاز كل مساهم فرزًا في اللهجة والمجال قبل رؤية بيانات العميل، ويتولى المحتوى المتخصص أطباء ومحامون ومصرفيون ومهندسون مرخّصون، والتحريري محررون محترفون.

نطاق توسيم الصور والفيديو العربية: ما يجب أن يراه النموذج ويقرأه ويشير إليه

طلب مثل «وسّموا هذه الصور» يترك القرارات المكلفة معلّقة. فهو لا يحدد هل على النموذج أن يقرأ النص، أم يجيب عن سؤال حوله، أم يصف المشهد، أم يتتبّع حدثًا عبر الزمن. ولكل مهمة من هذه أدلتها وظروف التقاطها وطريقتها في فصل بيانات الاختبار عن التدريب. لذلك حدّد قبل أي مشروع تجريبي بصري أربعة أمور لكل مهمة: ما الذي يجب أن يشير إليه كل وسم، وأي ظروف التقاط يجب أن تغطيها الصور، ومن يملك الوسائط المصدرية وفيمَ يجوز استخدامها، وما الذي يُبقي مشاهد الاختبار خارج التدريب حين تتطلب المهمة ذلك.

أما استخراج الحقول من الفواتير والهويات والعقود فنطاق مختلف عن النطاق البصري، له قواعده الخاصة في تخطيط الصفحة والحقول: راجع نطاق مشروع المستندات العربية أدناه، ومجموعات بيانات المستندات العربية.

الحقول التي يجب أن يثبّتها نطاق المشروع البصري قبل الجمع

• المصدر ونوع الإذن: التقاط ميداني، أو وسائط يقدّمها العميل، أو صور مولّدة، والإذن المكتوب الذي يستند إليه كل منها. وتبقى الصور المولّدة قابلة للتمييز عن الصور الملتقطة ميدانيًا.
• ظروف الالتقاط: الجهاز والإضاءة والمسافة والزاوية وأي عيب معروف كالانعكاس أو الضبابية، مسجّلة لكل صورة أو مقطع.
• معرّف الصورة أو الإطار: معرّف ثابت، ومعه رقم الإطار أو وقته في الفيديو.
• منطقة النص: الإحداثيات، والتفريغ بترتيب القراءة، ووسم نظام الكتابة (عربي، لاتيني، مختلط)، ومؤشر المقروئية.
• السؤال والإجابة: مكتوبان بالعربية للمهمة، لا مترجمان آليًا من الإنجليزية، مع قاعدة للأسئلة التي لا تجيب عنها الصورة.
• الدليل الداعم: المنطقة أو المدة الزمنية التي تحتوي الإجابة.
• الطابع الزمني والحدث: البداية والنهاية وهامش السماح لكل حدث في الفيديو.
• التقسيم وهوية المشهد: الموقع أو المصدر أو الجلسة التي ينتمي إليها كل عنصر، ليظهر المشهد في قسم واحد فقط.
• الحجم: يبقى فارغًا حتى يبيّن المشروع التجريبي الإنتاجية والصعوبة في مهمتك.

لا يظهر الأشخاص في المجموعة إلا وفق الأذونات المتفق عليها، وتُوصف المجموعة ووسومها دون استنتاج هويات الأشخاص من مظهرهم. ولأسئلة الموافقة والبيانات الشخصية في مجموعات البيانات في السعودية والإمارات، راجع دليل تدقيق بيانات الصور والفيديو العربية، وللسعودية تحديدًا دليل نظام حماية البيانات الشخصية وإقامة البيانات.

سجل توضيحي: صورة رفّ واحدة وإجابة واحدة مستندة إلى دليل

كتبت Bayanat Labs هذا السجل لهذه الصفحة لتوضيح الصيغة فقط. فهو ليس سجلًا مسلَّمًا ولا عينة من كتالوج منتجاتنا: لا توجد صورة حقيقية وراءه، والمتجر والإذن والمعرّفات كلها افتراضية.

يخفي هذا السجل الواحد قرارين يجب أن يحسمهما دليل التوسيم. الأول: «العبوة اليمنى» تعني اليمين كما يظهر في الصورة، ويجب أن ينص الدليل على ذلك، لأن «اليمين» قد يعني يمين الناظر أو يمين الشيء نفسه، وقد تكون صور الكاميرا الأمامية معكوسة. والثاني: لو غطّى الانعكاس المنطقة r3، لكان الوسم الصحيح «لا يمكن الإجابة عنه من الصورة»، لا إجابة يتذكرها الموسِّم عن المنتج.

كيف تعتمد نتائج المشروع التجريبي البصري؟

اسحب عينة المشروع التجريبي بنفسك، موزّعة حسب المشهد وظروف الالتقاط. اعرض كل تفريغ بجانب الجزء المقتطع من الصورة الذي أُخذ منه، من اليمين إلى اليسار مع عرض ثنائي الاتجاه لأي نص لاتيني، وطابق كل إجابة مع منطقة دليلها أو مدتها الزمنية، وأعد توسيم بضع عشرات من العناصر بنفسك، وتأكد من عدم ظهور أي موقع أو مصدر أو تسجيل في التدريب والاختبار معًا. ويحوّل تدقيقنا ذو الفحوص العشرة لمجموعات بيانات الصور والفيديو العربية هذه الفحوص إلى جدول تعيد استخدامه مع أي مورّد، بمن فيهم نحن.

كيف تبني Bayanat Labs بيانات بصرية عربية لفرق الرؤية الحاسوبية في السعودية والإمارات؟

حين لا تتوفر البيانات البصرية التي تحتاجها جاهزةً، تبنيها Bayanat Labs معك، وكل ما يلي جزء من طريقة عملنا:

• مبنية حول مهمتك. مجموعات بيانات الصور والفيديو العربية تُبنى حسب الطلب: نبدأ بمشكلة واحدة، ونتفق على أذونات المصادر وخطة الجمع لمشروع تجريبي صغير، ثم نحدد معك عدد الصور أو مقاطع الفيديو وتغطيتها.
• إجابات مرتبطة بأدلة مرئية. يمكن أن تتضمن المواصفات نصوص المشهد والإحداثيات والعلاقات بين الأشياء وإجابات مرتبطة بأدلة مرئية، ويمكن أن تتضمن مشاريع الفيديو طوابع زمنية للأحداث.
• التقاط مخطَّط. نخطط للإضاءة وظروف الالتقاط وأنماط النصوص والتخطيطات ومستوى الصعوبة وفق المهمة، وتبقى الصور المولّدة قابلة للتمييز عن الصور الملتقطة ميدانيًا.
• الأذونات والتقسيمات من البداية. يُتفق على أذونات المصادر والوسائط قبل الجمع، ونصف المجموعة دون استنتاج هويات الأشخاص من مظهرهم، ويمكن فصل المواقع أو المصادر للتقييم.

لتحديد نطاق مشروعك، أرسل عبر نموذج نطاق المشروع: المهمة البصرية، والمشاهد والنصوص المطلوب تغطيتها، وظروف الالتقاط، ومن يملك الوسائط المصدرية، وجدولك الزمني.

نطاق مشروع المستندات العربية: النص والتخطيط والحقول والأدلة

قد يعني طلب «وسّموا فواتيرنا» أربعة تسليمات مختلفة. فنص التعرّف الضوئي على الحروف (OCR) يعلّم النموذج القراءة، والتخطيط وترتيب القراءة يعلّمانه كيف تُنظَّم الصفحة، والحقول المُطبَّعة تعلّمه الاستخراج، وأسئلة المستند وفحوص التحقق تعلّمانه أن يجيب من الصفحة وأن ينتبه حين لا تتطابق الأرقام. يمكنك طلب الطبقة الأولى وحدها أو إضافة غيرها، لكن لكل طبقة وسومها وفحص اعتمادها وقاعدتها في إبقاء مستندات الاختبار منفصلة. لذلك حدّد الطبقات التي تشتريها قبل المشروع التجريبي، لأن إضافة الحقول لاحقًا تعني عادةً مرورًا ثانيًا على كل صفحة.

عدد الصفحات ليس عدد القوالب

قد تكون فواتير كثيرة صادرة من نظام محاسبي واحد تخطيطًا واحدًا مُلئ مرارًا. والنموذج الذي يُدرَّب ويُختبر عليها قد يحقق نتيجة عالية لأنه حفظ موضع الإجمالي، ثم يخفق مع أول فاتورة من مورّد جديد. لذلك ينبغي أن يذكر نطاق المستندات عدد الصفحات وعدد الجهات المُصدِرة وعدد القوالب، وعدد الكتّاب في حالة الخط اليدوي، أرقامًا منفصلة، وأن تبقى نسخ القالب الواحد قابلة للتمييز، وأن تُوضع في قسم الاختبار جهاتٌ مُصدِرة أو قوالب كاملة، لا صفحات مفردة. وتبقى الصفحات الحقيقية والمجهّلة والاصطناعية قابلة للتمييز في التسليم، لتقيس كيف يؤدي نموذج دُرِّب على صفحات مولَّدة أمام مستندات ممسوحة فعلًا.

الحقول التي يجب أن يثبّتها نطاق المستندات قبل الصفحة الأولى

• المصدر ونوعه: حقيقي أو مجهّل أو اصطناعي، والإذن المكتوب الذي يستند إليه كل مصدر. وتُحدَّد أذونات المصادر معك قبل الجمع.
• معرّف الصفحة أو الصورة وأبعادها: معرّف ثابت مع العرض والارتفاع بالبكسل، ليمكن التحقق من كل إحداثية مقابل صفحتها.
• ترتيب القراءة: رقم لكل منطقة وسطر، عبر النصوص التي تُقرأ من اليمين إلى اليسار ومن اليسار إلى اليمين والمختلطة.
• المضلّع أو الحدود: مستوى الإحداثيات (منطقة، سطر، كلمة، حرف) واصطلاحها، كأن تُقاس بالبكسل من الزاوية العليا اليسرى.
• نص التعرّف الضوئي الخام: التفريغ كما طُبع، بترتيبه المنطقي، مع الإبقاء على الأرقام كما طُبعت، مشرقية (٠–٩) أو لاتينية (0–9)، وكذلك الفواصل.
• الحقول المُطبَّعة: قائمة الحقول، والصيغة الموحَّدة لكل منها (التواريخ والمبالغ وأرقام الهوية)، والقاعدة حين يغيب الحقل أو يُصحَّح بخط اليد.
• موضع الدليل: معرّف الصفحة والمربع لكل قيمة مستخرجة ولكل إجابة.
• التقسيم حسب الجهة المُصدِرة والقالب: الجهة المُصدِرة والقالب اللذان تنتمي إليهما كل صفحة، والكاتب في حالة الخط اليدوي، ليظهر كل قالب في قسم واحد فقط.
• الحجم: تقدير أولي، يُثبَّت بعد أن يبيّن المشروع التجريبي الإنتاجية والصعوبة في مستنداتك.

سجل توضيحي: فاتورة اصطناعية واحدة، وكل قيمة مربوطة بدليلها

كتبت Bayanat Labs هذا السجل لهذه الصفحة لتوضيح الصيغة فقط. فهو ليس سجلًا مسلَّمًا ولا عينة من كتالوج منتجاتنا: لا توجد صفحة حقيقية وراءه، والبائع والمبالغ والإحداثيات والمعرّفات كلها افتراضية. والإحداثيات بالبكسل من الزاوية العليا اليسرى، بصيغة [x1, y1, x2, y2].

يخفي هذا السجل الواحد قرارين يجب أن يحسمهما دليل التوسيم. الأول: أي الإجماليين هو قيمة الحقل؟ على الدليل أن ينص على ما إذا كان التصحيح اليدوي يتقدّم على المطبوع، وما إذا كان المبلغان يُحفظان معًا. والثاني: يجب أن يقع مربع كل مبلغ داخل الصفحة بأبعادها 2480 × 3508 وأن يحيط بالأرقام المنسوبة إليه، ويستطيع فاحص آلي اختبار الشرطين قبل أن ينظر إنسان في الصفحة.

كيف تُقِرّ نتائج المشروع التجريبي للمستندات؟

اسحب عينة المشروع التجريبي بنفسك، موزّعة حسب الجهة المُصدِرة والقالب وجودة الالتقاط ونسبة الخط اليدوي. اعرض كل تفريغ من اليمين إلى اليسار بجانب الجزء المقتطع الذي أُخذ منه، وأعد حساب كل قيمة مُطبَّعة من النص كما طُبع، وتحقق من أن كل مربع يقع داخل صفحته ويحيط بقيمته، وأعد حساب كل فحص تحقق من الحقول الموسومة، وأعد توسيم 10 إلى 20 صفحة بنفسك، وتأكد من عدم ظهور أي جهة مُصدِرة أو قالب في التدريب والاختبار معًا. ويحوّل دليلنا لتقييم مجموعات بيانات OCR العربية هذه الفحوص وغيرها إلى تدقيق من عشر نقاط يمكنك إعادة استخدامه مع أي مورّد، بمن فيهم نحن.

كيف تبني Bayanat Labs بيانات مستندات عربية لفرق الذكاء الاصطناعي في السعودية والإمارات؟

حين لا تتوفر بيانات المستندات التي تحتاجها جاهزةً، تبنيها Bayanat Labs معك. ولمقارنة الخيارات المفتوحة والمخصصة، راجع جدول اختيار بيانات الفواتير والمستندات العربية حسب مشروعك. وكل ما يلي جزء من طريقة عملنا:

• مبنية حول مستنداتك. مجموعات بيانات المستندات العربية تُبنى حسب الطلب: نبدأ بنوع مستند واحد، ونحدد معك أذونات المصادر وتنوع التخطيط وظروف الالتقاط، ونتفق معك على عدد الصفحات وتغطية القوالب.
• وسوم تتجاوز نسخ النص. اختر ما يحتاجه نموذجك من نسخ النص والإحداثيات وترتيب القراءة والتخطيط والحقول المُطبَّعة ومواضع الأدلة وفحوص التحقق من الإجماليات غير المتسقة.
• مصادر قابلة للتمييز. تبقى المستندات الحقيقية والمجهّلة والاصطناعية قابلة للتمييز، ويُذكر تنوع القوالب منفصلًا عن عدد الصفحات.
• اختبار على مستندات جديدة. يمكن أن تفصل تقسيمات التقييم بين الجهات المُصدِرة والقوالب والمصادر والكتّاب، لقياس الأداء على مستندات لم يرها النموذج.

وإن كانت المستندات ستغذّي نظام بحث أو توليد معزَّز بالاسترجاع (RAG)، فإن بيانات البحث والاسترجاع بالعربية تضيف استعلامات وأحكام صلة وإجابات مستندة إليها، ولمقارنة النماذج في القراءة والاستخراج، تبني مجموعات التقييم العربية (Bayanat Bench) اختبارات معزولة منفصلة عن بيانات التدريب المسلَّمة. لتحديد نطاق مشروعك، أرسل عبر نموذج نطاق المشروع: أنواع المستندات، والطبقات التي تحتاجها، والمصادر التي تستطيع الإذن باستخدامها، وجدولك الزمني.

كيف يسير مشروع توسيم البيانات؟

منهجيتنا: الفرز ← التدريب ← الإنتاج ← ضبط الجودة (QA) ← التسليم.

1. تحديد النطاق. المهمة والتصنيف (taxonomy) واللهجات والمجال والحجم وصيغة المخرجات وقيود الإقامة، مع فحص مزيج اللهجات الفعلي في عينة.
2. الدليل والمجموعة الذهبية. دليل مبني حول حالات العربية الصعبة، ومجموعة ذهبية (gold set) من بياناتك يحكّمها لغويون متمرّسون ويُعايَر عليها الموسِّمون.
3. المشروع التجريبي. توسيم مستقل لشريحة محددة، وقياس للاتفاق، وتعديل للدليل حيث يكون الخلاف منهجيًا.
4. الإنتاج وضبط الجودة. عناصر ذهبية مخفية، وعينات متداخلة، وتحكيم، وإعادة عمل لكل عنصر يرسب.
5. التوسع والتسليم. بيانات وفق مخططك، مع تقارير جودة وسجل تدقيق (audit trail) لكل مهمة.

كيف تُقاس جودة البيانات الموسومة؟

• مجموعات ذهبية من بياناتك للمعايرة، ثم فحوص مخفية أثناء الإنتاج.
• اتفاق مصحَّح لأثر الصدفة: Cohen's kappa لزوج من الموسِّمين، وKrippendorff's alpha لأكثر من ذلك أو مع وسوم ناقصة (Artstein وPoesio)، وF1 لحدود الكيانات.
• تقارير لكل لهجة ولكل وسم، فالمتوسط يخفي اللهجة المتعثرة.
• تحكيم وإعادة عمل: يحسم الخلافَ لغويٌّ متمرّس من أهل اللهجة، والخلاف المتكرر يعدّل الدليل بدل لوم الموسِّمين.

أمن البيانات وإقامتها

تُستضاف البيانات داخل المنطقة افتراضيًا، مع خيارَي التشغيل في مقرّك (on-prem) أو في سحابة خاصة. الصلاحيات بأدنى قدر لازم، وكل إجراء مسجَّل، والمساهمون ملتزمون باتفاقيات عدم إفصاح (NDA). وإن كانت بياناتك مصنّفة وفق سياسة سدايا، فمستوى التصنيف يحدد نموذج العمل. بقية الأسئلة في قائمة التحقق لنظام حماية البيانات الشخصية وإقامة البيانات (بالإنجليزية).

هل يمكن أتمتة توسيم البيانات العربية بنموذج لغوي؟

يختبر LabelBench، تدقيقنا القابل لإعادة الإنتاج، هذا السؤال. في الإصدار v0.1، يحقق النموذج Qwen 2.5 3B نسبة 78% في تصنيف السمية الثنائي، وتهبط مطابقته التامة إلى 25.3% مع التصنيف الحقيقي ذي الوسوم السبعة. وفي تحديد اللهجة بين خمس مناطق يبلغ 22.4% مقابل 20% للتخمين المتوازن، ويصنّف 75% من الأمثلة الخليجية مصريةً. ويبلغ النموذج المتخصص في العربية Fanar 1 9B في المهمة نفسها 47.8%، ونموذج بسيط قائم على الحروف دُرّب على 100 مثال لكل منطقة 69.8%. ووفق طريقة تقدير الثقة المعتمدة في هذا الإصدار، لم يُعفِ أي تشغيل توليدي أي جزء من الطابور من المراجعة البشرية بأمان عند حد جودة 95%.

• آليًا: الوسوم البسيطة الواضحة، بعد أن يتجاوز النموذج حد الجودة على مجموعتك الذهبية.
• بشريًا: التصنيفات متعددة الوسوم، واللهجة، والسخرية، والأحكام المتخصصة، ووسوم السلامة.
• معيار القرار: Safe Automation Coverage، أي نسبة الطابور المقبولة آليًا مع بقاء الحد الأدنى لفاصل الثقة فوق هدف الجودة.

استخدامات توسيم البيانات حسب القطاع

من القطاعات التي نخدمها: الشكاوى وحقول «اعرف عميلك» (KYC) في المصارف، والكيانات السريرية بمراجعة أطباء، ورقمنة المستندات الحكومية، وبنود العقود، وتفريغ مكالمات الاتصالات، ومشاعر التقييمات في الإعلام والتجزئة. وللسوق السعودي تحديدًا: شركة توسيم بيانات في السعودية.

فريق داخلي أم منصة جماعية أم مزوّد متخصص؟

يضع الجدول ما تقدّمه Bayanat Labs، بوصفها مزوّدًا متخصصًا في العربية، بجانب الفريق الداخلي ومنصة العمل الجماعي.

وفي بعض المهام خيار رابع: أن ترخّص مجموعة جاهزة، ثم يضيف فريقنا إليها التوسيم الذي يحتاجه نموذجك باتفاق منفصل. فإن كانت مهمتك لا تتوقف على بياناتك أنت، فابدأ من صفحة منتجاتنا. لدى Bayanat Labs 30,000 ساعة من الكلام العربي، ومن مجموعاتها الجاهزة للترخيص 200,000 جملة بالفصحى موسومة بالكيانات، و2,700 كتاب عربي، و400,000 سؤال علمي بصيغة الاختيار من متعدد، ومجموعتان سعوديتان منفصلتان بـ1,000 ساعة لكل منهما (كلام عفوي، ومحادثات بتفريغ بشري)، و350 ساعة من مكالمات خدمة العملاء السعودية ثنائية الاتجاه (صفحات هذه المنتجات بالإنجليزية). وإلى جانبها البيانات التي تُبنى حسب الطلب.

شروط المشروع التجريبي

نطاق ثابت: مهمة واحدة، وعينة متفق عليها من بياناتك، ولهجات محددة بالاسم، مع ضبط جودة بالمجموعة الذهبية. ينتهي بتقرير فيه الاتفاق لكل لهجة ووسم، وتحليل الأخطاء، وتعديلات الدليل، وتقدير ما يمكن وسمه آليًا بأمان، ويُنجَز عادةً خلال أسبوعين. أرسل عبر صفحة التواصل عينة ممثِّلة (مُقنَّعة إن أمكن)، وتصنيفك، والأسواق المستهدفة، وقيود الإقامة، وصيغة المخرجات. بعدها يتوسع العمل بنموذج مُدار أو مدمج أو مؤسسي. وللتعمق: دليل توسيم البيانات العربية ومقالاتنا بالعربية.

تبحث عن عمل في التوسيم؟ قدّم مجانًا عبر شبكة Bayanat للمواهب، واقرأ مقالتنا عن وظائف توسيم البيانات.