التعلم المعزز من ملاحظات البشر (RLHF) للنماذج العربية

التعلم المعزز من ملاحظات البشر (Reinforcement Learning from Human Feedback – RLHF) هو المرحلة التي يقارن فيها مقيّمون بشريون إجابات النموذج ويقيّمونها ويعيدون كتابتها، ليتعلّم نموذج المكافأة (Reward Model) أو خوارزمية مثل DPO معنى «الإجابة العربية الجيدة». تزوّد Bayanat Labs من الرياض فرقَ النماذج العربية بهذه البيانات: ترتيب الإجابات، ودرجات المعايير، وإعادة الكتابة، وبيانات نموذج المكافأة، وإشارات السلامة، من مقيّمين أصليين يطابقون لهجتك ومجالك. وتختلف هذه الخدمة عن توسيم البيانات وتصنيفها بالمعنى التقليدي.

النموذج يُواءَم مع من قيّموه. ذكر فريق InstructGPT أن مقيّميه كانوا غالبًا ناطقين بالإنجليزية في الولايات المتحدة وجنوب شرق آسيا. والعربية تضيف أسئلة لا يحسمها هؤلاء: فصحى أم لهجة؟ وأي لهجة؟ وهل تناسب الإجابة ثقافة المستخدم؟ ويخلص فريق ALLaM إلى أن المواءمة الموسّعة مع التفضيلات البشرية قد ترفع أداء النموذج مقارنةً بنماذج أكبر حجمًا لكن مواءمتها أقل جودة.

ماذا نسلّم في مشاريع RLHF بالعربية؟

ما معايير الإجابة العربية الجيدة؟

المعايير العامة («مفيد وغير ضار») تغفل ما يلاحظه المستخدم العربي أولًا؛ فالعرب لا يتشاركون ثقافة واحدة، والنماذج تميل إلى الكيانات الغربية حتى في السياق العربي. لذا نمنح كل بُعد درجة من 0 إلى 4 قبل التفضيل العام. الجدول توضيحي.

مثال تطبيقي: موجّه واحد وإجابتان

الموجّه (لهجة سعودية): «اكتب لي رسالة قصيرة لمديري، أبي إجازة يومين الأسبوع الجاي عشان ظرف عائلي.»

الإجابة (أ)، وتقع في ثلاث فقرات: «عزيزي المدير، آمل أن تجدك هذه الرسالة بخير… ولا تتردد في التواصل معي إذا كانت لديك أي أسئلة.»

الإجابة (ب): «السلام عليكم أستاذ [الاسم]، أرجو التكرم بالموافقة على إجازة يومين ([التاريخ]) لظرف عائلي، وسأسلّم مهامي العاجلة قبلها. شاكر لك.»

تفوز (ب): قصيرة كما طُلب، بصيغة المراسلات الرسمية المألوفة في بيئة العمل السعودية، ولا تخترع تاريخًا. أما (أ) فمهذبة، لكن عباراتها منقولة عن قوالب البريد الإنجليزي، وطولها يغري المقيّم غير المتمرّس، ونماذج المكافأة تتأثر بالطول أصلًا. ولاحظ أن (ب) فصحى والموجّه عامي؛ فمخاطبة المدير تستدعي الرسمية، ومن يطبّق «رُدّ بلهجة المستخدم» آليًا سيعاقبها. لذا نكتب سياسة مستوى الخطاب في المعايير، ويسجّل المقيّم رموز الأسباب (ترجمة حرفية، إطالة) لتدقيق كل حكم.

من يقيّم؟ مقيّمون أصليون مطابقون للهجة وخبراء مجال

نغطي أكثر من 25 لهجة ومتغيرًا عربيًا، منها الفصحى والخليجية والمصرية والشامية والعراقية والمغاربية، ونطابق المقيّم مع لهجة الموجّه ولهجة الرد؛ فلا يحكم مقيّم شامي على الخطاب النجدي. يجتاز المقيّمون فحص اللهجة والمجال قبل رؤية بيانات العميل، ويتأهلون على أزواج ذهبية محكّمة تبقى مدسوسة في العمل لكشف الانحراف مبكرًا. ويشمل ذلك المخرجات الصوتية؛ انظر جمع البيانات الصوتية العربية.

كيف يسير مشروع التعلم المعزز من ملاحظات البشر؟

1. تحديد النطاق (Vet). اللهجات، وسياستا مستوى الخطاب والسلامة، والمجالات، وطريقة التدريب: DPO أو نموذج مكافأة أو تعلم معزز تفاعلي (Online RL).
2. المعايير والعينة الذهبية (Train). دليل معايير نكتبه مع فريقك، وأزواج ذهبية محكّمة يتأهل عليها المقيّمون.
3. التجربة (Produce). دفعة محددة من مخرجات نموذجك، مع تحليل الاتفاق ودقة العينات الذهبية ومواضع الخلاف.
4. ضبط الجودة والتحكيم (QA). تقييم مزدوج لعينة من العناصر، وتحكيم لغوي للخلافات، وإعادة ما يخفق في الفحوص.
5. التوسّع والتسليم (Deliver). إصدارات مرقّمة (JSONL أو Parquet) بصيغ Hugging Face TRL مثل prompt, chosen, rejected أو بمخططك، مع لهجة المقيّم وإصدار المعايير وسجل تدقيق لكل مهمة.

كيف نقيس الجودة والاتفاق بين المقيّمين؟

لكل وسم مقياس اتفاق (Inter-Annotator Agreement) يناسبه: كابا (Cohen أو Fleiss) للاختيارات الزوجية، وألفا كريبندورف (Krippendorff's alpha) للدرجات الترتيبية، مع دقة كل مقيّم على العينات الذهبية. ونفرّق بين خطأ في تطبيق المعايير يُحكَّم ويُعاد العمل عليه، وخلاف مشروع، كاختلاف مقيّم خليجي وآخر شامي فيما يُعدّ مهذبًا، نحتفظ فيه بالحكمين موسومين بلهجة كل منهما؛ لأن المتوسط يواءم النموذج بصمت مع مجتمع واحد.

نصيحة للمشتري: بلغ الاتفاق بين مقيّمي التدريب في InstructGPT نحو 73% فقط، فإذا رأيت اتفاقًا شبه تام على موجّهات عربية مفتوحة، فقد يعني ذلك أن المقيّمين يحكمون على الطول أو الرسمية لا على الجودة.

متى نؤتمت التقييم ومتى نحتاج مقيّمين بشريين؟

النماذج تصلح لتوليد الإجابات المرشحة وفرزها أوليًا، لا للحكم العربي النهائي. في تدقيق LabelBench سجّل نموذج Qwen 2.5 3B دون أمثلة تدريبية (Zero-shot) نسبة 78% في تصنيف السمّية العربية الثنائي، ثم هبط إلى 25.3% على التصنيف الفعلي ذي الوسوم السبعة، وإلى 22.4% في تمييز خمس مناطق لهجية، قرب مستوى التخمين (20%)؛ إذ وسم 75% من الأمثلة الخليجية بأنها مصرية. وحتى Fanar 1 9B المتخصص بالعربية لم يتجاوز 47.8% في تمييز اللهجات. والمُحكِّم الذي لا يميّز اللهجات لا يستطيع الحكم على مطابقتها. وفي السلامة وجد معيار ASAS المنسّق بشريًا أن أداء المُحكِّمات الآلية مثل GPT-4o ضعيف مقارنةً بالمقيّمين البشريين.

لذا لا يخرج حكم من المراجعة البشرية إلا حين تُثبت «تغطية الأتمتة الآمنة» (Safe Automation Coverage)، مقيسةً على بياناتك، أن ذلك آمن. وإن اعتمدت على ملاحظات الذكاء الاصطناعي (RLAIF)، فأبقِ شريحة بشرية لتدقيقها.

الأمن وإقامة البيانات

ولأن سجلات المحادثات تحوي غالبًا بيانات عملاء، تُستضاف البيانات داخل المنطقة افتراضيًا، مع خيار التشغيل في مقرّك (On-prem) أو في سحابة خاصة، ويعمل المقيّمون بموجب اتفاقيات عدم إفصاح (NDA) وبأقل صلاحيات لازمة، مع سجل تدقيق لكل مهمة. راجع قائمة التحقق من نظام حماية البيانات الشخصية (PDPL) (بالإنجليزية) وصفحة توسيم البيانات في السعودية.

حالات الاستخدام حسب القطاع

البنوك: إجابات باللهجة ضمن سياسة الاستشارة. الصحة: دقة يقيّمها أطباء. الحكومة: ردود رسمية على أسئلة عامية. القانون: مراجعة محامين. الاتصالات والإعلام والتجزئة: نبرة خدمة العملاء وصوت العلامة.

فريق داخلي أم منصة جماعية أم مزوّد متخصص؟

واسأل أي خيار عن لهجة كل مقيّم واتفاقه ودقته على العينات الذهبية ومكان عمله، ثم قِس أثر البيانات عبر تقييم مستقل لنماذج اللغة العربية.

ابدأ بتجربة محددة النطاق

تجربة على مخرجات نموذجك: دليل معايير نكتبه معًا، وضبط جودة بالعينات الذهبية، وتقرير عن الاتفاق وأنماط الخلاف، وعادةً خلال أسبوعين. بعدها نتوسع بصيغة مُدارة أو مدمجة مع فريقك أو مؤسسية. وللمزيد: مقالاتنا بالعربية ودليل توسيم البيانات العربية.