ArabicWER من Bayanat Labs: حساب معدل خطأ الكلمات والحروف للعربية
تحسب ArabicWER (arabicwer) معدل خطأ الكلمات (WER) ومعدل خطأ الحروف (CER) لأنظمة التعرّف الآلي على الكلام العربي وفق ست سياسات توحيد مسمّاة ذات إصدارات ثابتة جنبًا إلى جنب، من النص الخام إلى الإملاء المتسامح، فتذكر كل نتيجة السياسة التي حُسبت بها، مثل WER (arabicwer-1/lenient). وتأتي حزمةً بلغة Python وأداةً لسطر الأوامر بواجهة تشبه jiwer، ومعها مواصفة بقواعد دقيقة وقاعدة محاذاة محددة، وحالات اختبار للمطابقة بقيمها المتوقعة في كل سياسة، وحاسبة مجانية تعمل في المتصفح، ودراسة حالة تقيّم نموذجين مفتوحين من Whisper على العربية المصرية في FLEURS بكل سياسة.
| الترخيص | Apache-2.0 للشيفرة، وCC BY 4.0 للسياسات والمواصفة وحالات الاختبار ومخرجات دراسة الحالة |
|---|---|
| الإصدار | v0.1.0 · حزمة Python والمواصفة والسياسات وحالات الاختبار v0.1.0 بوسم إصدار على GitHub، ولم تُنشر الحزمة على PyPI بعد. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | الفرق التي تقيّم أنظمة التعرّف على الكلام العربي وتحتاج إلى أن تذكر بدقة كيف وُحِّد النص قبل حساب النتيجة. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُحسب كل رقم من ملف في مجموعة حالات الاختبار على Hugging Face (ملفا حالات الاختبار وملخص دراسة الحالة)، ويُربط بقيمة SHA-256 لذلك الملف.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| bayanatlabs.com | افتح الحاسبة |
| GitHub | الشيفرة والمواصفة على GitHub |
| Hugging Face | حالات الاختبار ودراسة الحالة على Hugging Face |
| Hugging Face | الحاسبة في المتصفح على Hugging Face Spaces |
ابدأ الاستخدام
ثبّتها من GitHub عند وسم الإصدار v0.1.0 (لم تُنشر الحزمة على PyPI بعد). يضم ملف TSV في كل سطر معرّفًا ونصًا مرجعيًا ومخرَج النظام.
pip install "git+https://github.com/Bayanat-Labs/arabicwer@v0.1.0"
# Every policy side by side, with the swing
arabicwer score --tsv pairs.tsv
# In Python
>>> import arabicwer
>>> arabicwer.wer("ذهب الولد إلى المدرسة", "ذهب الولد الى المدرسه") # lenient (default)
0.0
>>> arabicwer.wer("ذهب الولد إلى المدرسة", "ذهب الولد الى المدرسه", policy="raw") # no normalisation
0.5ما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| حزمة Python وأداة سطر الأوامر | Apache-2.0 | نعم |
| السياسات والمواصفة وحالات اختبار المطابقة | CC BY 4.0 | نعم |
| دراسة الحالة: مخرجات النموذجين والنتائج والتقرير | CC BY 4.0 | نعم |
| الحاسبة في المتصفح على Hugging Face Spaces | Apache-2.0 | نعم |
صيغة النسبة: ArabicWER (arabicwer) by Bayanat Labs. https://github.com/Bayanat-Labs/arabicwer
الاستخدامات المقصودة
- تقييم أنظمة التعرّف على الكلام العربي وفق عدة سياسات توحيد في وقت واحد، وذكر السياسة مع كل رقم.
- معرفة قاعدة التوحيد التي تغيّر النتيجة، مع محاذاة كلمة بكلمة تبيّن كل استبدال وحذف وإدراج.
- اختبار أي تطبيق آخر لحساب WER مقابل حالات اختبار المطابقة.
خارج النطاق
- ترتيب نماذج التعرّف على الكلام: تقيس دراسة الحالة مدى تأثر النتيجة بالسياسة، لا جودة النماذج.
- تعديل سياسة منشورة: أي تغيير في السلوك يصدر بمعرّف سياسة جديد.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | الشيفرة بترخيص Apache-2.0، والسياسات وحالات الاختبار ومخرجات دراسة الحالة بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| العرض | مسموح | بترخيص CC BY 4.0 مع نسبتها إلى المصدر، وتحتفظ نصوص FLEURS المرجعية بإشعار ترخيصها CC BY 4.0 (Google). |
| إعادة التوزيع | مسموح | الشيفرة بترخيص Apache-2.0، وبيانات Bayanat Labs بترخيص CC BY 4.0 مع نسبتها إلى المصدر، ونصوص FLEURS المرجعية بترخيص CC BY 4.0 (Google)، وبيانات Unicode برخصة Unicode V3. |
| الصوت الاصطناعي | لا ينطبق | نصوص فقط، دون أي ملفات صوتية. |
القيود
- يكون التثبيت من GitHub حاليًا، فالحزمة غير منشورة بعد على PyPI.
- تغطي دراسة الحالة مجموعة اختبار واحدة (العربية المصرية في FLEURS) ونموذجين مفتوحين من Whisper.
- قد تخفي السياسة المتسامحة أخطاء حقيقية، مثل كتابة على بصيغة علي، لذا اذكر بجانبها نتيجة أكثر صرامة حين يكون الفرق مهمًا.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| FLEURS (google/fleurs), Egyptian Arabic test split | CC BY 4.0 (Google) | نعم |
| Unicode Character Database 18.0.0 | رخصة Unicode V3 | نعم |
حالات الاختبار نصوص عربية اصطناعية كتبتها Bayanat Labs. وتتضمن دراسة الحالة نصوص FLEURS المرجعية، دون الصوت، بترخيصها CC BY 4.0، وأنتجت Bayanat Labs مخرجات النموذجين بنموذجين مفتوحين من Whisper. وتتضمن الحاسبة في المتصفح بيانات مشتقة من قاعدة بيانات محارف Unicode (انظر ملف NOTICE في المستودع). تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). arabicwer: Arabic WER and CER under named, versioned normalisation policies, version 0.1.0. Bayanat Labs. https://github.com/Bayanat-Labs/arabicwer
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicwer,
author = {{Bayanat Labs}},
title = {arabicwer: Arabic WER and CER under named, versioned normalisation policies, version 0.1.0},
year = {2026},
month = oct,
howpublished = {\url{https://github.com/Bayanat-Labs/arabicwer}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | حزمة Python وأداة سطر الأوامر والمواصفة وحالات الاختبار على GitHub، وحالات الاختبار ودراسة الحالة على FLEURS على Hugging Face، والحاسبة في المتصفح على Hugging Face Spaces. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Voice