حزمة اختبار مطابقة يونيكود للنص العربي من Bayanat Labs
يختلف توحيد النص العربي من أداة إلى أخرى: فواحدة تحذف الحركات والتطويل، وأخرى توحّد أيضًا أ إ آ إلى ا، وثالثة تستبدل بكل حركة مسافة، فلا تعود معدلات خطأ الكلمات وأعداد التكرار وفهارس البحث المبنية بأدوات مختلفة قابلة للمقارنة. وتضبط هذه الحزمة السلوك بدقة: تعطي كل حالة اختبار نصًا مدخلًا بنقاط ترميزه وبايتاته، والناتج الدقيق وفق ست سياسات مسمّاة: identity وNFC وNFKC وسياسات arabic-normalize الثلاث raw-safe-v1 وbayanat-norm-v1 وasr-eval-v1. ويختبر برنامج تشغيل بلغة Python أي أداة توحيد مقابل الحالات، وتسجّل مصفوفة المطابقة سلوك توحيد Unicode في Python وICU، وarabic-normalize، وCAMeL Tools، وPyArabic، وأداة توحيد النص في Whisper عليها.
| الترخيص | CC BY 4.0 للحالات ومواصفات السياسات والوثائق والتقارير، وApache-2.0 للشيفرة |
|---|---|
| الإصدار | v0.1.0 · الحالات والسياسات وبرنامج التشغيل v0.1.0 بوسم إصدار على GitHub، ولم يُنشر برنامج التشغيل على PyPI بعد. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | مطورو المكتبات، وفرق التعرّف على الكلام والبحث، وكل من ينشر معدل خطأ الكلمات للعربية ويحتاج إلى أن يذكر طريقة التوحيد التي تتبعها أداته. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف MANIFEST.json في مجموعة البيانات على Hugging Face، ويُربط بقيمة SHA-256 الخاصة به.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | مجموعة البيانات على Hugging Face |
| GitHub | الشيفرة وبرنامج التشغيل على GitHub |
| GitHub | النص المعياري للسياسة (bayanat-norm-v1) |
| bayanatlabs.com | أداة توحيد النص العربي (arabic-normalize) |
ابدأ الاستخدام
ثبّت برنامج التشغيل من GitHub عند وسم الإصدار v0.1.0 (لم يُنشر على PyPI بعد)، أو حمّل الحالات بمكتبة datasets وقارن ناتجك بأعمدة expected_<policy>.
pip install "git+https://github.com/Bayanat-Labs/arabic-unicode-conformance@v0.1.0"
arabic-unicode-conformance list
arabic-unicode-conformance run --impl arabic-normalize-py --check
# Python
from datasets import load_dataset
cases = load_dataset("Bayanat-Labs/arabic-unicode-conformance", "cases", split="test")ما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| حالات الاختبار والنواتج المتوقعة | CC BY 4.0 | نعم |
| مواصفات السياسات والوثائق (بالإنجليزية والعربية) | CC BY 4.0 | نعم |
| مصفوفة المطابقة والنواتج المرصودة | CC BY 4.0 | نعم |
| برنامج التشغيل والمحوّلات (حزمة Python) | Apache-2.0 | نعم |
صيغة النسبة: Arabic Unicode Conformance Suite by Bayanat Labs, CC BY 4.0. https://huggingface.co/datasets/Bayanat-Labs/arabic-unicode-conformance
الاستخدامات المقصودة
- التحقق من أن أداة التوحيد تتبع سياسة مسمّاة، حالة بحالة، وذكر السياسة التي تتبعها.
- مقارنة أدوات التوحيد على حالات عربية حدّية واحدة: الحركات والهمزة وصور الألف والياء والأرقام ومحارف الوصل والفصل ومحارف التحكم في الاتجاه وأشكال العرض.
- استعمال الحالات اختبارات انحدار عند تغيير أداة التوحيد.
خارج النطاق
- ترتيب أدوات التوحيد بحسب الجودة: تبيّن نسبة الاتفاق مدى بعد التوحيد الخاص بالأداة عن أقرب سياسة في الحزمة، لا أن الأداة مخطئة.
- بيانات للتدريب: الحالات قصيرة وحدّية، كُتبت لاختبار أدوات التوحيد.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | الحالات والوثائق بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| العرض | مسموح | بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| إعادة التوزيع | مسموح | الحالات والوثائق بترخيص CC BY 4.0 مع نسبتها إلى المصدر، والشيفرة بترخيص Apache-2.0، وملفات بيانات Unicode برخصة Unicode V3. |
| الصوت الاصطناعي | لا ينطبق | نصوص فقط. |
القيود
- تتبع نواتج NFC وNFKC المتوقعة إصدار Unicode المذكور في ملف MANIFEST، وقد يغيّر إصدار آخر من Unicode بعض النواتج.
- شُغّلت أدوات الجهات الأخرى دون تعديل عبر دوالها العامة بالإصدارات المذكورة في المستودع، وقد تختلف الإصدارات الأحدث في سلوكها.
- يُثبَّت برنامج التشغيل من GitHub إلى أن يُنشر على PyPI.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Unicode Character Database 18.0.0 | رخصة Unicode V3 | نعم |
كتبت Bayanat Labs كل الحالات لهذه الحزمة، ولم يؤخذ أي نص من مدوّنة. والسياسات المسمّاة الثلاث هي ملفات سياسات arabic-normalize بترخيص CC BY 4.0. ويتضمن مستودع GitHub ثلاثة ملفات من قاعدة بيانات محارف Unicode برخصة Unicode V3 (انظر ملف NOTICE). تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic Unicode Conformance Suite, version 0.1.0. Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-unicode-conformance
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicunicodeconformance,
author = {{Bayanat Labs}},
title = {Arabic Unicode Conformance Suite, version 0.1.0},
year = {2026},
month = oct,
howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-unicode-conformance}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | حالات الاختبار ومواصفات السياسات وبرنامج التشغيل ومصفوفة المطابقة على GitHub وHugging Face. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Bench