أداة توحيد النص العربي من Bayanat Labs (arabic-normalize)
تطبّق مكتبة arabic-normalize على النص العربي سياسة توحيد مسمّاة، مثل bayanat-norm-v1، وتبيّن بالضبط ما غيّرته: النص الموحَّد، وسجل التغييرات مع موضع كل تغيير، والتغييرات الفاقدة للمعلومات، ونسبة التشكيل، وقيمة SHA-256 للسياسة. وتأتي مكتبةً بلغة Python، وحزمةً بلغة JavaScript في المستودع نفسه، وأداةً مجانية تعمل في المتصفح، مع حالات اختبار للمطابقة يجتازها التطبيقان كلاهما.
| الترخيص | Apache-2.0 للشيفرة، وCC BY 4.0 لحالات اختبار المطابقة |
|---|---|
| الإصدار | v0.1.0 · نسخة تجريبية لم تصدر بعد: لا وسم إصدار لها، ولم تُنشر على PyPI أو npm. وحالات اختبار المطابقة v0.1. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | الفرق التي توحّد النصوص العربية للبحث أو لبيانات التدريب أو لتقييم التعرف على الكلام، وتحتاج إلى أن تحدد بدقة طريقة التوحيد التي استخدمتها. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف MANIFEST.json في مجموعة حالات اختبار المطابقة على Hugging Face، ويُربط بقيمة SHA-256 الخاصة به.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| bayanatlabs.com | افتح أداة التوحيد |
| GitHub | الشيفرة على GitHub |
| Hugging Face | حالات اختبار المطابقة على Hugging Face |
| Hugging Face | الأداة في المتصفح على Hugging Face Spaces |
ابدأ الاستخدام
ثبّتها من GitHub مثبَّتةً على إيداع محدد (لم تُنشر الحزمتان بعد على PyPI وnpm)
# Python 3.9 or later
pip install "git+https://github.com/Bayanat-Labs/arabic-normalize@3ad22326a66596e8dc413321017251eed6e60439"
# JavaScript (Node 20 or later): the js/ folder of a clone at the same commit
git clone https://github.com/Bayanat-Labs/arabic-normalize.git
git -C arabic-normalize checkout 3ad22326a66596e8dc413321017251eed6e60439
npm install ./arabic-normalize/jsما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| مكتبة Python وأداة سطر الأوامر وحزمة JavaScript | Apache-2.0 | نعم |
| حالات اختبار المطابقة (قسما التطوير والقبول) | CC BY 4.0 | نعم |
| أداة التوحيد في المتصفح على Hugging Face Spaces | Apache-2.0 | نعم |
صيغة النسبة: arabic-normalize by Bayanat Labs. https://github.com/Bayanat-Labs/arabic-normalize
الاستخدامات المقصودة
- توحيد النص العربي بسياسة مسمّاة ذات إصدار ثابت، وتسجيل قيمة SHA-256 الخاصة بها في ورقة بحثية أو نتيجة تقييم أو بطاقة مجموعة بيانات.
- معرفة ما غيّره التوحيد، مع موضع كل تغيير والتغييرات الفاقدة للمعلومات.
- اختبار أي تطبيق آخر مقابل حالات اختبار المطابقة.
خارج النطاق
- تصحيح الإملاء أو إضافة التشكيل: تحذف السياسات الحروف والعلامات أو تستبدل بها غيرها، ولا تستعيدها.
- تعديل سياسة منشورة: لا تتغير السياسة بعد إصدارها، فأي تغيير في السلوك يصدر باسم جديد.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | الشيفرة بترخيص Apache-2.0، وحالات الاختبار بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| العرض | مسموح | حالات الاختبار بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| إعادة التوزيع | مسموح | الشيفرة بترخيص Apache-2.0، وحالات الاختبار بترخيص CC BY 4.0 مع نسبتها إلى المصدر، وبيانات Unicode برخصة Unicode V3. |
| الصوت الاصطناعي | لا ينطبق | نصوص فقط. |
القيود
- يكون التثبيت من GitHub حاليًا، فالحزمتان غير منشورتين بعد على PyPI وnpm.
- لا تغطي حالات اختبار المطابقة إلا السياسات الثلاث المنشورة.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Unicode Character Database 18.0.0 | رخصة Unicode V3 | نعم |
كتبتها Bayanat Labs. وتتضمن المكتبة بيانات مشتقة من قاعدة بيانات محارف Unicode، تخضع لرخصة Unicode V3 (انظر ملف NOTICE في المستودع). تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). arabic-normalize: Arabic text normalisation with named, versioned policies, version 0.1.0. Bayanat Labs. https://github.com/Bayanat-Labs/arabic-normalize
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicnormalize,
author = {{Bayanat Labs}},
title = {arabic-normalize: Arabic text normalisation with named, versioned policies, version 0.1.0},
year = {2026},
month = oct,
howpublished = {\url{https://github.com/Bayanat-Labs/arabic-normalize}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | الشيفرة التجريبية (v0.1.0، لم تصدر بعد) على GitHub، والأداة التي تعمل في المتصفح على Hugging Face Spaces، وحالات اختبار المطابقة على Hugging Face. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Bench