مدقّق مواضع الكيانات المسمّاة العربية من Bayanat Labs

Arabic NER NER annotation validator character offsets BIO tagging Arabic NLP

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف docs/qa/numbers.json الصادر عند الوسم v0.1.0، والذي يعيد سكربت المستودع نفسه حسابه، ويُربط بقيمة SHA-256 للملف. ويذكر ملف MANIFEST.json في مجموعة حالات الاختبار عدد الحالات لكل قسم وفئة مع بصماتها، ويسرد ملف MANIFEST.json في تطبيق الويب كل ملف يقدّمه مع قيمته.

التنزيل والمعرّفات

ابدأ الاستخدام

ثبّت المكتبة وأداة سطر الأوامر من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير موجودة على PyPI بعد. أما تطبيق الويب فلا يحتاج إلى تثبيت.

pip install "git+https://github.com/Bayanat-Labs/arabic-ner-validator@v0.1.0"

arabic-ner-validator check annotations.jsonl --json report.json
arabic-ner-validator check export.jsonl --format doccano --offset-unit utf16 --clitic-policy exclude -v
arabic-ner-validator check train.conll --format conll --scheme BIOES
arabic-ner-validator convert export.jsonl --format spacy --offset-unit codepoint --to BILUO
arabic-ner-validator codes

ما الذي يتضمنه الإصدار

صيغة النسبة: Arabic NER Offset Validator (arabic-ner-validator) by Bayanat Labs. https://github.com/Bayanat-Labs/arabic-ner-validator

الاستخدامات المقصودة

• فحص ملف وسوم كيانات مسمّاة عربية قبل التدريب أو التسليم أو القبول، مع رمز لكل نتيجة.
• كشف المواضع المحسوبة بوحدة خاطئة، أو النص الذي تغيّر بعد الوسم، عند نقل البيانات بين doccano وLabel Studio وspaCy وCoNLL وصفوف توكنات Hugging Face.
• التحويل بين المواضع الحرفية ووسوم BIOES أو BILUO وفحص تسلسل الوسوم، في السكربتات والتكامل المستمر.

خارج النطاق

• الحكم على صحة تصنيف الكيان: يفحص المدقّق المواضع والنص والحدود وبنية الوسوم، لا معنى التصنيف.
• إصلاح البيانات دون مراجعة: تُسرد المواضع المقترحة في فرق قابل للتدقيق، ولا تغيّر النسخة المُصلَحة إلا المواضع.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• يجب إعلان وحدة المواضع، فالمدقّق لا يخمّنها أبدًا.
• بعض التغييرات لا تترك أثرًا في السجل: حين يُطبَّع النص المخزَّن ونصوص الامتدادات كلاهما بعد الوسم، يذكر المدقّق عدم التطابق لكنه لا يستطيع تسمية السبب. ويشرح تقرير الجودة كل حالة قبول لم تنجح.
• تنجح 96 من حالات القبول الـ100، ونجحت 86 منها على الإصدار الذي جُمِّد قبل قراءة حالات القبول. والتغييرات التي أُجريت بعد قراءتها مذكورة في سجل التغييرات، ولم تُعدَّل أي حالة اختبار.
• يحصل الامتداد الذي ينتهي بعلامة ترقيم عربية على تحذير، وقد تسمح به إرشادات المشروع نفسه.
• حالات الاختبار جمل اصطناعية كُتبت لهذه المجموعات، بأسماء أماكن ومؤسسات وشخصيات عامة أو تاريخية أو أسماء متخيَّلة. لم يراجع النصَّ العربي بعدُ كاتبٌ لغته الأم العربية، والنص الإنجليزي هو المعتمد.
• ثبّت المدقّق من GitHub حاليًا، فالحزمة غير موجودة على PyPI بعد.

المصادر والتراخيص

كُتبت حالات الاختبار لهذا المدقّق: جمل اصطناعية بأسماء أماكن ومؤسسات وشخصيات عامة أو تاريخية أو أسماء متخيَّلة، ولا تصف أي جملة شخصًا حقيقيًا من الأفراد. وقيست مصفوفة اصطلاحات المواضع على 20 نصًا عربيًا اختباريًا باستخدام Python وJavaScript في Node وChromium وspaCy ومُجزِّئات Hugging Face السريعة، أما صفّا Label Studio وdoccano فقُرئا من شيفرتهما المصدرية ولم يُقاسا. تفاصيل المصادر (بالإنجليزية)

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs (2026). Arabic NER Offset Validator (arabic-ner-validator), version 0.1.0. Bayanat Labs. https://github.com/Bayanat-Labs/arabic-ner-validator

• ملف CITATION.cff

لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.

@misc{bayanatlabs2026arabicnervalidator,
  author       = {{Bayanat Labs}},
  title        = {Arabic NER Offset Validator (arabic-ner-validator), version 0.1.0},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://github.com/Bayanat-Labs/arabic-ner-validator}}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

المنتج المرتبط: Bayanat Documents