الصيغ اللاتينية للأسماء العربية من Bayanat Labs
Muhammad وMohammed وMohamed وMuhammed: يصل الاسم العربي إلى الحروف اللاتينية بكتابات كثيرة، ونظام مطابقة الأسماء أو البحث الذي لا يعرف إلا واحدة منها يفوته الباقي. تجمع مجموعة البيانات هذه الكتابات الموثّقة في ملف تفريغ ويكي بيانات بتاريخ 26 أكتوبر 2026 لأكثر من مليون ونصف مليون شخص ومكان ومؤسسة، وتسم كل زوج من الأسماء العربية واللاتينية بأنه نقحرة أو مختلط أو ترجمة/اسم أجنبي، وتحاذي الأسماء كلمةً كلمة، وتجمع كتابات كل كلمة من كلمات الأسماء العربية: 236,025 كتابة لاتينية لـ 144,875 كلمة، منها 73 كتابة لاسم محمد. ويرافقها معيار لمطابقة الأسماء من 5,000 زوج متطابق و5,000 زوج صعب غير متطابق من كيانات محجوزة، مع أربعة خطوط أساس، وقد بُنيت الأزواج بقواعد من ويكي بيانات ولم تُوسَم يدويًا. البيانات بترخيص CC0 1.0، مشتقة من ويكي بيانات، وصفحة البحث الثابتة والشيفرة متاحتان للعموم.
| الترخيص | CC0 1.0 للبيانات المشتقة من ويكي بيانات، وCC BY 4.0 لنص الصفحة، وApache-2.0 للشيفرة |
|---|---|
| الإصدار | v0.1.0 · مبني من ملف تفريغ ويكي بيانات بتاريخ 26 أكتوبر 2026، والشيفرة موسومة بالإصدار v0.1.0 على GitHub وغير منشورة على PyPI. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | الفرق التي تطابق الأسماء بين الحروف العربية واللاتينية في فحص الأسماء أو ربط السجلات أو البحث، أو تبني ربط الكيانات أو معاجم النطق، أو تختبر أنظمة مطابقة الأسماء. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملفات الأعداد ونتائج خطوط الأساس وملخص الفحص في مجلد meta من مجموعة البيانات على Hugging Face عند المراجعة ceb1906e957768dbd36f21bf53ec8230eaebaaf3، ويُربط ببصمة SHA-256 للملف، وتُحسب النسب المئوية من هذه الملفات وتُقرَّب إلى منزلة عشرية واحدة. ويسرد ملف MANIFEST.json كل ملف مع حجمه وبصمته.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | البيانات على Hugging Face |
| Hugging Face | صفحة البحث |
| GitHub | الشيفرة على GitHub |
| Hugging Face | صفحة البحث بالعربية |
| huggingface.co | الأعداد (stats.json) |
| huggingface.co | نتائج خطوط الأساس (JSON) |
| huggingface.co | ملخص فحص العيّنات (JSON) |
| huggingface.co | قائمة الملفات مع أحجامها وبصماتها (MANIFEST.json) |
| GitHub | المنهجية |
| bayanatlabs.com | شريحة ويكي بيانات للعالم العربي، وعليها يقوم نطاق arab_world |
| bayanatlabs.com | arabic-normalize، السياسة التي يقوم عليها النص العربي الموحّد |
ابدأ الاستخدام
حمّل أحد الإعدادات بمكتبة datasets. وتُثبَّت الشيفرة من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير منشورة على PyPI.
from datasets import load_dataset
tokens = load_dataset("Bayanat-Labs/arabic-latin-name-variants", "token_variants", split="train")
pairs = load_dataset("Bayanat-Labs/arabic-latin-name-variants", "entity_variants", split="train")
clusters = load_dataset("Bayanat-Labs/arabic-latin-name-variants", "clusters", split="train")
bench = load_dataset("Bayanat-Labs/arabic-latin-name-variants", "name_matching_bench", split="test")
pip install "arabic-latin-name-variants @ git+https://github.com/Bayanat-Labs/arabic-latin-name-variants@v0.1.0"
arabic-latin-name-variants lookup "محمد" --release path/to/downloaded/dataset
ما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| entity_variants (Parquet): أسماء عربية مقرونة بأسماء لاتينية للكيان نفسه، موسومة بأنها نقحرة أو مختلطة أو ترجمة/اسم أجنبي، مع درجة تشابه ومحاذاة الكلمات وحقول buckwalter وala_lc وdin_31635، ولا يُملأ حقل ala_lc إلا حين تكون النقحرة المطابقة موثّقة أو ممكنة الاشتقاق من الحركات | CC0 1.0 | نعم |
| token_variants (Parquet): لكل كلمة من كلمات الأسماء العربية كتاباتها اللاتينية مع عدد الكيانات واللغات وراء كل كتابة، ورتبة ووسم لأسلوب الكتابة | CC0 1.0 | نعم |
| clusters (Parquet): كل اسم عربي كامل مع كل كتاباته اللاتينية عبر الكيانات | CC0 1.0 | نعم |
| name_matching_bench (Parquet): أزواج عربية لاتينية متطابقة وأزواج صعبة غير متطابقة من كيانات محجوزة، مع نتائج أربعة خطوط أساس | CC0 1.0 | نعم |
| الأعداد ونتائج خطوط الأساس وفحص العيّنات في مجلد meta، مع قائمة الملفات وقيم التحقق | CC0 1.0 | نعم |
| الشيفرة على GitHub: قراءة ملف التفريغ ومرشحات الأسماء ووسوم العلاقة والمحاذاة وجداول الكتابات وخطوط الأساس | Apache-2.0 | نعم |
| صفحة البحث الثابتة على Hugging Face Spaces، بالإنجليزية والعربية: شيفرتها | Apache-2.0 | نعم |
| بيانات الكتابات في صفحة البحث | CC0 1.0 | نعم |
| نص هذه الصفحة ونص صفحة البحث | CC BY 4.0 | نعم |
| خط IBM Plex Sans Arabic في صفحة البحث (SIL Open Font License 1.1) | SIL Open Font License، وحقوق النشر لشركة IBM | نعم |
صيغة النسبة: Arabic-Latin Name Variants by Bayanat Labs. Derived from Wikidata (CC0 1.0). https://huggingface.co/datasets/Bayanat-Labs/arabic-latin-name-variants
الاستخدامات المقصودة
- توسيع الاسم في البحث، أو مطابقة الأسماء بين الحروف العربية واللاتينية في فحص الأسماء وربط السجلات، بالكتابات اللاتينية الموثّقة لكل كلمة من كلمات الأسماء العربية.
- اختبار نظام لمطابقة الأسماء العربية واللاتينية على أزواج name_matching_bench ومقارنته بخطوط الأساس الأربعة.
- دعم ربط الكيانات ومعاجم النطق بالأزواج الموسومة ومحاذاة الكلمات.
خارج النطاق
- عدّ تطابق الاسم دليلًا على أن سجلين يخصان الشخص نفسه: فكثير من الناس يشتركون في اسم، والجداول تضم كتابات لا هويات.
- فهم سلسلة اسم على أنها حقيقة عن شخص: فمحررو ويكي بيانات يكتبون سلاسل الأسماء، وقد يبقى منها ما يبدو وصفًا أو عبارة.
- فهم الأعداد على أنها مدى استخدام كتابة ما بين الناس: فهي تصف ويكي بيانات.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | بترخيص CC0 1.0، مشتقة من ويكي بيانات. وتتناول القيود أدناه أسماء الأشخاص. |
| العرض | مسموح | بترخيص CC0 1.0، ويذكر الإصدار مصدره بأنه مشتق من ويكي بيانات. |
| إعادة التوزيع | مسموح | البيانات بترخيص CC0 1.0، والشيفرة بترخيص Apache-2.0، ونص الصفحة بترخيص CC BY 4.0، وخط صفحة البحث بترخيص SIL Open Font License. ولا يشمل أيٌّ منها اسم Bayanat Labs وشعارها. |
| الصوت الاصطناعي | لا ينطبق | لا يتضمن ملفات صوتية. |
القيود
- دقة العيّنة: هذا فحص منفصل أجرته Bayanat Labs على عيّنات عشوائية، والأحكام فيه قراءة Bayanat Labs نفسها، وليس مراجعة من متحدثين أصليين. قرأنا 300 صف من entity_variants سُحبت عشوائيًا، نصفها من كل نطاق، وحكمنا هل يؤدي الاسم اللاتيني أصوات الاسم العربي (نقحرة)، أو يؤديها لجزء من الاسم فقط والباقي مترجم أو زائد أو ناقص (مختلط)، أو هو ترجمة أو اسم أجنبي أو اسم آخر (ترجمة أو اسم أجنبي). من 123 صفًا موسومًا بأنه نقحرة كان 120 منها نقحرة فعلًا (الدقة 97.6%)؛ ومن 121 صفًا موسومًا بأنه مختلط كان 103 منها مختلطًا فعلًا (الدقة 85.1%؛ و15 من الباقي ترجمات أو أسماء أخرى، و3 نقحرة كاملة)؛ ومن 56 صفًا موسومًا بأنه ترجمة/اسم أجنبي لم تكن في 47 منها صلة نقحرة (الدقة 83.9%). وقرأنا أيضًا 300 اسم متعدد الكلمات سُحبت عشوائيًا، نصفها من كل نطاق، وتغذّي محاذاتها جداول الكلمات: كانت محاذاة 290 منها صحيحة في كل أزواج الكلمات (96.7%). والصفوف التي حُكم عليها وملخصها منشوران في مجلد meta من مجموعة البيانات.
- بُنيت أزواج المعيار بقواعد من ويكي بيانات، ولم تُوسَم يدويًا. والأزواج المتطابقة صفوف وسمها مرشّح العلاقة بأنها نقحرة، وهذا المرشّح يستخدم تشابه الهيكل الساكن نفسه، مما يفيد هذا الخط الأساسي عند واحد في المئة. وعند واحد في الألف تعتمد العتبة على عدد قليل من الأزواج غير المتطابقة ذات الدرجات العالية، فلا يستقر استرجاع الهيكل الساكن عند هذا المعدل. ويُبنى البحث في جدول الكتابات دون الكيانات المحجوزة، لكنه يستفيد مع ذلك من كلمات الأسماء الشائعة التي تشترك فيها مع غيرها.
- تغلب على ويكي بيانات الشخصيات العامة، وتغلب الكتابات الإنجليزية وغيرها من لغات أوروبا الغربية (الإنجليزية 18.7%، وثماني لغات من أوروبا الغربية 88.6% من وسوم اللغة في صفوف الأسماء اللاتينية). وتصف الأعداد ويكي بيانات، لا مدى استخدام كتابة ما بين الناس.
- توجد قيمة في حقل ala_lc لـ 2.7% من الأسماء العربية، وأكثرها أسماء لاتينية بحروف ذات خطوط وعلامات قد تتبع IJMES أو BGN/PCGN أو نظامًا آخر، ولم يُتحقق من أنها ALA-LC.
- أسماء الأشخاص بيانات شخصية في ولايات قضائية كثيرة حتى حين تكون علنية. يضم الإصدار عن الأشخاص معرّف QID والفئة والبلدان وسلاسل الأسماء من ويكي بيانات. ويكتب محررو ويكي بيانات سلاسل الأسماء، وتُزال بالقواعد السلاسل التي تبدو وصفًا لشخص أو عبارة عنه، وقد يبقى بعضها. للإبلاغ عن أي منها: hello@bayanatlabs.com.
- وللأشخاص الذين قد يكونون أحياء (آخر سنة ميلاد ممكنة هي سنة ألف وتسعمئة أو بعدها، أو لا سنة معروفة) لا يبقى زوج الأسماء إلا إذا كانت السلسلتان تقرآن اسمًا واحدًا، وهذا يحذف أيضًا أسماء حقيقية كثيرة، مثل الألقاب والأسماء المترجمة والأسماء الكاملة ذات الاسم الأوسط: 847,342 زوجًا، أي 20.4% من أزواج أسماء الأشخاص.
- أعمدة صف الشخص: qid, scope, entity_class, countries, ar_text_raw, ar_text_norm, ar_langs, ar_kinds, buckwalter, ala_lc, ala_lc_origin, din_31635, latin_text_raw, latin_fold, latin_langs, latin_kinds, method_qids, relation, skeleton_sim, token_alignment, alignment_score, lastrevid. وlastrevid رقم مراجعة العنصر في ويكي بيانات في ملف التفريغ، وليس بيانات عن الشخص.
- يُستبعد من قد يكون دون الثامنة عشرة. وتحتاج هذه القاعدة إلى تاريخ ميلاد أو سنة ميلاد في وصف، و42,133 شخصًا ليس لهم أي منهما فلم يمكن اختبارهم. طلبات إزالة مدخل: hello@bayanatlabs.com.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Wikidata JSON dump of 26 October 2026 (wikidata-20261026-all.json.gz) | CC0 1.0 (البيانات المهيكلة في ويكي بيانات) | نعم |
| Arab-World Wikidata Slice, built from the same dump, for the arab_world scope | CC0 1.0، وتُستخدم لتمييز العناصر المرتبطة بدول جامعة الدول العربية | لا |
| arabic-normalize, policy bayanat-norm-v1, for the normalised Arabic | Apache-2.0، ويُستخدم لبناء العمود الموحّد ولا يُضمَّن | لا |
تأتي الأسماء من ملف تفريغ ويكي بيانات بصيغة JSON بتاريخ 26 أكتوبر 2026 وحده، وقد قُرئ مرة واحدة تدفقًا من مرآة رسمية لويكيميديا (Academic Computer Club, Umeå University) بمعرّف Bayanat Labs للبيانات المفتوحة، ولم يُخزَّن، وتطابق قيم التحقق المحسوبة أثناء القراءة القيم التي تنشرها ويكيميديا للملف. وتشرح بطاقة البيانات وقسم المنهجية في المستودع النطاق وقواعد السلاسل ومرشّح العلاقة والمحاذاة والمعيار. تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic-Latin Name Variants, version 0.1.0 (Wikidata JSON dump of 2026-10-26). Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-latin-name-variants
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabiclatinnamevariants,
author = {{Bayanat Labs}},
title = {Arabic-Latin Name Variants, version 0.1.0 (Wikidata JSON dump of 2026-10-26)},
year = {2026},
month = nov,
howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-latin-name-variants}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | مبني من ملف تفريغ ويكي بيانات بتاريخ 26 أكتوبر 2026: أزواج الأسماء وجداول الكتابات ومجموعات الأسماء الكاملة ومعيار لمطابقة الأسماء على Hugging Face، وصفحة بحث ثابتة على Hugging Face Spaces، والشيفرة على GitHub. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Search