المعجم الجغرافي العربي من Bayanat Labs
تُكتب جدة بالعربية «جدة» و«جدّة» و«جده»، وبالحروف اللاتينية Djedda وDjeddah وDjidda وGedda وJaddah وJedda وJeddah وJidda وJiddah وJuddah، وتظهر المدينة نفسها بكل هذه الصيغ في النماذج وسجلات العملاء والوثائق، بينما تشترك أماكن مختلفة كثيرة في اسم واحد. ويجمع المعجم الجغرافي العربي صيغ اسم كل مكان في سجل واحد، ويُبقي الأماكن المتشابهة الأسماء منفصلة، ويضيف الوحدات الإدارية التي يتبعها كل مكان. ويضم 246,637 مكانًا في الدول الأعضاء الـ22 في جامعة الدول العربية، لكل منها اسم عربي واحد على الأقل، من ملفات GeoNames بتاريخ 30 أكتوبر 2026 وملف تفريغ ويكي بيانات بتاريخ 26 أكتوبر 2026: 290,733 اسمًا عربيًا و603,699 اسم بالحروف اللاتينية مجمّعة في مجموعات إملائية (العربية وفق سياسة bayanat-norm-v1 من مكتبة arabic-normalize)، و8,282 وحدة إدارية بأسمائها العربية والإنجليزية، و52,257 مثالًا لمطابقة الأماكن مع أماكن تحمل الاسم نفسه للتمييز بينها وتقسيم ثابت إلى تدريب وتطوير واختبار. ومن أمثلة الاختبار البالغة 9,523، يجد البحث عن النص كما كُتب المكان الصحيح في 1,511 مثالًا، ويجده البحث بعد التطبيع مع الوحدة الإدارية المكتوبة بعد الفاصلة في 5,279 مثالًا، وما يبقى بعد ذلك هو أخطاء الإملاء والأسماء التي تشترك فيها أماكن كثيرة. ومن 563,437 معلمًا في GeoNames ضمن فئات المعالم التي يشملها المعجم، لـ227,963 منها اسم عربي في GeoNames أو في عنصر ويكي بيانات المرتبط بها.
| الترخيص | CC BY 4.0 لمجموعة البيانات (وتضم بيانات من GeoNames بترخيص CC BY 4.0 ومن ويكي بيانات بترخيص CC0 1.0)، وApache-2.0 لشيفرة أداة البناء |
|---|---|
| الإصدار | v0.1.0 · الإصدار v0.1.0، مبني من ملفات GeoNames بتاريخ 30 أكتوبر 2026 وملف تفريغ ويكي بيانات بتاريخ 26 أكتوبر 2026، وأداة البناء موسومة على GitHub وغير موجودة على PyPI بعد. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | الفرق التي تطابق نصوص المواقع المكتوبة بالعربية أو بالحروف اللاتينية في النماذج وسجلات العملاء والعناوين والوثائق مع أماكن في العالم العربي، والفرق التي تبني أنظمة ربط الكيانات العربية أو تحديد المواقع الجغرافية أو مطابقة الأسماء. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف meta/stats.json أو meta/baseline.json أو meta/validation.json في مجموعة البيانات على Hugging Face (والملفات نفسها في المجلد results/v0.1.0/ في مستودع GitHub) ويُربط بقيمة SHA-256 للملف، ويسرد ملف MANIFEST.json كل الملفات مع أحجامها وقيم SHA-256 لها.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | مجموعة البيانات على Hugging Face |
| GitHub | أداة البناء على GitHub |
| huggingface.co | الأعداد والتغطية (stats.json) |
| huggingface.co | تغطية الأسماء العربية حسب الدولة (CSV) |
| GitHub | المنهجية |
| bayanatlabs.com | شريحة ويكي بيانات للعالم العربي، مصدر بيانات ويكي بيانات |
| bayanatlabs.com | arabic-normalize، السياسة التي تقوم عليها المجموعات الإملائية العربية |
| bayanatlabs.com | مجموعة بيانات ذات صلة: أطلس أماكن العالم العربي |
| Hugging Face | مجموعة بيانات ذات صلة: Arabic Entity Atlas على Hugging Face |
ابدأ الاستخدام
حمّل أحد الجداول بمكتبة datasets. ولإعادة بناء المعجم، ثبّت أداة البناء من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير موجودة على PyPI بعد. وتثبّت أوامر إعادة البناء شريحة ويكي بيانات للعالم العربي على المراجعة 6e1295970ec41247d421e4843227f724ae8de32b، وهي التي بُني منها هذا الإصدار، ويتحقق أمر البناء من ملفات الشريحة التي يقرؤها مقابل بصمات SHA-256 المنشورة معها، ويتوقف إذا اختلف أحدها. وتنشر GeoNames ملفات جديدة كل يوم، لذا تعطي إعادة البناء جداول مختلفة بعض الشيء.
# Python
from datasets import load_dataset
places = load_dataset("Bayanat-Labs/arabic-gazetteer", "places", split="train")
names = load_dataset("Bayanat-Labs/arabic-gazetteer", "names", split="train")
test = load_dataset("Bayanat-Labs/arabic-gazetteer", "match_examples", split="test")
# Rebuild
pip install "git+https://github.com/Bayanat-Labs/arabic-gazetteer@v0.1.0"
arabic-gazetteer fetch-geonames geonames/
hf download Bayanat-Labs/arab-world-wikidata --repo-type dataset --revision 6e1295970ec41247d421e4843227f724ae8de32b --local-dir slice/
arabic-gazetteer build --geonames geonames/ --wikidata slice/ --out release/ \
--geonames-date 2026-10-30 --wikidata-date 2026-10-26 --wikidata-slice-revision 6e1295970ec41247d421e4843227f724ae8de32b
ما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| الأماكن والأسماء والوحدات الإدارية وأمثلة المطابقة (Parquet)، مع الأعداد والتغطية حسب الدولة والنتيجة الأساسية والفحوص في المجلد meta/ | CC BY 4.0 | نعم |
| شيفرة أداة البناء (arabic-gazetteer) لـ Python 3.10 أو أحدث | Apache-2.0 | نعم |
| المنهجية والتوثيق وملفات الملخص في مستودع GitHub | CC BY 4.0 | نعم |
صيغة النسبة: Arabic Gazetteer by Bayanat Labs, CC BY 4.0. Contains data from GeoNames (https://www.geonames.org), licensed under CC BY 4.0, and from Wikidata (CC0 1.0). https://huggingface.co/datasets/Bayanat-Labs/arabic-gazetteer
الاستخدامات المقصودة
- مطابقة نص موقع مكتوب بالعربية أو بالحروف اللاتينية، مثل مدينة في نموذج أو عنوان عميل، مع مكان واحد ووحداته الإدارية.
- تدريب أنظمة مطابقة أسماء الأماكن واختبارها على أمثلة المطابقة، مع أماكن تحمل الاسم نفسه للتمييز وتقسيم ثابت حسب الوحدة الإدارية الأولى.
- البحث عن صيغ اسم مكان بالعربية وبالحروف اللاتينية والوحدات الإدارية التي يتبعها، لأغراض البحث أو ربط الكيانات أو تنظيف البيانات.
خارج النطاق
- الفصل في الأسماء أو الحدود: تتبع الأسماء والحدود ورموز الدول مصادرها كما وردت.
- تحديد المواقع على مستوى الشارع: يضم المعجم الأماكن والوحدات الإدارية، لا الشوارع أو المباني.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | بترخيص CC BY 4.0 مع النسبة إلى المصدر، بما في ذلك سطر النسبة إلى GeoNames، ومحتوى ويكي بيانات بترخيص CC0 1.0 في مصدره. |
| العرض | مسموح | مع النسبة إلى Bayanat Labs وإضافة السطر: Contains data from GeoNames (https://www.geonames.org), licensed under CC BY 4.0. |
| إعادة التوزيع | مسموح | مجموعة البيانات بترخيص CC BY 4.0 مع الإبقاء على سطر النسبة إلى GeoNames، وشيفرة أداة البناء بترخيص Apache-2.0. |
| الصوت الاصطناعي | لا ينطبق | لا تتضمن البيانات أي صوت. |
القيود
- يحرر GeoNames وويكي بيانات أشخاص كثيرون، وفيهما أخطاء: أسماء خاطئة أو قديمة، وإحداثيات في غير موضعها، ومعالم مكررة، وروابط خاطئة. ولم يراجع أشخاص هذه السجلات، وتُقدَّم البيانات كما هي.
- التغطية متفاوتة: لا تُضمَّن الأماكن التي ليس لها اسم عربي في GeoNames أو ويكي بيانات، ونسبة معالم GeoNames التي لها اسم عربي أدناها في السودان وأعلاها في قطر.
- كثيرًا ما تبقى المستويات الإدارية الأدنى غير محددة في GeoNames، فتُترك فارغة ولا تُخمَّن.
- وُلّدت أمثلة المطابقة بقواعد ثابتة من الأسماء الموجودة في الإصدار، ولم يصنّف أشخاص أيًا منها.
- العلامات مثل الدارج أو التاريخي هي علامات المصادر، وليست دليلًا على اللهجة أو الحقبة، وأعداد السكان مأخوذة من المصادر وقد تكون قديمة.
- تتبع الأسماء والحدود ورموز الدول مصادرها كما وردت، ولا تتخذ Bayanat Labs موقفًا من أي حدود. وثبّت أداة البناء من GitHub حاليًا، فالحزمة غير موجودة على PyPI بعد.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| GeoNames country files for the 22 states, downloaded on 30 October 2026 | CC BY 4.0، وتضم بيانات من GeoNames (https://www.geonames.org) | نعم |
| Wikidata, through the Arab-World Wikidata Slice 0.1.0 (dump of 26 October 2026) | CC0 1.0 | نعم |
| arabic-normalize, policy bayanat-norm-v1, for the Arabic spelling clusters | Apache-2.0، ويُستخدم لبناء المجموعات الإملائية ولا يُضمَّن | لا |
نُزّلت ملفات GeoNames من خادم التصدير لديها بمعرّف Bayanat Labs للبيانات المفتوحة، طلبًا واحدًا في كل مرة وبفاصل يزيد على ثانية، ويُسجَّل لكل ملف تاريخ آخر تعديل وحجمه وبصمة SHA-256 في ملف meta/build.json. وتأتي تسميات ويكي بيانات وأسماؤها البديلة وفئاتها وسلاسل التبعية المكانية ومعرّفات GeoNames من شريحة ويكي بيانات للعالم العربي. وتذكر GeoNames أن بياناتها تُقدَّم كما هي دون ضمان لدقتها أو حداثتها أو اكتمالها. ومن مجموعات البيانات ذات الصلة من Bayanat Labs، والمرتبطة في قسم التنزيل والمعرّفات: شريحة ويكي بيانات للعالم العربي، وهي عناصر ويكي بيانات المرتبطة بالدول الـ22 التي يقرؤها هذا المعجم؛ وأطلس أماكن العالم العربي، وفيه نقاط الاهتمام والشوارع والمناطق الإدارية المبنية من Overture Maps وOpenStreetMap، دون المجموعات الإملائية لكل مكان وأمثلة المطابقة الموجودة في هذا المعجم؛ وArabic Entity Atlas، وفيه الأسماء العربية والأسماء البديلة لكيانات ويكي بيانات من كل الأنواع، مرتبطة بمعرّفاتها في ويكي بيانات وغير مقصورة على الأماكن. تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic Gazetteer, version 0.1.0 (GeoNames files of 2026-10-30; Wikidata dump of 2026-10-26). Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-gazetteer
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicgazetteer,
author = {{Bayanat Labs}},
title = {Arabic Gazetteer, version 0.1.0 (GeoNames files of 2026-10-30; Wikidata dump of 2026-10-26)},
year = {2026},
month = oct,
howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-gazetteer}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | الأماكن والأسماء والوحدات الإدارية وأمثلة المطابقة على Hugging Face، وأداة البناء والمنهجية وملفات الملخص على GitHub. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Search