ويكيبيديا العربية الشهرية من Bayanat Labs
نصوص نظيفة من ويكيبيديا العربية والمصرية والمغربية، مبنية من ملفات التفريغ الرسمية لويكيميديا بتاريخ 1 أكتوبر 2026. كل سجل مقالة واحدة في مراجعة واحدة، مع رابط المقالة ورابط المراجعة المستخدمة بالضبط، ومعرّفها في ويكي بيانات، والنص مقسّمًا إلى أقسام، وحقول صناديق المعلومات، والجداول، والروابط المستشهد بها، والتصنيفات، والموضوعات، وإحصاءات المراجعات، ووسم قائم على قواعد يميّز المقالات المولّدة من قوالب عن المقالات المكتوبة فرديًا. يضم الإصدار v0.1.0 كل مقالات ويكيبيديا المصرية والمغربية التي فيها نص، وعيّنة عشوائية ببذرة ثابتة من مقالات ويكيبيديا العربية، ويضم إعداد منفصل للوسوم المعرّفات والوسوم دون نص.
| الترخيص | CC BY-SA 4.0 لنصوص المقالات المأخوذة من ويكيبيديا، وCC BY 4.0 لإعداد الوسوم والتوثيق، وApache-2.0 لشيفرة أداة البناء |
|---|---|
| الإصدار | v0.1.0 · الإصدار v0.1.0، مبني من ملفات تفريغ ويكيميديا بتاريخ 1 أكتوبر 2026، وأداة البناء موسومة على GitHub وغير موجودة على PyPI بعد. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | الفرق التي تدرّب نماذج أو تكيّفها أو تقيّمها على نصوص عربية أو مصرية أو مغربية، وتحتاج إلى نصوص موسوعية نظيفة مع روابط المراجعات وبنية المقالات وطريقة تميّز المقالات المولّدة من قوالب عن المكتوبة فرديًا. |
| المستوى | متوسط |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف stats.json في مجموعة البيانات على Hugging Face ويُربط بقيمة SHA-256 للملف، ويسرد ملف MANIFEST.json كل الملفات مع قيمها، ويسجّل ملف PROVENANCE.jsonl كل ملف تفريغ مع قيم التحقق منه.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | مجموعة البيانات على Hugging Face |
| GitHub | أداة البناء على GitHub |
| huggingface.co | إحصاءات الإصدار (stats.json) |
| Hugging Face | المصادر والتراخيص |
ابدأ الاستخدام
حمّل أحد الإعدادات بمكتبة datasets، أو ثبّت أداة البناء من GitHub عند وسم الإصدار v0.1.0 لإعادة بناء ويكي من ملف تفريغ ويكيميديا، والحزمة غير موجودة على PyPI بعد.
# Python
from datasets import load_dataset
arz = load_dataset("Bayanat-Labs/arabic-wikipedia-monthly", "arz", split="train")
written = arz.filter(lambda r: r["generation"] == "human")
# Builder: Moroccan Arabic Wikipedia, dump of 1 October 2026
pip install "git+https://github.com/Bayanat-Labs/arabic-wikipedia-monthly@v0.1.0"
arabic-wikipedia-monthly fetch --wiki arywiki --date 20261001
arabic-wikipedia-monthly bots --out bot_groups.json
arabic-wikipedia-monthly build --wiki arywiki --date 20261001
arabic-wikipedia-monthly export --date 20261001 --wiki arywikiما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| نصوص المقالات مع الأقسام وصناديق المعلومات والجداول والروابط المستشهد بها والتصنيفات والموضوعات والوسوم: الإعدادات ar_sample وarz وary (Parquet) | CC BY-SA 4.0 | نعم |
| إعداد الوسوم: معرّفات الصفحات والمراجعات ومعرّفات ويكي بيانات ووسم التوليد وقاعدته وإحصاءات المراجعات ومجموعات القوالب والنصوص شبه المكررة والموضوعات، دون نصوص المقالات | CC BY 4.0 | نعم |
| شيفرة أداة البناء: الجلب والبناء والتصدير وفحص استرجاع النص | Apache-2.0 | نعم |
| بطاقة البيانات وملاحظات المصادر والتراخيص والتوثيق | CC BY 4.0 | نعم |
صيغة النسبة: Arabic Wikipedia Monthly by Bayanat Labs, text from Wikipedia contributors under CC BY-SA 4.0 (each record links to its article and revision). https://huggingface.co/datasets/Bayanat-Labs/arabic-wikipedia-monthly
الاستخدامات المقصودة
- التدريب المسبق أو المستمر على نصوص موسوعية بالعربية والمصرية والمغربية، مع إبقاء المقالات المولّدة من قوالب أو استبعادها بوسم التوليد.
- بناء مدوّنات للاسترجاع والإجابة عن الأسئلة من الأقسام وصناديق المعلومات والجداول ومعرّفات ويكي بيانات.
- قياس نسبة ما أُنشئ من نسخة ويكيبيديا جملةً من القوالب، مع القاعدة التي يستند إليها كل وسم.
خارج النطاق
- نسخة كاملة من ويكيبيديا العربية: يضم هذا الإصدار عيّنة منها.
- وسوم كتبها أشخاص: يأتي وسم التوليد والموضوعات من قواعد ومن شجرة التصنيفات.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | النصوص بترخيص CC BY-SA 4.0 والوسوم بترخيص CC BY 4.0، مع نسبتها إلى المصدر، ويرتبط كل سجل بمقالته ومراجعته. |
| العرض | مسموح | النصوص بترخيص CC BY-SA 4.0 مع نسبتها إلى المصدر ورابط الترخيص، وأي نص تشاركه، معدَّلًا أو غير معدَّل، يحمل ترخيص CC BY-SA 4.0. |
| إعادة التوزيع | مسموح | النصوص بترخيص CC BY-SA 4.0 (المشاركة بالمثل)، والوسوم بترخيص CC BY 4.0، وشيفرة أداة البناء بترخيص Apache-2.0. وويكيبيديا علامة تجارية لمؤسسة ويكيميديا، وهذه البيانات غير تابعة لها ولا تحظى بتأييدها. |
| الصوت الاصطناعي | لا ينطبق | نصوص فقط، دون أي ملفات صوتية. |
القيود
- لا يُستخرج النص الذي تعرضه الصفحة عبر القوالب وحدها (صناديق التصفح والمسارد والقوائم التي تملؤها القوالب)، فتقل نسبة الاسترجاع في الصفحات المبنية من قوالب.
- يأتي وسم التوليد والموضوعات من قواعد ومن شجرة التصنيفات، ولم تُقارَن بوسوم كتبها أشخاص، وبعض وسوم الموضوعات خاطئ لا محالة.
- جزء ويكيبيديا العربية عيّنة: الأعداد ومجموعات القوالب ومجموعات التكرار داخلها ليست أعداد الويكي كله.
- تعكس نصوص ويكيبيديا تغطية محرريها ووجهات نظرهم، وقد تحتوي مراجعةٌ تخريبًا أُزيل لاحقًا. وتُدرج السير الذاتية للأحياء كما نُشرت في ويكيبيديا، دون أسماء المساهمين.
- ثبّت أداة البناء من GitHub حاليًا، فالحزمة غير موجودة على PyPI بعد.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Arabic Wikipedia (arwiki), Wikimedia dumps of 1 October 2026 | CC BY-SA 4.0 (والمساهمات الأقدم أيضًا CC BY-SA 3.0 وGFDL)، مع نسبة النص إلى المساهمين عبر سجل المقالة | نعم |
| Egyptian Arabic Wikipedia (arzwiki), Wikimedia dumps of 1 October 2026 | CC BY-SA 4.0 (والمساهمات الأقدم أيضًا CC BY-SA 3.0 وGFDL)، مع نسبة النص إلى المساهمين عبر سجل المقالة | نعم |
| Moroccan Arabic Wikipedia (arywiki), Wikimedia dumps of 1 October 2026 | CC BY-SA 4.0 (والمساهمات الأقدم أيضًا CC BY-SA 3.0 وGFDL)، مع نسبة النص إلى المساهمين عبر سجل المقالة | نعم |
| Wikidata item ids (wikidata_qid), from the wikibase_item page property in the dumps | بيانات ويكي بيانات متاحة بترخيص CC0 1.0 | نعم |
| MediaWiki Action API of each wiki: bot-group lists and rendered revisions for the text-recovery check | استُخدمت لحساب الوسوم والفحوص، ولا تدخل الاستجابات نفسها في الإصدار | لا |
تأتي نصوص المقالات من ملفات تفريغ ويكيميديا وحدها، وقد طوبقت قيمة SHA-1 لكل ملف تفريغ مع القيمة التي تنشرها ويكيميديا وسُجّلت قيمة SHA-256 له. ويرتبط كل سجل بمقالته، التي يسرد سجلها أسماء كتّابها، وبالمراجعة المستخدمة بالضبط. وقد عُدّل النص عن أصله: حُوّلت لغة ترميز الويكي إلى نص عادي، وأُزيلت علامات الترميز ومعظم القوالب والمراجع والأقسام المتكررة. وتأتي معرّفات عناصر ويكي بيانات (wikidata_qid) من خاصية الصفحة wikibase_item في ملفات التفريغ، وبيانات ويكي بيانات متاحة بترخيص CC0 1.0. وويكيبيديا علامة تجارية لمؤسسة ويكيميديا، وهذه البيانات غير تابعة لها ولا تحظى بتأييدها. تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic Wikipedia Monthly, version 0.1.0 (Wikimedia dumps of 1 October 2026). Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-wikipedia-monthly
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicwikipediamonthly,
author = {{Bayanat Labs}},
title = {Arabic Wikipedia Monthly, version 0.1.0 (Wikimedia dumps of 1 October 2026)},
year = {2026},
month = oct,
howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-wikipedia-monthly}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | إصدار مبني من ملفات تفريغ ويكيميديا بتاريخ 1 أكتوبر 2026: كل مقالات ويكيبيديا المصرية والمغربية التي فيها نص، وعيّنة عشوائية ببذرة ثابتة من ويكيبيديا العربية، وإعداد للوسوم، وأداة البناء على GitHub. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Knowledge