مؤشر البيانات العربية من Bayanat Labs
كم عدد مجموعات بيانات الذكاء الاصطناعي العربية حين تُعدّ النسخ مرة واحدة، وأي تراخيص تعلنها؟ حتى 1 نوفمبر 2026، تحصي اللقطة 2026-11 عدد 3,564 مجموعة بيانات عربية للذكاء الاصطناعي بعد إزالة التكرار في Hugging Face أو في فهرس Masader: 2,589 في Hugging Face فقط، و213 في كليهما، و762 في Masader فقط. وتُعدّ وحدها 1,324 مجموعة أخرى تعلن عشر لغات أو أكثر. وبحسب فئة الترخيص المعلن: مفتوح يسمح بالاستخدام التجاري 46.94%، ومفتوح لغير الأغراض التجارية 9.26%، ومقيّد 7.41%، وشروط أخرى أو خاصة أو غير معروفة 23.68%، ولا تعلن 12.71% أي ترخيص. وتصف فئات الترخيص الترخيصَ الذي تعلنه كل مجموعة، ولم تُراجَع مقابل البيانات، وليست استشارة قانونية. وبحسب نوع البيانات: نصوص 70.23%، وكلام وصوت 17.23%، وصور 6.71%، وتعلن 25.57% من مجموعات الكلام والصوت ترخيصًا مفتوحًا يسمح بالاستخدام التجاري. وتعلن 30.72% نوعًا من العربية أو لهجة غير العربية العامة، و10.13% لهجة إقليمية واحدة على الأقل. ومن مجموعات Hugging Face أُنشئت 404 مجموعات في أكتوبر 2026، و1,626 مجموعة في 2026 حتى تاريخ اللقطة. ويبلغ الكلام العربي المفتوح القابل للاستخدام التجاري 36,221 ساعة من الصوت المنشور، منقولة عن عدّاد ساعات الكلام العربي المفتوح حتى 30 أكتوبر 2026. ولا تقرأ هذه اللقطة Kaggle ولا Zenodo: فلا تُحتسب مجموعة مستضافة عليهما إلا إذا كانت في Hugging Face بوسم لغة عربية أو مدرجة في Masader. ولكل رقم معرّف مقياسه، مع البسط والمقام والتغطية حيث تنطبق، والرسوم في لوحة ثابتة بالإنجليزية والعربية.
| الترخيص | CC BY 4.0 للجداول المجمّعة والرسوم ونص الصفحة، وCC0 1.0 لجدول الكيانات، وApache-2.0 للشيفرة، وتحتفظ كل مجموعة مفهرسة بترخيصها |
|---|---|
| الإصدار | v0.1.0 · اللقطة 2026-11، حتى 1 نوفمبر 2026، والشيفرة موسومة بالإصدار v0.1.0 على GitHub وغير منشورة على PyPI. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | باحثو معالجة اللغة العربية، وفرق البيانات والذكاء الاصطناعي التي تخطط لاستخدام مجموعات بيانات عربية، والكتّاب وفرق السياسات الذين يحتاجون إلى عدد مؤرّخ يمكن الاستشهاد به مع مقامه. |
| المستوى | مبتدئ |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف الجداول المجمّعة CSV أو من أحد ملفات qa/ في مجموعة البيانات على Hugging Face ويُربط ببصمة SHA-256 للملف. وتُقرأ ساعات الكلام من ملف latest.json في عدّاد ساعات الكلام العربي المفتوح، وتُعدّ النسخ المحتملة غير المدمجة من جدول الكيانات. ويسرد ملف MANIFEST.json كل ملف مع حجمه وبصمته.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | افتح لوحة المؤشر |
| Hugging Face | البيانات على Hugging Face |
| Hugging Face | اللوحة بالعربية |
| GitHub | الشيفرة والمنهجية على GitHub |
| huggingface.co | الجداول المجمّعة، اللقطة 2026-11 (CSV) |
| huggingface.co | جدول الكيانات، اللقطة 2026-11 (CSV مضغوط) |
| huggingface.co | الأرقام الرئيسية (latest.json) |
| GitHub | المنهجية |
ابدأ الاستخدام
حمّل أحد الجداول بمكتبة datasets. ولإعادة حساب الجداول المجمّعة من جدول الكيانات المجمّد ومقارنتها بملف CSV المنشور، ثبّت الشيفرة من نسخة مستنسخة عند وسم الإصدار v0.1.0، فالحزمة غير منشورة على PyPI.
from datasets import load_dataset
agg = load_dataset("Bayanat-Labs/arabic-data-index", "aggregates", split="train")
ent = load_dataset("Bayanat-Labs/arabic-data-index", "entities", split="train")
git clone --branch v0.1.0 https://github.com/Bayanat-Labs/arabic-data-index && cd arabic-data-index && pip install .
adi rerun --snapshot-dir snapshots/2026-11 --checkما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| الجداول المجمّعة للقطة 2026-11: 249 صفًا لـ32 مقياسًا، مع البسط والمقام والتغطية حيث تنطبق (CSV وParquet) | CC BY 4.0 | نعم |
| جدول الكيانات: 4,888 صفًا، صف لكل مجموعة بعد إزالة التكرار، بيانات وصفية واقعية فقط (CSV وParquet) | CC0 1.0 | نعم |
| تعريفات المقاييس، وسلسلة شهر الإنشاء، والأرقام الرئيسية (latest.json)، وسجل المدخلات، والفحوص، وسجل الطلبات | CC BY 4.0 | نعم |
| نص بطاقة البيانات، ورسوم اللوحة ونص صفحتها | CC BY 4.0 | نعم |
| الشيفرة على GitHub: الجلب والبناء والمقاييس بلغة SQL والحساب الثاني بمكتبة pandas واللوحة | Apache-2.0 | نعم |
| لوحة ثابتة على Hugging Face Spaces، بالإنجليزية والعربية | Apache-2.0 | نعم |
| خط IBM Plex Sans Arabic في اللوحة، دون تعديل (SIL Open Font License 1.1) | SIL Open Font License، وحقوق النشر لشركة IBM | نعم |
صيغة النسبة: Bayanat Labs Arabic Data Index, snapshot 2026-11, CC BY 4.0. https://huggingface.co/datasets/Bayanat-Labs/arabic-data-index
الاستخدامات المقصودة
- الاستشهاد بعدد مؤرّخ لمجموعات بيانات الذكاء الاصطناعي العربية، حسب اللقطة والمقياس، مع المقام والتغطية حيث ينطبقان.
- مقارنة فئات التراخيص المعلنة وأنواع البيانات واللهجات والمهام عند تخطيط العمل على البيانات العربية.
- البدء في البحث عن مجموعات بيانات عربية من جدول الكيانات، وفيه صف لكل مجموعة مع ترخيصها المعلن وروابطها.
خارج النطاق
- عدّ فئة الترخيص إذنًا باستخدام مجموعة بيانات: فالفئات تصف ما تعلنه كل مجموعة، وتحتفظ كل مجموعة بترخيصها وشروطها.
- فهم الرقم الرئيسي على أنه كل مجموعات البيانات العربية الموجودة: فهو يغطي مجموعات Hugging Face التي تحمل وسم لغة عربية ومدخلات Masader.
- استخدام أعداد الصفوف مقياسًا لحجم البيانات الموجودة: فمعنى الصف يختلف بين مجموعات النص والكلام والصور.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | مسموح | الجداول المجمّعة بترخيص CC BY 4.0 مع النسبة إلى المصدر، وجدول الكيانات بترخيص CC0 1.0. ويضم الإصدار أعدادًا وبيانات وصفية فقط، ولا شيء من المجموعات المفهرسة، وتحتفظ كل منها بترخيصها. |
| العرض | مسموح | بترخيص CC BY 4.0 مع سطر النسبة الذي يذكر اللقطة. |
| إعادة التوزيع | مسموح | الجداول المجمّعة والرسوم والنص بترخيص CC BY 4.0، وجدول الكيانات بترخيص CC0 1.0 مع نسبة أعمدة Masader إلى مصدرها Masader (ARBML)، والشيفرة بترخيص Apache-2.0، والخط المرفق بترخيص SIL Open Font License. |
| الصوت الاصطناعي | لا ينطبق | بيانات وصفية فقط، دون ملفات صوتية. |
القيود
- تصف فئات الترخيص الترخيصَ الذي تعلنه كل مجموعة (وسم الترخيص في المنصة، أو ترخيص Masader حين لا يوجد وسم). ولم تُراجَع مقابل البيانات، وليست استشارة قانونية.
- لا تقرأ هذه اللقطة Kaggle ولا Zenodo. ولا تُحتسب مجموعة مستضافة على أي منهما، أو في أي مكان آخر، إلا إذا كانت في Hugging Face بوسم لغة عربية أو مدرجة في Masader.
- لا تُدمج النسخ إلا بناءً على الحجم الكامل في عارض البيانات. ولم تُدمج 20 مجموعة رئيسية، في 18 زمرة، لها اسم المستودع نفسه وأعداد العارض نفسها التي لمجموعة أخرى، لأن حجمها في العارض جزئي (14) أو بلا حجم للملفات الأصلية (6)، فقد يعدّها الرقم الرئيسي أكثر من مرة؛ وفي 8 من هذه الزمر يذكر العارض صفر صفوف، فلا يتطابق إلا الاسم. وقد تُعدّ أكثر من مرة أيضًا النسخ التي فشل طلبها إلى العارض.
- طُلبت طلبات عارض البيانات الفاشلة (609) مرة أخرى بعد نحو ساعتين ونصف (الوسيط 2.48 ساعة، ومن 1.1 إلى 3.4 ساعة): نجح منها 1، واحتفظت الطلبات الـ608 التي فشلت مرة أخرى بحالة ردها الأصلي.
- نوع البيانات واللهجة والمهمة هي ما يعلنه كل مستودع أو مدخل في Masader، ولا تُستنتج حين لا يُعلن شيء. وتبقى مدخلات Masader الموصوفة بأنها متعددة اللغات ضمن المجموعات الرئيسية، لأن Masader لا يذكر عدد اللغات.
- تعدّ سلسلة شهر الإنشاء المجموعات الموجودة حاليًا في المنصة، فتقلّ أعداد الأشهر السابقة عن الواقع.
- تغطي أعداد الصفوف 71.73% من المجموعات الرئيسية في Hugging Face، وهي التي يعطي العارض حجمها كاملًا، وهي أعداد وليست مقياسًا لحجم البيانات.
- ساعات الكلام منقولة عن عدّاد ساعات الكلام العربي المفتوح كما نُشرت، مع تاريخها، ولا يعيد المؤشر حسابها.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Hugging Face Hub datasets API and dataset viewer, read on 1 November 2026 | بيانات وصفية عامة كما ينشرها كل مستودع، وقائع فقط، دون نص البطاقات ودون ملفات البيانات | نعم |
| Masader catalogue (ARBML), repository licence GPL-3.0, commit ce2c342efcba2dd2333be62421b6305089a55b42 | حقول واقعية فقط دون نسخ أي نص، مع ذكر المصدر: Masader (ARBML) | نعم |
| Arabic Dataset Rights Index, Bayanat Labs, revision a422db242468c203911f4d5baf0f7786e0909678 | مجموعات النسخ فقط، بيانات وصفية بترخيص CC0 1.0 | لا |
| Open Arabic Speech Hours Counter, Bayanat Labs, revision 696cc8e283c5dd8b5b2bd3c38458e1d680d7cdf3 | رقم واحد منقول مع تاريخه، بترخيص CC BY 4.0 | لا |
قُرئت واجهة مجموعات البيانات في Hugging Face لكل وسم لغة عربية، وعارض البيانات لحجم كل مستودع وصلاحيته، بوكيل المستخدم الخاص بالبيانات المفتوحة من Bayanat Labs وبفاصل ثانية واحدة على الأقل بين الطلبات إلى المضيف نفسه، ولم يُنزَّل أي ملف بيانات. وتُعدّ النسخ مرة واحدة: مجموعات النسخ في فهرس حقوق مجموعات البيانات العربية والنسخ ذات الحجم المتطابق في Hugging Face، وعددها 224 مستودعًا. وتطابق الأسماء والروابط المشتركة والنسخ ذات الحجم المتطابق مرشحات فقط: فحصت Bayanat Labs عدد 406 أزواج، منها كل المرشحات الـ296، ودمجت 201 من المرشحات. ويُحسب كل رقم بلغة SQL ثم بمكتبة pandas، ويتفق الحسابان في كل الصفوف الـ249 للمقاييس الـ32. تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic Data Index, snapshot 2026-11, as of 2026-11-01. Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-data-index
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026arabicdataindex,
author = {{Bayanat Labs}},
title = {Arabic Data Index, snapshot 2026-11, as of 2026-11-01},
year = {2026},
month = nov,
howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-data-index}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | اللقطة حتى 1 نوفمبر 2026: الجداول المجمّعة وجدول الكيانات والتعريفات والفحوص على Hugging Face، ولوحة ثابتة على Hugging Face Spaces، والشيفرة والمنهجية على GitHub. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Knowledge