إحصاء حقوق الويب العربي من Bayanat Labs

Arabic websites robots.txt AI crawlers AI training opt-out TDMRep Content-Signal

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف stats.json في مجموعة البيانات على Hugging Face، وفيه كل رقم في بطاقة البيانات مع الجدول والصف والعمود الذي يأتي منه، ويُربط ببصمة SHA-256 للملف، ويسرد ملف MANIFEST.json كل ملف مع حجمه وبصمته.

التنزيل والمعرّفات

ابدأ الاستخدام

حمّل أحد الجداول بمكتبة datasets، أو استعلم عنه بـ DuckDB مباشرةً من المنصة. وتُثبَّت أداتا التحليل والجلب من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير موجودة على PyPI بعد.

from datasets import load_dataset

hosts = load_dataset("Bayanat-Labs/arabic-web-rights-census", "hosts", split="train")
agg = load_dataset("Bayanat-Labs/arabic-web-rights-census", "aggregates", split="train")

pip install "arabic-web-rights-census @ git+https://github.com/Bayanat-Labs/arabic-web-rights-census@v0.1.0"
awrc robots robots.txt --bot GPTBot

ما الذي يتضمنه الإصدار

صيغة النسبة: Arabic Web Rights Census by Bayanat Labs. Data CC0 1.0; card text and charts CC BY 4.0. https://huggingface.co/datasets/Bayanat-Labs/arabic-web-rights-census

الاستخدامات المقصودة

• قياس عدد المواقع العربية التي تشير إلى الانسحاب من التدريب، حسب الزاحف والقطاع والبلد، مرجّحًا بالمضيفات أو بالصفحات العربية.
• البحث عن قاعدة robots.txt وقيم Content-Signal وTDMRep التي نشرها مضيف ما لكل رمز زاحف في تاريخي الإحصاء.
• استخدام قائمة الاستبعاد مُدخلًا من المدخلات حين تحترم مدوّنة نصوص الحجوزات التي تقرؤها الآلات لحقوق التنقيب في النصوص والبيانات.

خارج النطاق

• عدّ السماح في robots.txt أو غياب الإشارة إذنًا بإعادة استخدام محتوى الموقع: فشروط الاستخدام والتراخيص تظل سارية ولم تُقرأ.
• استخدام قائمة الاستبعاد سجلًا كاملًا للحجوزات أو استشارة قانونية: فهي لا تغطي إلا المضيفات والإشارات الواردة في هذا الإحصاء، في وقت قراءتها.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• صدرت كل الطلبات من اتصال شبكي واحد في الولايات المتحدة، وقد ترفض بعض المضيفات، ومنها بعض المضيفات الحكومية، الاتصالات الآتية من خارج منطقتها أو تقطعها، فتظهر على أنها تعذّر الوصول إليها أو انتهت مهلتها.
• تُذكر المضيفات التي تعذّر الوصول إليها (1,170) أو انتهت مهلتها (650) أو أجابت بصفحة تحدٍّ (385)، ولا تُحتسب أبدًا على أنها تسمح بشيء، وتُستبعد من كل النسب.
• تأتي أوزان الصفحات من زحف واحد لـ Common Crawl، وهو لا يجمع صفحات المضيفات التي تحظر CCBot، فتقلّ المضيفات الحاظرة في القائمة عن حجمها الحقيقي؛ وتخفّف مضيفات Tranco هذا الانحياز ولا تزيله، ولم يُتحقق من لغتها.
• تُحدَّد القطاعات بقواعد آلية ولا يُتحقق منها موقعًا موقعًا، ويُحدَّد البلد من نطاق المستوى الأعلى، وتُوسم المضيفات ذات النطاقات العامة بـ gTLD.
• تُعدّ المضيفات التي رُفض فيها طلب ملف robots.txt بوصفه غير مصرَّح به أو محظورًا (78) بلا ملف robots.txt، كما ينص معيار robots.txt على ردود أخطاء العميل، ولم يُتصل بها مرة أخرى؛ وقد يكون هذا الرد حظرًا للزواحف غير المعروفة لا غيابًا للملف.
• لا تُقرأ شروط الاستخدام ولا التراخيص ولا التعليقات في robots.txt، ولا تُنشر نصوص ملفات robots.txt: يحتفظ صف كل مضيف ببصمة SHA-256 للنص كما قُدِّم.

المصادر والتراخيص

طلبت أداة الجلب في الإحصاء ملف robots.txt وملف /.well-known/tdmrep.json والصفحة الرئيسية لكل مضيف بوكيل المستخدم BayanatLabs-OpenData، ولم تُطلب الصفحة الرئيسية إلا إذا سمح بها ملف robots.txt، فقُرئت ترويساتها وقسم head فيها وحُذف متنها. وتلقّى كل مضيف ثلاثة طلبات على الأكثر (ربما تلقّت 7 مضيفات طلبًا رابعًا: انتهى 11 من 1,313 طلبًا أُرسلت أثناء انقطاعات الشبكة المحلية بمهلة أو بخطأ في الاتصال أو في TLS لا عند البحث في DNS، فربما وصلت إلى المضيف)، بفاصل 5 ثوانٍ على الأقل بين طلبين إلى المضيف نفسه بحسب الساعة الرتيبة للجهاز (يسجّل السجل أوقات الساعة العادية، وفيه 74 فاصلًا بين 4.924 و5 ثوانٍ حيث عُدّلت ساعة النظام إلى الوراء، في ثلاث لحظات). ولم يُتصل بالمضيف مرة أخرى بعد رد برفض الوصول أو بتقييد الطلبات أو صفحة تحقّق أو إعادة توجيه إلى صفحة دخول، ولم تُحلّ أي صفحة تحقّق. وطُلبت المضيفات التي انتهت مهلة طلبها الأول لملف robots.txt أو تعذّر الاتصال بها مرة أخرى، بعد ساعة على الأقل. وكل طلب مسجّل في سجل المصدر مع وقته وحالته وبصمة SHA-256. واستخدم الإحصاء أداة الجلب الخاصة به (awrc.fetch)، لا مكتبة polite-fetch الموصوفة في صفحة الزاحف. وتختلف عنها في ما يلي: طلبت /.well-known/tdmrep.json دون التحقق من robots.txt؛ واحتفظت في الذاكرة طوال التشغيل بملفات تعريف الارتباط التي عيّنها الموقع وأعادت إرسالها إلى الموقع نفسه؛ وأعادت طلب robots.txt مرة واحدة بعد 30 ثانية عند رد 5xx؛ وعدّت أكثر من خمس عمليات إعادة توجيه لملف robots.txt غيابًا للملف (14 مضيفًا)؛ وتبعت إعادة توجيه الصفحة الرئيسية دون قراءة robots.txt للموقع الهدف؛ وعندما فشل التحقق من الشهادة أعادت الطلب مرة واحدة دون تحقق (1,708 طلبًا). وتُستبعد من القائمة النطاقات الفرعية للمنصات (مضيفات المدونات ومنشئي المواقع) وعناوين IP، لأن المنصة هي التي تضبط ملف robots.txt فيها، ولأن أسماءها قد تسمّي أفرادًا. ومن Bayanat Labs أيضًا: صفحة الزاحف، وفيها وكيل المستخدم وطريقة الانسحاب. تفاصيل المصادر (بالإنجليزية)

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs (2026). Arabic Web Rights Census, census 2026-10 (version 0.1.0), as of 2026-10-31. Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-web-rights-census

• ملف CITATION.cff

لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.

@misc{bayanatlabs2026arabicwebrightscensus,
  author       = {{Bayanat Labs}},
  title        = {Arabic Web Rights Census, census 2026-10 (version 0.1.0), as of 2026-10-31},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-web-rights-census}}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

المنتج المرتبط: Bayanat Knowledge