مكتبة الزحف polite-fetch من Bayanat Labs

robots.txt AI crawler opt-out TDMRep Content-Signal polite crawler

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف docs/conformance/summary.json أو policy/crawler.json في المستودع عند الوسم v0.1.0، ويُربط ببصمة SHA-256 للملف. ويُقدَّم ملف crawler.json نفسه على العنوان bayanatlabs.com/open/crawler.json.

التنزيل والمعرّفات

ابدأ الاستخدام

ثبّت المكتبة من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير موجودة على PyPI بعد. ويعطي الأمر check القرار لعنوان URL من robots.txt وtdmrep.json دون طلب الصفحة.

pip install "git+https://github.com/Bayanat-Labs/polite-fetch@v0.1.0"

polite-fetch check https://example.org/page --purpose training_release
polite-fetch fetch https://example.org/page --headers-only --ledger signals.jsonl

from bayanatlabs_polite_fetch import Fetcher

with Fetcher(worker_id="worker-1", ledger="signals.jsonl") as f:
    r = f.fetch("https://example.org/page", purpose="training_release")
    print(r.decision, r.decision_reason)

ما الذي يتضمنه الإصدار

صيغة النسبة: polite-fetch by Bayanat Labs. https://github.com/Bayanat-Labs/polite-fetch

الاستخدامات المقصودة

• جلب الصفحات والملفات لمجموعة بيانات وفق سياسة زحف ثابتة ومنشورة، مع تسجيل القرار وقاعدته لكل عنوان URL.
• معرفة القرار الذي سيتخذه الزاحف لعنوان URL (مجموعة robots.txt، ومنع زواحف الذكاء الاصطناعي، وTDMRep، وContent-Signal، وContent-Usage) قبل طلب الصفحة.
• إعادة استخدام خادم الاختبار واختبارات المطابقة للتحقق من طريقة تعامل زاحف آخر مع robots.txt وإشارات الانسحاب.

خارج النطاق

• الحكم على جواز إعادة استخدام المحتوى قانونًا: تقرأ المكتبة الإشارات التي تقرؤها الآلات، لا شروط الاستخدام ولا التراخيص.
• تجاوز ضوابط الوصول: تتوقف المكتبة عند تسجيل الدخول وتحديات كشف الروبوتات وصفحات CAPTCHA، ولا خيار فيها لتجاوزها.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• تسري حدود الطلبات وقواعد التوقف على كل عامل وحده، ولا تنسّق المكتبة بين عدة عمّال على المضيف نفسه، فشغّل عاملًا واحدًا لكل مضيف.
• ما زالت مفردات تفضيلات الذكاء الاصطناعي في IETF (Content-Usage) مسودة؛ وتُسجَّل القيم كما وُجدت، وأي قيمة n تجعل السجل فهرسة فقط.
• يعتمد كشف التحديات وصفحات CAPTCHA على ترويسات الاستجابة وعلامات في الصفحة؛ وحين لا تُقرأ إلا الترويسات لا تُفحص وسوم meta ولا متن الصفحة.
• يعتمد استثناء التنزيلات الموثّقة على عنوان الوثائق الذي يقدّمه المستدعي؛ وتسجّله المكتبة لكنها لا تقرأ تلك الصفحة.
• تعمل اختبارات المطابقة على خادم اختبار محلي ولا تعمل أبدًا على مواقع حقيقية، وقد تجيب الخوادم الحقيقية بطرق لا تغطيها حالات الاختبار.
• ثبّت المكتبة من GitHub حاليًا، فالحزمة غير موجودة على PyPI بعد.

المصادر والتراخيص

تطبّق polite-fetch مواصفات منشورة ولا تعيد نشر نصوصها. وتأتي أسماء زواحف الذكاء الاصطناعي من ملف robots.json في مشروع ai.robots.txt، مثبّتة على إيداع واحد، ومرفقة بترخيص MIT مع إشعاره. ولا تصف صفحة الزاحف على bayanatlabs.com من سلوك الزاحف إلا ما تفرضه المكتبة، ويربط جدول التتبّع في المستودع كل عبارة عن سلوك الزاحف بالاختبارات التي تتحقق منها، ويفشل البناء إذا بقيت عبارة منها دون اختبار. تفاصيل المصادر (بالإنجليزية)

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs (2026). polite-fetch: the library behind the BayanatLabs-OpenData crawler, version 0.1.0, crawler policy 1.0.0. Bayanat Labs. https://github.com/Bayanat-Labs/polite-fetch

• ملف CITATION.cff

لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.

@misc{bayanatlabs2026politefetch,
  author       = {{Bayanat Labs}},
  title        = {polite-fetch: the library behind the BayanatLabs-OpenData crawler, version 0.1.0, crawler policy 1.0.0},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://github.com/Bayanat-Labs/polite-fetch}}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

المنتج المرتبط: Bayanat Knowledge