حاسبة ضريبة التوكنات العربية من Bayanat Labs
تحتسب واجهات النماذج اللغوية الكبيرة تكلفتها وحدودها بالتوكنات، والمحتوى نفسه يستهلك عادةً توكنات بالعربية أكثر منه بالإنجليزية: على مجموعة اختبار الأمم المتحدة في مؤشر ضريبة الترميز العربية، يبلغ وسيط نسبة توكنات العربية إلى الإنجليزية عبر مُجزِّئاته 1.42. وتُظهر الحاسبة هذا الفرق لنصك أنت: الصق نصًا عربيًا، ومعه ترجمته الإنجليزية إن وُجدت، لترى لكل مُجزِّئ عدد التوكنات، والتوكنات لكل كلمة، ونسبة توكنات العربية إلى الإنجليزية، والأحرف لكل توكن، وهل يتسع النص لنافذة السياق، وتكلفة إرساله أو توليده بأسعار قوائم قُرئت من صفحات الأسعار لدى الشركات في 30 أكتوبر 2026 ويمكنك تعديلها. تعمل صفحة الحاسبة مع 9 مُجزِّئات داخل متصفحك، ويبقى نصك في الصفحة، فهي لا تتصل إلا بمصدرها ولا تخزّن شيئًا. وتعمل أداة سطر الأوامر token-tax مع 12 مُجزِّئًا عند مراجعات مثبّتة، وتعطي أرقام التوكنات نفسها.
| الترخيص | Apache-2.0 للشيفرة وصفحة الحاسبة، وCC BY 4.0 للنصوص الاختبارية وجدول الأسعار والتوثيق، وتحتفظ ملفات المُجزِّئات بتراخيصها (MIT أو Apache-2.0) |
|---|---|
| الإصدار | v0.1.0 · الشيفرة والنصوص الاختبارية وصفحة الحاسبة v0.1.0، موسومة على GitHub، وغير موجودة على PyPI بعد. |
| تاريخ النشر | |
| آخر تحديث | |
| لمن هذا الإصدار | المطوّرون والفرق التي ترسل نصوصًا عربية إلى واجهات النماذج اللغوية الكبيرة، وتريد أن تعرف قبل ذلك كم توكنًا يستهلك النص لدى كل مُجزِّئ، وهل يتسع لنافذة السياق، وكم يكلّف. |
| المستوى | مبتدئ |
أرقام رئيسية
تُحسب آليًا من الملفات المنشورة. يُحسب كل رقم من ملف صدر عند الوسم v0.1.0 (سجل المُجزِّئات وجدول الأسعار والنصوص الاختبارية وتقرير التطابق في المتصفح docs/parity-v0.1.0.json) ويُربط بقيمة SHA-256 للملف، ويأتي وسيط النسبة من مؤشر ضريبة الترميز العربية. ويسرد ملف MANIFEST.json في صفحة الحاسبة كل ملف تقدّمه مع قيمته.
التنزيل والمعرّفات
| المكان | المحتوى |
|---|---|
| Hugging Face | افتح الحاسبة |
| bayanatlabs.com | سطر الأوامر والمُجزِّئات |
| GitHub | الشيفرة والنصوص الاختبارية والمنهجية على GitHub |
| GitHub | المنهجية |
| bayanatlabs.com | نسب توكنات العربية إلى الإنجليزية على نصوص الأمم المتحدة (مؤشر ضريبة الترميز العربية) |
ابدأ الاستخدام
ثبّت أداة سطر الأوامر من GitHub عند وسم الإصدار v0.1.0، فالحزمة غير موجودة على PyPI بعد. أما صفحة الحاسبة فلا تحتاج إلى تثبيت.
pip install "git+https://github.com/Bayanat-Labs/arabic-token-tax-calculator@v0.1.0"
token-tax count "قالت البلدية إن أعمال صيانة الطريق الساحلي ستستمر ثلاثة أسابيع" \
--en "The municipality said that maintenance work on the coastal road will continue for three weeks"
token-tax count --file ar.txt --en-file en.txt --tokenizers o200k_base,qwen3.5 --budget 8192
token-tax count --file ar.txt --json
token-tax tokenizersما الذي يتضمنه الإصدار
| الجزء | الترخيص | ضمن الإصدار |
|---|---|---|
| صفحة الحاسبة على Hugging Face Spaces: 9 مُجزِّئات تعمل داخل متصفحك، والواجهة بالإنجليزية والعربية | Apache-2.0 | نعم |
| مكتبة Python وأداة سطر الأوامر (token-tax)، لـ Python 3.10 أو أحدث | Apache-2.0 | نعم |
| النصوص الاختبارية وجدول الأسعار والمنهجية والتوثيق | CC BY 4.0 | نعم |
| ملفات المُجزِّئات التي تقدّمها صفحة الحاسبة: OpenAI o200k_base and cl100k_base, Qwen3, Qwen3.5 / 3.6 / 3.8, DeepSeek V3 / V4, Mistral Tekken, Gemma 4 / Fanar-2, ALLaM, Fanar-1 | يحتفظ كل ملف بترخيصه، MIT أو Apache-2.0، وهو مذكور مع الإصدار | نعم |
| خط IBM Plex Sans Arabic في صفحة الحاسبة، دون تعديل (SIL Open Font License 1.1) | SIL Open Font License، وحقوق النشر لشركة IBM | نعم |
صيغة النسبة: Arabic Token-Tax Calculator (token-tax) by Bayanat Labs. https://github.com/Bayanat-Labs/arabic-token-tax-calculator
الاستخدامات المقصودة
- تقدير التوكنات واستهلاك نافذة السياق والتكلفة لنص عربي مع مُجزِّئ معيّن قبل إرساله.
- مقارنة المُجزِّئات على نصك العربي ونصه الإنجليزي المقابل.
- فحص أعداد التوكنات في السكربتات والتكامل المستمر عبر مخرجات JSON من أداة سطر الأوامر.
خارج النطاق
- الحكم على جودة النموذج: قلة التوكنات تعني تكلفة أقل ونصًا أكثر في نافذة السياق، لا نموذجًا أفضل.
- الفوترة: التكاليف تقديرات بأسعار القوائم، وفاتورة الخدمة تحتسب أيضًا تنسيق المحادثة وتعليمات النظام والأسعار المخفّضة.
الحقوق باختصار
التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.
| الاستخدام | الحالة | ملاحظة |
|---|---|---|
| التدريب | لا ينطبق | حاسبة ونصوص اختبارية وجدول أسعار، وليست بيانات تدريب. والنصوص الاختبارية بترخيص CC BY 4.0 إذا أعدت استخدامها. |
| العرض | مسموح | النصوص الاختبارية وجدول الأسعار والتوثيق بترخيص CC BY 4.0 مع نسبتها إلى المصدر. |
| إعادة التوزيع | مسموح | الشيفرة بترخيص Apache-2.0، والنصوص الاختبارية وجدول الأسعار والتوثيق بترخيص CC BY 4.0، وملفات المُجزِّئات بتراخيصها (MIT أو Apache-2.0)، والخط المرفق بترخيص SIL Open Font License. |
| الصوت الاصطناعي | لا ينطبق | لا يتضمن ملفات صوتية. |
القيود
- يبالغ مقياس التوكنات لكل كلمة في الفرق بين اللغتين، لأن اللواصق العربية تبقى متصلة بكلماتها، فاستشهد بنسبة العربية إلى الإنجليزية على المحتوى نفسه.
- لا تشمل الأعداد التوكنات الخاصة ولا تنسيق المحادثة الذي تضيفه الخدمة.
- قُرئت أسعار القوائم من صفحات الأسعار لدى الشركات في 30 أكتوبر 2026 وهي تتغير، وأحدها سعر ترويجي ومعلَّم بذلك. عدّلها أو أضف أسعارك.
- تعمل Falcon3 وFalcon-H1 وFalcon-H1R في أداة سطر الأوامر فقط.
- كُتبت النصوص الاختبارية لهذه الأداة بأسماء ومبالغ متخيَّلة، وصفوف اللهجات للتوضيح.
- ثبّت أداة سطر الأوامر من GitHub حاليًا، فالحزمة غير موجودة على PyPI بعد.
المصادر والتراخيص
| المصدر | الترخيص | يُعاد توزيعه هنا |
|---|---|---|
| Arabic Token-Tax Index 0.1.0: tokenizer set, pinned revisions and the priced models | CC BY 4.0 لبيانات المؤشر، وApache-2.0 لأداة القياس | نعم |
| Official price pages of OpenAI, DeepSeek and Alibaba Cloud, read on 30 October 2026 | تُسجَّل الأسعار حقائقَ مع رابط الصفحة ووقت قراءتها وبصمة SHA-256 للصفحة، ولا تُضمَّن الصفحات نفسها | نعم |
| Tokenizer files from the model developers' repositories, at pinned revisions: OpenAI o200k_base and cl100k_base, Qwen3, Qwen3.5 / 3.6 / 3.8, DeepSeek V3 / V4, Mistral Tekken, Gemma 4 / Fanar-2, ALLaM, Fanar-1, Falcon3, Falcon-H1 and Falcon-H1R | لكل ملف ترخيصه، ولا تتضمن صفحة الحاسبة إلا ملفات بترخيص MIT أو Apache-2.0، وتنزّل أداة سطر الأوامر الملفات الأخرى عند أول استخدام | نعم |
تأتي المُجزِّئات ومراجعاتها والنماذج المسعّرة من مؤشر ضريبة الترميز العربية 0.1.0، وقُرئت الأسعار مجددًا من صفحات الأسعار الرسمية لدى الشركات في 30 أكتوبر 2026، ويُعلَّم السعر الترويجي بذلك. ويُتحقق من كل ملف مُجزِّئ ببصمة SHA-256 قبل استخدامه. وكُتبت النصوص الاختبارية لهذه الأداة بأسماء ومبالغ متخيَّلة. تفاصيل المصادر (بالإنجليزية)
طريقة الاستشهاد
صيغة الاستشهاد:
Bayanat Labs (2026). Arabic Token-Tax Calculator, version 0.1.0. Bayanat Labs. https://github.com/Bayanat-Labs/arabic-token-tax-calculator
لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.
@misc{bayanatlabs2026tokentaxcalculator,
author = {{Bayanat Labs}},
title = {Arabic Token-Tax Calculator, version 0.1.0},
year = {2026},
month = oct,
howpublished = {\url{https://github.com/Bayanat-Labs/arabic-token-tax-calculator}}
}
كيف نتعامل مع الاستشهاد (بالإنجليزية)
سجل التغييرات
| التاريخ | الإصدار | التغيير |
|---|---|---|
| v0.1.0 | صفحة الحاسبة بالإنجليزية والعربية على Hugging Face Spaces، ومكتبة Python وأداة سطر الأوامر والنصوص الاختبارية والمنهجية على GitHub. |
التصحيح وطلبات الإزالة
إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة
المنتج المرتبط: Bayanat Bench