حاسبة ضريبة التوكنات العربية: التوكنات ونافذة السياق والتكلفة لنصك

تُظهر حاسبة ضريبة التوكنات العربية من Bayanat Labs ما يستهلكه نصك العربي من توكنات. الصق نصًا عربيًا، ومعه ترجمته الإنجليزية إن وُجدت، لترى لكل مُجزِّئ عدد التوكنات، والتوكنات لكل كلمة، ونسبة توكنات العربية إلى الإنجليزية، والأحرف لكل توكن، وهل يتسع النص لنافذة السياق، وتكلفة إرساله أو توليده بأسعار قوائم قُرئت من صفحات الأسعار لدى الشركات في 30 أكتوبر 2026 ويمكنك تعديلها. تعمل الحاسبة داخل متصفحك مع 9 مُجزِّئات (مُرمِّزات)، وتعمل أداة سطر الأوامر token-tax مع 12 مُجزِّئًا وتعطي أرقام التوكنات نفسها.

افتح الحاسبة · الشيفرة على GitHub · سجلّ الإصدار

وللفرق المقيس على نصوص الأمم المتحدة المتوازية، مُجزِّئًا مُجزِّئًا، راجع عدّاد الرموز العربية ومؤشر ضريبة الترميز العربية: عبر مُجزِّئاته الـ12، يبلغ وسيط نسبة توكنات العربية إلى الإنجليزية 1.42.

في المتصفح

• التوكنات لكل مُجزِّئ، مع ترميز النص كما كتبته تمامًا ودون توكنات خاصة.
• التوكنات لكل كلمة ولكل ألف كلمة. تبقى اللواصق العربية متصلة بكلماتها، لذلك يبالغ هذان المقياسان في الفرق بين اللغتين.
• نسبة توكنات العربية إلى الإنجليزية عند إضافة النص الإنجليزي المقابل: توكنات العربية ÷ توكنات الإنجليزية على المُجزِّئ نفسه. هذه النسبة تقارن المحتوى نفسه، وهي الرقم الذي يُستشهد به.
• الأحرف لكل توكن.
• نافذة السياق: هل يتسع النص، وبكم توكنًا يزيد، وما الجزء الذي يتسع منه.
• التكلفة: تكلفة إرسال (سعر الإدخال) وتوليد (سعر الإخراج) عدد من النصوص مثل نصك، بـ7 أسعار قوائم من OpenAI وDeepSeek وAlibaba Cloud قُرئت في 30 أكتوبر 2026، وأحدها سعر ترويجي ومعلَّم بذلك. ويمكنك تعديل أي سعر أو إضافة سعرك.
• بطاقة للمشاركة: صورة PNG فيها النسبة الرئيسية ومراجعات المُجزِّئات والتاريخ، تُرسم داخل متصفحك. لا يظهر نصك فيها إلا إذا اخترت إدراج أوله.

والواجهة بالإنجليزية والعربية.

يبقى نصك في متصفحك

تعمل المُجزِّئات في Web Worker داخل الصفحة، من ملفات مُجزِّئات تقدّمها الصفحة بنفسها وتتحقق منها ببصمة SHA-256. وتسمح سياسة أمان المحتوى في الصفحة بالاتصال بمصدرها وحده، ولا تخزّن الصفحة شيئًا. وقد قاس فحص في Chromium نصًا طويلًا، فسجّل 0 طلبات خارج مصدر الصفحة ولم يُكتب شيء في تخزين المتصفح. وعلى 242 نصًا و11 حالة حدّية، تعطي الصفحة أرقام التوكنات نفسها التي تعطيها أداة Python لكل مُجزِّئ من مُجزِّئاتها الـ9.

في سطر الأوامر

pip install "git+https://github.com/Bayanat-Labs/arabic-token-tax-calculator@v0.1.0"

token-tax count "قالت البلدية إن أعمال صيانة الطريق الساحلي ستستمر ثلاثة أسابيع" \
  --en "The municipality said that maintenance work on the coastal road will continue for three weeks"
token-tax count --file ar.txt --en-file en.txt --tokenizers o200k_base,qwen3.5 --budget 8192
token-tax count --file ar.txt --json        # all measures and costs as JSON
token-tax tokenizers                        # tokenizers, revisions, licences
token-tax prices                            # the dated list prices

تحتاج إلى Python 3.10 أو أحدث. الحزمة غير موجودة على PyPI بعد، فثبّتها من GitHub كما في الأعلى. تُنزَّل ملفات المُجزِّئات من مستودعات النماذج عند أول استخدام، عند مراجعات مثبّتة ومع التحقق ببصمة SHA-256: ملفات المُجزِّئات وحدها، دون أوزان نماذج ودون شيفرة نماذج.

المُجزِّئات

• في المتصفح وسطر الأوامر: OpenAI o200k_base وOpenAI cl100k_base وQwen3 وQwen3.5 / 3.6 / 3.8 وDeepSeek V3 / V4 وMistral Tekken وGemma 4 / Fanar-2 وALLaM وFanar-1.
• في سطر الأوامر فقط: Falcon3 وFalcon-H1 وFalcon-H1R، لأن ملفات مُجزِّئاتها ليست بترخيص MIT أو Apache-2.0.
• تأتي القائمة والمراجعات المثبّتة والنماذج المسعّرة من مؤشر ضريبة الترميز العربية 0.1.0، وقُرئت الأسعار مجددًا من صفحات الأسعار الرسمية لدى الشركات في 30 أكتوبر 2026.

طريقة الإشارة

Bayanat Labs (2026). Arabic Token-Tax Calculator, version 0.1.0. https://github.com/Bayanat-Labs/arabic-token-tax-calculator

سجل الإصدار، بتراخيصه وسجل تغييراته، في صفحة حاسبة ضريبة التوكنات العربية على Bayanat Labs Open.

الترخيص والتواصل

الشيفرة وصفحة الحاسبة: Apache-2.0. النصوص الاختبارية وجدول الأسعار والتوثيق: CC BY 4.0. وتحتفظ ملفات المُجزِّئات في صفحة الحاسبة بتراخيصها (MIT أو Apache-2.0). للأسئلة والتصحيحات وطلب مُجزِّئات جديدة: hello@bayanatlabs.com.

هل تحتاج إلى بيانات تقييم عربية لنماذجك؟

الحاسبة مجانية. أما مجموعات التقييم العربية المرخّصة وحزم الاختبار الخاصة، فتجدها في صفحة Bayanat Bench.