مؤشر ضريبة الترميز العربية من Bayanat Labs

Arabic tokenizer Arabic token count LLM tokenizer comparison Arabic LLM cost token tax

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. يُقرأ كل رقم من ملف في مجموعة البيانات على Hugging Face (meta/summary.json وmeta/tokenisers.json وmeta/slices.csv وmeta/costs.csv) ويُربط بقيمة SHA-256 للملف، ويسرد ملف MANIFEST.json كل الملفات مع قيمها.

التنزيل والمعرّفات

ابدأ الاستخدام

حمّل النتائج بمكتبة datasets، أو ثبّت أداة القياس من GitHub عند وسم الإصدار v0.1.0 لتحسب رموز نصك، وسيعمل الأمر pip install arabic-token-tax-index بعد نشر الحزمة على PyPI.

# Python
from datasets import load_dataset
results = load_dataset("Bayanat-Labs/arabic-token-tax-index", "results", split="train")

# Harness
pip install "git+https://github.com/Bayanat-Labs/arabic-token-tax-index@v0.1.0"
arabic-token-tax count "تقرير الأمين العام عن أعمال المنظمة"

ما الذي يتضمنه الإصدار

صيغة النسبة: Arabic Token-Tax Index by Bayanat Labs, CC BY 4.0. UN text: source, the United Nations. https://huggingface.co/datasets/Bayanat-Labs/arabic-token-tax-index

الاستخدامات المقصودة

• تقدير عدد الرموز الإضافية والتكلفة الإضافية التي يحتاجها المحتوى بالعربية مقارنةً بالمحتوى نفسه بالإنجليزية لدى مُرمِّز معيّن.
• مقارنة المُرمِّزات على النص المتوازي نفسه، مع فترة ثقة لكل نسبة.
• حساب رموز نصك العربي لدى كل مُرمِّز في المؤشر، أو إعادة القياس من المصادر العامة.

خارج النطاق

• الحكم على جودة النماذج: عدد الرموز الأقل يعني تكلفة أقل ونصًا أكثر في نافذة السياق، لا نموذجًا أفضل.
• حساب الفواتير بدقة: تعتمد التكاليف على أسعار القائمة القياسية في تاريخ قراءتها، دون خصومات الدفعات أو التخزين المؤقت أو غيرها.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• لا يشمل هذا الإصدار المُرمِّزات التي ملفاتها غير عامة أو لا تُتاح إلا بطلب وصول، وتذكر مجموعة البيانات كلًّا منها مع سببه.
• قد تحسب خدمة الواجهة البرمجية الرموز بطريقة تختلف عن ملف المُرمِّز المنشور، كأن تضيف رموزًا خاصة أو تستخدم مراجعة أخرى.
• تتغير الأسعار، ويسجّل كل سطر سعر وقت قراءته ومصدره.
• نص الأمم المتحدة عربية فصحى رسمية، وشرائح Tatoeba جمل يومية قصيرة، لذا قارن النسب داخل الشريحة الواحدة.
• يكون تثبيت أداة القياس من GitHub حاليًا، فهي غير موجودة على PyPI بعد.

المصادر والتراخيص

أعداد الرموز والنسب وفترات الثقة والتكاليف واختبار التشكيل من عمل Bayanat Labs. وتُوزَّع أزواج جمل الأمم المتحدة بعد التنظيف مع إخلاء المسؤولية الكامل الخاص بمدوّنة الأمم المتحدة المتوازية (ملف NOTICE في مجموعة البيانات). وتُعرَّف جمل Tatoeba بمعرّفاتها وبصماتها. وتُجلب ملفات المُرمِّزات من ناشريها عند التشغيل، وليست جزءًا من الإصدار. والأسعار حقائق قُرئت من صفحات الأسعار الرسمية للمزوّدين في الوقت المذكور في كل سطر. تفاصيل المصادر (بالإنجليزية)

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs (2026). Arabic Token-Tax Index, version 0.1.0 (run 2026-10-16). Bayanat Labs. https://huggingface.co/datasets/Bayanat-Labs/arabic-token-tax-index

• ملف CITATION.cff

لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.

@misc{bayanatlabs2026arabictokentaxindex,
  author       = {{Bayanat Labs}},
  title        = {Arabic Token-Tax Index, version 0.1.0 (run 2026-10-16)},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://huggingface.co/datasets/Bayanat-Labs/arabic-token-tax-index}}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

المنتج المرتبط: Bayanat Bench