عدّاد الرموز العربية لمُرمِّزات النماذج اللغوية
احسب رموز النص العربي لدى 12 مُرمِّزًا من مُرمِّزات النماذج اللغوية الكبيرة، واعرف كم رمزًا إضافيًا تحتاجه العربية مقارنةً بالإنجليزية، مع تكلفة الصفحة.
عدّاد الرموز العربية هو أداة سطر الأوامر وحزمة Python التي يقوم عليها مؤشر ضريبة الترميز العربية من Bayanat Labs. يحسب رموز أي نص لدى المُرمِّزات الـ12 في المؤشر، ويطبع الكلمات التي يعدّها، ويعيد القياس كاملًا من المصادر العامة. وتعرض لوحة الترتيب النتائج في متصفحك.
افتح لوحة الترتيب · الشيفرة على GitHub · مجموعة البيانات على Hugging Face
كم رمزًا إضافيًا تحتاجه العربية
على مجموعة اختبار الأمم المتحدة لعام 2015 (3,990 زوجًا من الجمل العربية والإنجليزية من 731 وثيقة للأمم المتحدة)، يبلغ وسيط نسبة رموز العربية إلى الإنجليزية عبر المُرمِّزات الـ12 1.42: أي أن المحتوى نفسه يحتاج بالعربية إلى 1.42 ضعف رموزه بالإنجليزية. وتتراوح النسبة بين 0.93 (ALLaM) و3.35 (Falcon3)، ويحتاج 11 من المُرمِّزات الـ12 إلى رموز أكثر للعربية. والنسبة الأقل من 1 تعني أن العربية احتاجت رموزًا أقل من الإنجليزية.
| المُرمِّز | النسبة (فترة الثقة 95%) | رموز لكل 1,000 كلمة عربية | رموز لكل 1,000 كلمة إنجليزية |
|---|---|---|---|
| ALLaM | 0.93 (0.92–0.94) | 1,408 | 1,352 |
| Falcon-H1 | 1.04 (1.03–1.05) | 1,508 | 1,295 |
| Falcon-H1R | 1.12 (1.11–1.13) | 1,677 | 1,336 |
| Mistral Tekken | 1.24 (1.23–1.25) | 1,808 | 1,300 |
| Qwen3.5 / 3.6 / 3.8 | 1.26 (1.25–1.27) | 1,813 | 1,285 |
| OpenAI o200k_base | 1.36 (1.35–1.37) | 1,884 | 1,232 |
| Fanar-1 | 1.47 (1.46–1.49) | 2,145 | 1,298 |
| Gemma 4 / Fanar-2 | 1.48 (1.47–1.49) | 2,105 | 1,267 |
| Qwen3 | 1.57 (1.56–1.58) | 2,268 | 1,288 |
| DeepSeek V3 / V4 | 1.65 (1.64–1.66) | 2,278 | 1,231 |
| OpenAI cl100k_base | 3.08 (3.05–3.10) | 4,275 | 1,240 |
| Falcon3 | 3.35 (3.32–3.39) | 4,788 | 1,274 |
النسبة هي مجموع الرموز العربية مقسومًا على مجموع الرموز الإنجليزية في أزواج الجمل نفسها، وتأتي فترة الثقة 95% من 10,000 عيّنة بإعادة معاينة وثائق الأمم المتحدة. والكلمة سلسلة متصلة من الحروف والعلامات والأرقام، ولا تُفصل عنها اللواصق العربية، لذا قارن النسبة لا الأرقام المحسوبة لكل كلمة. وعدد الرموز الأقل يعني تكلفة أقل ونصًا أكثر في نافذة السياق، وليس مقياسًا لجودة النموذج.
تكلفة الصفحة
الصفحة هنا هي محتوى 1,000 كلمة إنجليزية، وترجمتها العربية في مجموعة اختبار الأمم المتحدة نحو 892 كلمة. التكلفة بسعر المدخلات بالدولار الأمريكي كما هو مدرج في صفحات الأسعار الرسمية للمزوّدين في 16 أكتوبر 2026 (بالتوقيت العالمي)، وتذكر الصفحة سعر gpt-5.6-sol بوصفه سعرًا ترويجيًا:
| النموذج | سعر المدخلات لكل مليون رمز | صفحة إنجليزية | صفحة عربية |
|---|---|---|---|
gpt-5.6-sol (OpenAI) |
$4.00 | $0.00493 | $0.00672 |
gpt-5.3-codex (OpenAI) |
$1.75 | $0.00216 | $0.00294 |
deepseek-v4-pro (DeepSeek) |
$1.32 | $0.00162 | $0.00268 |
deepseek-flash (DeepSeek) |
$0.30 | $0.00037 | $0.00061 |
qwen3.5-397b-a17b (Alibaba Cloud) |
$0.60 | $0.00077 | $0.00097 |
qwen3.8-27b (Alibaba Cloud) |
$0.50 | $0.00064 | $0.00081 |
qwen3.8-2.4t-a95b (Alibaba Cloud) |
$2.00 | $0.00257 | $0.00324 |
أسعار المخرجات، ومجموعات Tatoeba للعربية الفصحى والمصرية والجزائرية، والمُرمِّزات التي لا سعر منشورًا لها، موجودة في لوحة الترتيب ومجموعة البيانات.
التثبيت والتشغيل
pip install "git+https://github.com/Bayanat-Labs/arabic-token-tax-index@v0.1.0"
arabic-token-tax count "تقرير الأمين العام عن أعمال المنظمة" # tokens per tokeniser
arabic-token-tax count --tokeniser o200k_base,qwen3.5 "نص عربي" # selected tokenisers
arabic-token-tax words "تقرير الأمين العام" # wordcount-v1 words
تحتاج إلى Python 3.10 أو أحدث. لم تصدر الحزمة على PyPI بعد، وسيعمل الأمر pip install arabic-token-tax-index بعد نشرها. وتُجلب ملفات المُرمِّزات من ناشريها عند أول استخدام، بمراجعات مثبّتة: ملفات المُرمِّزات وحدها، دون أوزان النماذج أبدًا. ولإعادة إنتاج الإصدار، انسخ المستودع عند الوسم v0.1.0 واتبع ملف README.
from datasets import load_dataset
results = load_dataset("Bayanat-Labs/arabic-token-tax-index", "results", split="train")
segments = load_dataset("Bayanat-Labs/arabic-token-tax-index", "segments_un", split="test2015")
ما الذي يحسبه
- ترميزات OpenAI عبر مكتبة BPE مفتوحة المصدر من OpenAI (
encode_ordinary)، وملفاتtokenizer.jsonمن Hugging Face عبر مكتبة tokenizers (add_special_tokens=False)، وملفاتtokenizer.modelعبر sentencepiece (دون رمزي البداية والنهاية). - يُرمَّز كل مقطع وحده، دون رموز خاصة.
- لا يشمل هذا الإصدار المُرمِّزات التي ملفاتها غير عامة أو لا تُتاح إلا بطلب وصول، وتذكر مجموعة البيانات كلًّا منها مع سببه.
- أضف مُرمِّزًا بإضافة مدخل بمراجعة مثبّتة إلى الملف
config/tokenisers.yaml.
طريقة الإشارة
Bayanat Labs (2026). Arabic Token-Tax Index, version 0.1.0 (run 2026-10-16). https://huggingface.co/datasets/Bayanat-Labs/arabic-token-tax-index. CC BY 4.0.
اذكر الإصدار وتاريخ القياس مع كل رقم. وسجل الإصدار، بتراخيصه وسجل تغييراته، في صفحة مؤشر ضريبة الترميز العربية على Bayanat Labs Open.
الترخيص والتواصل
شيفرة أداة القياس ولوحة الترتيب: Apache-2.0. بيانات المؤشر والتوثيق: CC BY 4.0. نص الأمم المتحدة: يُوزَّع وفق إخلاء المسؤولية الخاص بمدوّنة الأمم المتحدة المتوازية، مع ذكر الأمم المتحدة مصدرًا. للأسئلة والتصويبات وطلب إضافة مُرمِّزات جديدة: hello@bayanatlabs.com.
هل تحتاج إلى بيانات تقييم عربية لنماذجك؟
عدّاد الرموز مجاني. أما مجموعات التقييم العربية المرخّصة ومجموعات الاختبار الخاصة فتجدها في صفحة Bayanat Bench.