LabelBench من Bayanat Labs

Arabic data labeling benchmark Arabic toxicity classification Arabic dialect identification LLM annotation audit Safe Automation Coverage

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. لا يوجد ملف MANIFEST.json لهذا الإصدار لأنه سبق البرنامج المفتوح. يُحسب كل رقم من ملف منشور ويُربط بقيمة SHA-256 لذلك الملف.

التنزيل والمعرّفات

ابدأ الاستخدام

ثبّت أداة سطر الأوامر

# Python 3.10 or later; installs the labelbench command
pip install bayanat-labelbench

ما الذي يتضمنه الإصدار

صيغة النسبة: Bayanat Labs, LabelBench. https://www.bayanatlabs.com/research/labelbench

الاستخدامات المقصودة

• اختبار قدرة نموذج على التوسيم المسبق لبياناتك العربية وفق تصنيفك ومزيج اللهجات لديك قبل الاعتماد عليه.
• إعادة إنتاج نتائج v0.1: تنزّل الشيفرة كل مصدر عند مراجعة محددة وتتحقق من قيمة SHA-256 الخاصة به.
• الاستشهاد بالنتائج والرسوم البيانية وملفات النتائج أو إعادة استخدامها مع نسبتها إلى مصدرها.

خارج النطاق

• ترتيب النماذج المتقدمة الحالية: يختبر الإصدار v0.1 نماذج محلية صغيرة على مجموعات اختبار ثابتة.
• تقييم منتجات كتالوج Bayanat Labs.
• مصدر نصوص عربية للتدريب: لا يتضمن الإصدار أي نص مصدري.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• نماذج محلية صغيرة على مجموعات اختبار ثابتة معزولة، وليست النماذج المتقدمة الحالية.
• مجموعة MASSIVE ar-SA مترجمة ومكيّفة من الإنجليزية، فلا تصلح سندًا لأي ادعاء عن العربية السعودية الأصيلة.
• لا تذكر IADD أي ترخيص، لذلك تُستخدم للتقييم فقط ولا تُنشر أي صفوف منها.
• قيست تغطية الأتمتة الآمنة (Safe Automation Coverage) في التشغيلات التوليدية بمخرجات منظَّمة متساوية الثقة، ويبقى قياس الثقة المعايَرة عملًا مستقبليًا.

المصادر والتراخيص

تنزّل الشيفرة كل مصدر من موقعه الأصلي عند مراجعة محددة وتتحقق من قيمة SHA-256 الخاصة به. تحتوي ملفات LabelBench المنشورة على درجات مجمّعة وقيم تجزئة فقط، دون أي نص مصدري. التفاصيل في ملف DATA.md في مستودع GitHub. تفاصيل المصادر (بالإنجليزية)

النتائج التي نذكرها

على مجموعة الاختبار الثابتة المعزولة، حقق نموذج لغوي محلي (Qwen2.5 3B) دقة 78% في تصنيف السمّية الثنائي، و25.3% تطابقًا تامًا على تصنيف السمّية ذي الوسوم السبعة، و22.4% على خمس مناطق لهجية (نسبة التخمين العشوائي 20%). (بتاريخ 5 أكتوبر 2026; انظر سجل الادعاءات (بالإنجليزية))

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs Research (2026). Arabic Annotation Is Not Binary: LabelBench, a Reproducible Audit of Automated Data Labeling. Bayanat Labs, Technical report v0.1. https://www.bayanatlabs.com/research/labelbench

Bayanat Labs Research (2026). LabelBench (v0.1.1) [Software]. Zenodo. https://doi.org/10.5281/zenodo.23355785

• معرّف DOI الجامع (لكل الإصدارات): 10.5281/zenodo.23355784
• معرّف DOI لهذا الإصدار: 10.5281/zenodo.23355785
• ملف CITATION.cff

@techreport{bayanat2026labelbench,
  title       = {Arabic Annotation Is Not Binary: LabelBench, a Reproducible Audit of Automated Data Labeling},
  author      = {{Bayanat Labs Research}},
  institution = {Bayanat Labs},
  year        = {2026},
  month       = jul,
  number      = {v0.1},
  url         = {https://www.bayanatlabs.com/research/labelbench}
}

@software{bayanat2026labelbenchcode,
  author    = {{Bayanat Labs Research}},
  title     = {LabelBench},
  version   = {v0.1.1},
  year      = {2026},
  month     = oct,
  publisher = {Zenodo},
  doi       = {10.5281/zenodo.23355785},
  url       = {https://doi.org/10.5281/zenodo.23355785}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

الشرح الكامل: LabelBench على bayanatlabs.com (بالإنجليزية)

المنتج المرتبط: Bayanat Bench