قالب Bayanat Labs لمجموعات البيانات وقائمة التحقق ذات العشرين بندًا لبطاقات مجموعات البيانات العربية

ما هذا القالب

قالب Bayanat Labs لمجموعات البيانات (Bayanat-Labs/dataset-template) هو قالب المستودعات الذي تُنشأ منه مجموعات البيانات المفتوحة الجديدة من Bayanat Labs، بدءًا من الإصدار 0.1.0 من القالب. أما إصدارات Bayanat Labs السابقة فقد سبقته. وقد بُني بأداة copier، ولذلك يستطيع كل مستودع أُنشئ منه أن يجلب الإصدارات اللاحقة من المعيار بأمر واحد.

يحتوي المستودع المُنشأ من القالب على ما يلي:

• بطاقة ثنائية اللغة: ملف README.md بالإنجليزية مع ترويسة البيانات الوصفية التي يعتمدها Hugging Face وملخص بالعربية، إضافةً إلى بطاقة عربية كاملة في الملف README.ar.md.
• ملفات الحقوق: الملف LICENSE لإسهامنا، والملف LICENSE-sources.md والمجلد LICENSES/ لتراخيص المصادر الأصلية، وحقل source_license في كل سجل.
• السجلات: الملف PROVENANCE.jsonl (مصدر كل عنصر وتاريخ جلبه والشروط التي جُلب بموجبها)، والملف CLAIMS.md (كل تصريح مقارِن مع دليله وتاريخه).
• ملفات الحزمة: الملفات CITATION.cff وcroissant.json وMANIFEST.json وSHA256SUMS وCHANGELOG.md.
• هيكل أولي لخط المعالجة: حزمة برمجية لخط المعالجة في المجلد src/ فيها وحدة لكل مرحلة، والمجلدات qa/ وrebuild/ وeval/، لكي تأتي كل الأرقام الواردة في البطاقة من برامج نصية.
• فحصان آليان: مدقق للبطاقة (bl-card-lint) ومدقق لبوابات الإصدار (bl-gates)، ويوقفان الإصدار إذا نقص ملف مطلوب أو قسم من أقسام البطاقة أو ترخيص أو قيد في سجل التصريحات.

التراخيص: الشيفرة البرمجية للقالب مرخّصة برخصة Apache-2.0، ونصوص القالب وقائمة التحقق هذه مرخّصة برخصة CC BY 4.0. وإن أعدت استخدامها فيُرجى ذكر العبارة: «Template by Bayanat Labs (bayanatlabs.com/open/standard)».

قائمة التحقق ذات العشرين بندًا لبطاقات مجموعات البيانات العربية

راجع هذه القائمة قبل نشر أي مجموعة بيانات عربية على منصة Hugging Face. تتحقق Bayanat Labs وفقها، باستخدام أداة bl-card-lint، من كل إصدار جديد تبنيه من قالب مجموعات البيانات (بدءًا من الإصدار 0.1.0)، ويذكر كل بند القواعد التي تفرضه. يمكن إعادة استخدام القائمة بموجب رخصة CC BY 4.0.

تحت كل بند: القواعد التي تفرضه في إصدارات Bayanat Labs، والفحص الذي استخدمناه لبطاقات الناشرين الآخرين في التدقيق أدناه، وعدد البطاقات التي استوفته من بين 100 بطاقة شملها التدقيق.

C01. بطاقتان إحداهما بالعربية

انشر بطاقة بالإنجليزية (README.md) وبطاقة عربية كاملة (README.ar.md) تضمّان الأقسام نفسها بالترتيب نفسه. وضع في أعلى README.md ملخصًا عربيًا قصيرًا داخل كتلة من اليمين إلى اليسار مع رابط إلى البطاقة العربية.

• تفرضه في إصدارات Bayanat Labs القواعد: R009 وR010.
• فحص التدقيق لبطاقات الناشرين الآخرين: ملف بطاقة عربية (مثل README.ar.md) في المستودع، أو وصف مكتوب بالعربية في ملف README.
• البطاقات المستوفية: 0 من 100.

C02. بيانات وصفية كاملة على المنصة

املأ ترويسة YAML: الاسم المعروض ووسوم الترخيص واللغة وفئات المهام وفئة الحجم والوسوم، ومدخلًا لكل إعداد (config) مع ملفات بياناته.

• تفرضه في إصدارات Bayanat Labs القواعد: R001 وR006.
• فحص التدقيق لبطاقات الناشرين الآخرين: تتضمن الترويسة الوصفية الحقول pretty_name ووسم الترخيص وlanguage وtask_categories وsize_categories.
• البطاقات المستوفية: 49 من 100.

C03. تسمية الأنماط اللغوية العربية وتتبّع أصل الوسوم

اذكر الرمز ar في حقل language، واذكر كل لهجة برمز BCP-47 (مثل ar-SA وar-EG وar-MA، أو رمز نمط لغوي مثل afb للعربية الخليجية) في حقل language_details. ويجب أن يبيّن كل وسم لهجة في البيانات مصدره: البيانات الوصفية للمصدر، أو قصد الكاتب، أو الاستدلال الآلي، أو مراجعة متحدث أصلي.

• تفرضه في إصدارات Bayanat Labs القواعد: R005 وR019.
• فحص التدقيق لبطاقات الناشرين الآخرين: تذكر البيانات الوصفية نمطًا لغويًا عربيًا واحدًا على الأقل برمز أو وسم (مثل ar-SA أو arz أو ary_Arab).
• البطاقات المستوفية: 27 من 100.

C04. اسم الناشر صحيح والخطوة التالية واضحة

اكتب اسم الناشر بالصيغة نفسها في كل موضع، واختم البطاقتين بالتذييل ورابط صفحة المجموعة، وأضف رابط عائلة المنتجات المدفوعة المناسبة لمن يحتاج إلى المزيد.

• تفرضه في إصدارات Bayanat Labs القواعد: R007 وR015 وR016.
• فحص التدقيق لبطاقات الناشرين الآخرين: تذكر البطاقة وسيلة تواصل أو صفحة رئيسية للناشر. (التذييل ورابط عائلة المنتجات خاصان بإصداراتنا.)
• البطاقات المستوفية: 48 من 100.

C05. جميع الأقسام المطلوبة بترتيب ثابت

احتفظ بجميع الأقسام المطلوبة (الأقسام الأحد عشر المعتمدة في بطاقة FineWeb، والأقسام الخمسة الخاصة بBayanat Labs، والإضافات) مع علاماتها، ولا تترك أي نص مؤقت دون استكمال.

• تفرضه في إصدارات Bayanat Labs القواعد: R008.
• فحص التدقيق لبطاقات الناشرين الآخرين: للملخص والبنية وطريقة الإنشاء والقيود أو البيانات الشخصية والترخيص والاستشهاد محتوى فعلي، ولا يبقى نص مؤقت من القالب.
• البطاقات المستوفية: 7 من 100.

C06. ترخيص واحد لكل إعداد وفق المصفوفة

امنح كل إعداد ترخيصًا واحدًا تسمح به مصفوفة التراخيص لنوع محتواه. ولا تضع على عملك ترخيصًا غير تجاري أو مانعًا للاشتقاق أو ترخيصًا خاصًا، ولا تستخدم Apache أو MIT للبيانات.

• تفرضه في إصدارات Bayanat Labs القواعد: R002 وR003.
• فحص التدقيق لبطاقات الناشرين الآخرين: كل وسم ترخيص مما تسمح به مصفوفة التراخيص للبيانات (لا NC ولا ND ولا Apache ولا MIT ولا unknown)، وعدد الوسوم لا يزيد على عدد الإعدادات.
• البطاقات المستوفية: 37 من 100.

C07. فصل المحتوى المشروط بالمشاركة بالمثل

ضع النصوص المأخوذة من ويكيبيديا في إعداد مستقل بترخيص CC BY-SA 4.0 مع رابط الصفحة ورقم المراجعة في كل سجل، وضع بيانات ODbL في إعداد مستقل.

• تفرضه في إصدارات Bayanat Labs القواعد: R004.
• فحص التدقيق لبطاقات الناشرين الآخرين: ينطبق على المجموعات المرخّصة بالمشاركة بالمثل أو ODbL أو المأخوذة من ويكيبيديا: لا تُخلط تراخيص المشاركة بالمثل بغيرها في إعداد واحد، وتحمل سجلات ويكيبيديا حقلًا للرابط وحقلًا لرقم المراجعة.
• البطاقات المستوفية: 9 من 30 (ينطبق البند على 30 من 100 مجموعة).

C08. الترخيص في كل سجل

أدرج الحقلين source_license وsource_license_url في كل سجل، واذكر في البطاقة أن المحتوى الأصلي غير مرخّص من الناشر حين يأتي من أطراف أخرى.

• تفرضه في إصدارات Bayanat Labs القواعد: R018 وR019.
• فحص التدقيق لبطاقات الناشرين الآخرين: تحمل السجلات حقلًا للترخيص (بحسب أسماء الحقول في عارض البيانات).
• البطاقات المستوفية: 2 من 100.

C09. النص الأصلي إلى جانب النص المُوحَّد

احتفظ بالنص الأصلي كما هو في الحقل text_raw إلى جانب الحقل text_norm، واذكر سياسة التوحيد الإملائي وإصدارها في قسم طريقة الإنشاء.

• تفرضه في إصدارات Bayanat Labs القواعد: R020.
• فحص التدقيق لبطاقات الناشرين الآخرين: ينطبق على المجموعات النصية: تحمل السجلات حقلًا للنص الأصلي وحقلًا للنص الموحَّد أو المنظَّف.
• البطاقات المستوفية: 0 من 91 (ينطبق البند على 91 من 100 مجموعة).

C10. الأرقام من البرامج النصية

احسب كل عدد ونسبة ونتيجة في البطاقة ببرنامج نصي يقرأ الملفات المنشورة، وضعها داخل كتلة مولَّدة آليًا.

• تفرضه في إصدارات Bayanat Labs القواعد: R013.
• فحص التدقيق: لم يُفحص هذا البند، لأنه لا يمكن من خارج المشروع معرفة ما إذا كانت أرقام البطاقة محسوبة ببرامج نصية.

C11. لا صيغة تفضيل دون قيد في سجل التصريحات

لا تكتب «أكبر» أو «أول» أو «الوحيد» إلا بالصياغة الحرفية لتصريح معتمد أُعيد التحقق منه خلال الثلاثين يومًا الأخيرة، مع وحدة القياس وفئة الترخيص والتاريخ والمرجع المقارَن به.

• تفرضه في إصدارات Bayanat Labs القواعد: R011 وR012.
• فحص التدقيق لبطاقات الناشرين الآخرين: لا يرد تصريح تفضيلي عن البيانات، مثل «أكبر مجموعة بيانات ...» أو «أول مدونة ...»، ولا صيغة تفضيل في عنوان (لا تملك بطاقات الآخرين سجل تصريحات يسندها).
• البطاقات المستوفية: 95 من 100.

C12. توثيق المصدر لكل مصدر ولكل سجل

اذكر كل مصدر مع رابطه وترخيصه وأساسه القانوني وتاريخ التحقق منه وإشارات الحقوق الخاصة به (ملف robots.txt وبروتوكول TDMRep وترويسة Content-Signal)، وأرفق سجل مصادر يوثّق أصل كل سجل بيانات.

• تفرضه في إصدارات Bayanat Labs القواعد: R017.
• فحص التدقيق لبطاقات الناشرين الآخرين: تذكر البطاقة مصادرها، وتحمل السجلات حقلًا لرابط المصدر.
• البطاقات المستوفية: 13 من 100.

C13. الأشخاص في البيانات ونظام حماية البيانات الشخصية

بيّن هل تتضمن البيانات أشخاصًا يمكن التعرف عليهم. فإن تضمنتهم فاذكر أساس الجمع، وكيف طُبّق نظاما حماية البيانات الشخصية في السعودية والإمارات، وأن هوية أصحاب البيانات أُخفيت قبل الرفع، ونتيجة تدقيق البيانات الشخصية.

• تفرضه في إصدارات Bayanat Labs القواعد: R022.
• فحص التدقيق لبطاقات الناشرين الآخرين: تبيّن البطاقة ما إذا كانت البيانات تتضمن معلومات شخصية، وكيف عولجت.
• البطاقات المستوفية: 16 من 100.

C14. لا بيانات للقُصّر

لا تُدرج كلام الأطفال ولا صورهم، واذكر ذلك صراحة في البطاقتين. ولا تُدرج مجموعات صور الوجوه ولا غيرها من البيانات الحيوية، إلا مقاطع فيديو بلغة الإشارة يظهر فيها أشخاص يمكن التعرف عليهم، جُمعت بموافقتهم الصريحة على جمع بياناتهم الحيوية.

• تفرضه في إصدارات Bayanat Labs القواعد: R023.
• فحص التدقيق لبطاقات الناشرين الآخرين: تنص البطاقة على أن بيانات الأطفال (مثل الكلام أو الصور) مستبعدة أو غير موجودة.
• البطاقات المستوفية: 0 من 100.

C15. الاستخدامات المقصودة وغير المقصودة والحقوق منفصلةً

اذكر الاستخدامات المقصودة والاستخدامات الخارجة عن النطاق، وبيّن الحقوق في أربعة صفوف منفصلة: تدريب النماذج، والعرض والاقتباس، وإعادة التوزيع، والصوت الاصطناعي.

• تفرضه في إصدارات Bayanat Labs القواعد: R021.
• فحص التدقيق لبطاقات الناشرين الآخرين: تذكر البطاقة الاستخدامات المقصودة والاستخدامات الخارجة عن النطاق كليهما.
• البطاقات المستوفية: 4 من 100.

C16. نشر الكلام المسجَّل بمسؤولية

في مجموعات الكلام المسجَّل، اطلب من المستخدمين عدم استنساخ الأصوات، وانشر بمعدل عينات 16 كيلوهرتز كل صوت لم يأذن أصحابه باستخدامه في التركيب الصوتي، ولا تستخدم النصوص التوضيحية التلقائية التي تولّدها المنصات نصوصًا مكتوبة للكلام.

• تفرضه في إصدارات Bayanat Labs القواعد: R025 وR026.
• فحص التدقيق لبطاقات الناشرين الآخرين: ينطبق على مجموعات الكلام المسجَّل: تطلب البطاقة من المستخدمين عدم استنساخ الأصوات أو انتحالها.
• البطاقات المستوفية: 0 من 19 (ينطبق البند على 19 من 100 مجموعة).

C17. مسار علني لطلبات الإزالة

وفّر عنوان بريد إلكتروني وصفحة لطلبات الإزالة، وأزل العناصر المطلوبة خلال ثلاثين يومًا، واستجب لطلبات المنصات والطلبات المتعلقة بالبيانات الشخصية وسلامة الأطفال خلال أربع وعشرين ساعة.

• تفرضه في إصدارات Bayanat Labs القواعد: R014.
• فحص التدقيق لبطاقات الناشرين الآخرين: تبيّن البطاقة كيف يطلب أصحاب المحتوى أو البيانات إزالتها.
• البطاقات المستوفية: 4 من 100.

C18. ملخص بيانات التدريب لأغراض قانون الذكاء الاصطناعي الأوروبي

أضف قسمًا قصيرًا يمكن لمزوّدي النماذج إعادة استخدامه: نوع البيانات وحجمها، وفترة الجمع، وأهم نطاقات المصادر، وبروتوكولات الانسحاب التي رُوعيت، وهوية أداة الزحف، ومسار طلبات الإزالة.

• تفرضه في إصدارات Bayanat Labs القواعد: R024.
• فحص التدقيق لبطاقات الناشرين الآخرين: تتضمن البطاقة قسمًا عن قانون الذكاء الاصطناعي الأوروبي أو ملخصًا لبيانات التدريب (المادة 53).
• البطاقات المستوفية: 0 من 100.

C19. وصول مفتوح ومجموعات اختبار محمية

لا تقيّد الوصول إلى الإصدار. وفي مجموعات التقييم، أضف معرّف كناري (canary GUID) إلى البطاقة والبيانات، واحتفظ بقسم اختبار مخفي، وأرفق ملفات المهام لأدوات التقييم الشائعة.

• تفرضه في إصدارات Bayanat Labs القواعد: R027 وR028.
• فحص التدقيق لبطاقات الناشرين الآخرين: الوصول إلى المجموعة غير مقيّد؛ وفي مجموعات التقييم تحمل البطاقة أيضًا معرّف كناري (canary).
• البطاقات المستوفية: 89 من 100.

C20. ملفات إصدار كاملة يمكن التحقق منها

أرفق نصوص التراخيص وملف الاستشهاد وقائمة الملفات ومجاميع التحقق SHA-256 وملف Croissant متحقَّقًا من صحته، وتأكد من تطابق كل قيمة تحقق.

• تفرضه في إصدارات Bayanat Labs القواعد: R029 وR030.
• فحص التدقيق لبطاقات الناشرين الآخرين: يحتوي المستودع على ملف ترخيص وملف CITATION.cff وقائمة ملفات ومجاميع تحقق وملف Croissant (ويُحتسب ملف Croissant الذي تولّده المنصة).
• البطاقات المستوفية: 0 من 100.

تستند القائمة إلى إرشادات Hugging Face لبطاقات مجموعات البيانات وإلى ورقة Datasheets for Datasets وإلى بنية الأقسام في بطاقة FineWeb. وتضيف إليها ما تحتاج إليه الإصدارات العربية: بطاقة عربية (C01)، ووسومًا للأنماط اللغوية العربية (C03)، ومعالجة البيانات الشخصية وفق أنظمة السعودية والإمارات (C13)، ومسارًا علنيًا لطلبات الإزالة (C17).

ما وجدناه: تدقيق بطاقات مجموعات البيانات الموسومة بالعربية

في 15 أكتوبر 2026 فحصنا بطاقات أكثر 100 مجموعة بيانات تنزيلًا على Hugging Face من بين المجموعات الموسومة بالعربية (ar) وفق بنود هذه القائمة التي يمكن فحصها من الخارج، وعددها 19: بلغ الوسيط 5 بنود مستوفاة (ويُعدّ البند الذي لا ينطبق مستوفًى)، وكانت أعلى نتيجة 11 بندًا، ولم تستوفِ أي بطاقة أيًّا من البنود الآتية: C01 وC09 وC14 وC16 وC18 وC20.

المنهجية. أعددنا قائمة بأكثر 100 مجموعة بيانات تنزيلًا على Hugging Face Hub خلال الثلاثين يومًا السابقة من بين المجموعات التي تحمل وسم اللغة ar، عبر الواجهة البرمجية للمنصة ومن دون تسجيل دخول (الساعة 08:22 بالتوقيت العالمي المنسق، 15 أكتوبر 2026). ثم قرأنا لكل مجموعة بطاقة README في النسخة نفسها المسجلة في القائمة، وقائمة الملفات في المستوى الأعلى من المستودع، وأسماء الحقول التي يعرضها عارض البيانات. وقد كُتبت القائمة لإصدارات Bayanat Labs، ولذلك فحصنا في بطاقات الناشرين الآخرين جوهر كل بند («فحص التدقيق» تحت كل بند)؛ أما البند C10 فلا يمكن فحصه من الخارج. والبنود التي تنطبق على بعض المجموعات فقط (C07 وC09 وC16) تُحتسب على تلك المجموعات وحدها. وإذا غاب الدليل، كأسماء الحقول في المجموعات التي لا يستطيع العارض قراءتها، عُدّ البند غير مستوفًى. وقد ضُبطت القواعد البرمجية على 10 بطاقات، ثم قورنت بقراءة منفصلة لعشر بطاقات أخرى اختيرت عشوائيًا، أُجريت قبل الاطلاع على مخرجات البرنامج: فاتفقت معها في 176 حكمًا من أصل 200 في قواعد البطاقة العامة (88%)، وفي 46 حكمًا من أصل 50 في القواعد الخاصة بالقائمة (92%). وفي 18 من حالات الاختلاف العامة البالغ عددها 24، وجد البرنامج القاعدة غير مستوفاة بينما وجدتها القراءة المنفصلة مستوفاة.

الحدود. تطلب بعض البنود أمورًا لا يُتوقع وجودها إلا في إصدار بُني وفق هذا المعيار (مثل C14 وC18 وC20)، ولذلك فانخفاض الأرقام فيها يبيّن المسافة عن هذا المعيار، لا الجودة العامة للبطاقة. ومعظم هذه المجموعات متعددة اللغات، والعربية فيها لغة من لغات كثيرة؛ ومنها 17 مجموعة تركّز على العربية (كل وسوم لغتها عربية، أو لها وسمان على الأكثر أحدهما للعربية)، وبلغ الوسيط فيها 5 من 19. وتتغير أعداد التنزيلات يوميًا، لذا فالترتيب يعكس لحظة التدقيق فقط. والقواعد تقرأ البطاقة وقائمة الملفات وأسماء الحقول وحدها، لا الأوراق البحثية أو المواقع المرتبطة بها.

ننشر أرقامًا إجمالية فقط، ولا نقيّم مجموعات بيانات بعينها ولا نسمّيها.

طريقة استخدام القالب

1. ثبّت أداة copier: ‏pip install "copier==9.18.0" (أو pipx install copier).
2. أنشئ مستودعًا من إصدار القالب المنشور وأجب عن الأسئلة (الاسم، ونوع البيانات، والترخيص لكل إعداد فرعي (config)، والمصادر):

   copier copy --vcs-ref v0.1.0 gh:Bayanat-Labs/dataset-template my-arabic-dataset

3. املأ البطاقة والسجلات، ثم ثبّت حزمة أدوات الإصدار من مستودع القالب وشغّل الفحوص من داخل المستودع الجديد:

   cd my-arabic-dataset
   pip install "bayanatlabs-release-kit @ git+https://github.com/Bayanat-Labs/dataset-template@v0.1.0#subdirectory=kit/bayanatlabs-release-kit"
   make lint gates

   يشغّل الأمر make lint الأداة bl-card-lint hf --answers .copier-answers.yml على مجلد Hugging Face، ويشغّل الأمر make gates الأداة bl-gates --gh-repo . --hf-repo hf --job <job folder> --out qa/reports/gates.json (مجلد المهمة هو قيمة المتغير $BL_JOB_DIR، أو المستودع نفسه).
4. إذا تغيّر المعيار، فحدّث مستودعك بالأمر copier update.

ويمكنك أيضًا استخدام قائمة التحقق وحدها: انسخ البنود العشرين إلى مراجعتك الخاصة، أو إلى طلب سحب (pull request) على بطاقة مجموعة بيانات قائمة.

صيغة الاستشهاد

@misc{bayanatlabs_dataset_template_2026,
  title  = {Bayanat Labs dataset template and 20-point Arabic dataset card checklist},
  author = {{Bayanat Labs}},
  year   = {2026},
  note   = {Version 0.1.0; card audit of 15 October 2026},
  url    = {https://www.bayanatlabs.com/open/standard}
}

للتصحيحات والاستفسارات: hello@bayanatlabs.com.