Bayanat Labs
البرنامج · كيف نبني

كيف تبني Bayanat Labs مجموعات البيانات المفتوحة

كيف تبني Bayanat Labs مجموعات بيانات عربية مفتوحة: مذكرة تحديد النطاق ثم 12 مرحلة ببوابات و114 فحصًا آليًا للتراخيص والخصوصية والجودة.

إعداد: Bayanat Labs· آخر تحديث · Read in English

دليل التشغيل، الإصدار 1.0.1 · توثيق، وليس استشارة قانونية

تمر كل مجموعة بيانات مفتوحة تصدرها Bayanat Labs بالعملية نفسها. تبدأ بمذكرة تحديد نطاق من صفحة واحدة، ثم تمر بـ12 مرحلة أخرى. وتنتهي كل مرحلة ببوابة، وكل بوابة مانعة: إذا فشلت بوابة توقّف الإصدار، وإذا تخطى إصدارٌ بوابةً في أي وقت سُحب.

الدليل الكامل منشور على GitHub بالعربية والإنجليزية: Bayanat-Labs/open-policies. أما ما ننشره وبأي تراخيص فتشرحه سياسة البيانات المفتوحة.

مخطط المراحل الثلاث عشرة في خمس مجموعات (التخطيط، والبناء، والتحقق، والإطلاق، والصيانة)، تنتهي كل منها ببوابة؛ وتسميات المخطط بالإنجليزية
افتح المخطط بالحجم الكامل (تسمياته بالإنجليزية)

المراحل الثلاث عشرة

  1. مذكرة تحديد النطاق. نقرر في صفحة واحدة هل تستحق مجموعة البيانات البناء، وهل يجوز لنا بناؤها. ولا نجلب شيئًا قبل اعتماد المذكرة.
  2. الاستكشاف. نحصر كل مصدر ونسجل إشارات الحقوق الخاصة به: ملف robots.txt، وTDMRep، وContent-Signal، والترخيص. ونستبعد المصادر التي لا يجوز لنا استخدامها.
  3. الجلب. لا نجلب إلا ما تسمح به المذكرة. يعرّف زاحفنا نفسه، وينتظر 3 ثوانٍ على الأقل بين الطلبات إلى الموقع الواحد (5 ثوانٍ للمواقع الحكومية والصغيرة)، ويحتفظ بمجموع اختباري لكل ملف.
  4. التطبيع. نوحّد صيغة النصوص والصوت. وتبقى النسخة الأصلية بجوار النسخة المنظّفة، فلا يضيع شيء. وهنا يُقطَّع الكلام ويُفرَّغ نصيًا، ولا نعتمد أبدًا على النصوص التوضيحية التلقائية.
  5. إزالة التكرار. نحذف المكررات، ونتأكد من أن أي عنصر من اختبار معيار مرجعي لا يظهر في بيانات التدريب.
  6. السلامة والبيانات الشخصية. نزيل البيانات الشخصية والمحتوى غير الآمن. ويجب ألا يكشف تدقيقٌ لعينة طبقية من 3,000 سجل عن أي بيانات شخصية على الإطلاق قبل رفع أي شيء إلى خارج السعودية والإمارات. ونُسقط كل مقطع أو صورة يمكن فيها التعرف على طفل.
  7. الإثراء. نضيف الوسوم ودرجات الجودة، ونبيّن مصدر كل منها. ويراجع متحدثو كل لهجة 1% على الأقل من وسوم لهجتهم.
  8. المراجعة البشرية للجودة. يفحص مراجعون من أهل اللغة يتقاضون أجرًا عيّنةً طبقية يُحدَّد حجمها مسبقًا. ويجب أن يبلغ الاتفاق بينهم العتبة المحددة في المذكرة (معامل كابا 0.6 على الأقل، و0.7 لمجموعات التقييم). ويعتمد النتيجة مراجع مسمّى.
  9. التحزيم. نبني إصدارًا يُحمَّل ويُعرض بشكل صحيح، ويحمل تراخيصه، وبطاقة ثنائية اللغة، ومجاميع اختبارية، وملف منشأ لكل سجل.
  10. خط الأساس أو المعيار المرجعي. يحسب برنامج نصي رقمًا واحدًا على الأقل من الملفات المنشورة، كي يستطيع أي شخص التحقق منه.
  11. الإصدار. نعيد التحقق من كل ادعاء في يوم الإصدار. ويشغّل المنسّق قائمة فحص الإطلاق. ويعطي المؤسس الموافقة.
  12. الترويج والقياس. نعلن عن الإصدار ونسجل هل يستخدمه الناس.
  13. الصيانة. نعالج طلبات الإزالة، ونحدّث البيانات وفق جدول، ونعيد التحقق من التراخيص لكل نسخة، ونحدد موعد النسخة التالية.

كيف تعمل البوابات

كل بوابة قائمة من الفحوص يستطيع برنامج نصي تنفيذها: ملف موجود، أو ملف يتوافق مع مخطط، أو رقم يبلغ عتبة، أو اعتماد موقّع باسم صاحبه، أو قيد موجود في سجل. ويحدد الدليل 114 فحصًا من هذا النوع على البوابات الثلاث عشرة، وهي من 6 أنواع. ولا يدخل الحكم البشري إلا عبر الاعتمادات الموقّعة بأسماء أصحابها.

العتبات قيم افتراضية. يجوز لأي مشروع أن يشددها، ولا يجوز له تخفيفها إلا بموافقة مكتوبة من المؤسس. وحيث أعطت مصادرنا قيمًا مختلفة لعتبة ما، نسجّل القيمة المعتمدة والبديل (21 خيارًا).

وكل خطوة تحتاج إلى موقف قانوني تستشهد بالقرار المسجَّل الذي تستند إليه، بمعرّف ذلك القرار. ولا تنتظر أي خطوة اعتمادًا قانونيًا منفصلًا.

تعريف الإنجاز

يُعدّ الإصدار منجزًا حين تتحقق بنوده الـ12 كلها:

  1. مذكرة تحديد النطاق: تُعتمد قبل تنزيل أي شيء.
  2. سجل المنشأ: من أين جاء كل سجل، وبأي ترخيص.
  3. تقرير الجودة: يوقّعه مراجع مسمّى من أهل اللغة.
  4. سجل الادعاءات: كل رقم وادعاء، يُعاد التحقق منه يوم الإصدار.
  5. البطاقة وملفات الإصدار: بطاقة ثنائية اللغة، والتراخيص، وصيغة الاستشهاد، وسجل التغييرات، والمجاميع الاختبارية، وبيانات Croissant الوصفية، ومثال يعمل.
  6. معرّف DOI: يُحجز قبل الإصدار ويُنشر عنده.
  7. صفحة الإصدار: صفحة على bayanatlabs.com مع بيانات منظَّمة.
  8. رسم خط الأساس: رقم يستطيع أي شخص التحقق منه، مع رسمه البياني.
  9. الإدراجات: Masader وKaggle وGoogle Dataset Search.
  10. إرسال حزمة الإطلاق: مسودات الإعلان، ويرسلها المؤسس.
  11. إنشاء صف المقاييس: يُتتبَّع الاستخدام منذ الشهر الأول.
  12. تحديد موعد النسخة التالية: ومسار الإزالة يعمل.

ويُفحص معظم ذلك قبل موافقة المؤسس. أما نشر معرّف DOI، والإدراجات المنشورة، وإرسال حزمة الإطلاق، وأول صف للمقاييس، فلا يمكن أن تتم إلا بعدها.

كيف يعمل زاحفنا

  • يرسل سلسلة تعريف (User-Agent) وصفية تتضمن عنوانًا للتواصل: BayanatLabs-OpenData/1.0 (+https://bayanatlabs.com/open; hello@bayanatlabs.com).
  • يرسل طلبًا واحدًا على الأكثر كل 3 ثوانٍ لكل موقع (5 ثوانٍ للمواقع الحكومية والصغيرة)، عبر اتصال واحد في كل مرة.
  • يلتزم بملف robots.txt وTDMRep وContent-Signal. ويعدّ حجب زواحف الذكاء الاصطناعي الأخرى رفضًا له أيضًا.
  • يتوقف حين يبلغه الموقع بأنه مثقل (الرمز HTTP 429)، ويتوقف عند أي رفض للوصول.
  • لا يتجاوز أبدًا تسجيل الدخول أو جدار الدفع أو جدار الحماية أو اختبار CAPTCHA، ولا يبدّل الخوادم الوسيطة أو العناوين أو الحسابات.
  • يسجل كل طلب، كي نستطيع أن نبيّن من أين جاء أي سجل.

لطلب إزالة أي محتوى، راسلنا على hello@bayanatlabs.com. نزيل العناصر خلال 30 يومًا، وخلال 24 ساعة لطلبات المنصات وبلاغات البيانات الشخصية. وفي صفحة الزاحف (بالإنجليزية) تفاصيل أكثر.

ما لم نقِسه بعد

نعتزم نشر ما نقيسه بأنفسنا من تكلفة وسرعة معالجة لكل 1,000 ساعة من الصوت العربي. وتحتاج هذه الأرقام إلى تشغيل معايرة على معالج رسومي (GPU) لم يجرِ بعد، ولذلك لا تتضمن هذه الصفحة أي أرقام للتكلفة أو السرعة.

اقرأ الدليل الكامل

النص بترخيص CC BY 4.0. صيغة الاستشهاد: «Operating manual by Bayanat Labs» (دليل التشغيل من Bayanat Labs)، الإصدار 1.0.1.

لم يراجع النصَّ العربي بعدُ كاتبٌ لغته الأم العربية، والنص الإنجليزي هو المعتمد. (The Arabic text has not yet been reviewed by a native Arabic writer; the English governs.)