التعلم المعزز من ملاحظات البشر (RLHF) للنماذج العربية

التعلم المعزز من ملاحظات البشر (Reinforcement Learning from Human Feedback – RLHF) هو المرحلة التي يقارن فيها مقيّمون بشريون إجابات النموذج ويقيّمونها ويعيدون كتابتها، ليتعلّم نموذج المكافأة (Reward Model) أو خوارزمية مثل DPO معنى «الإجابة العربية الجيدة». تزوّد Bayanat Labs من الرياض فرقَ النماذج العربية بهذه البيانات: ترتيب الإجابات، ودرجات المعايير، وإعادة الكتابة، وبيانات نموذج المكافأة، وإشارات السلامة، من مقيّمين أصليين يطابقون لهجتك ومجالك. وتختلف هذه الخدمة عن توسيم البيانات وتصنيفها بالمعنى التقليدي.

النموذج يُواءَم مع من قيّموه. ذكر فريق InstructGPT أن مقيّميه كانوا غالبًا ناطقين بالإنجليزية في الولايات المتحدة وجنوب شرق آسيا. والعربية تضيف أسئلة لا يحسمها هؤلاء: فصحى أم لهجة؟ وأي لهجة؟ وهل تناسب الإجابة ثقافة المستخدم؟ ويخلص فريق ALLaM إلى أن المواءمة الموسّعة مع التفضيلات البشرية قد ترفع أداء النموذج مقارنةً بنماذج أكبر حجمًا لكن مواءمتها أقل جودة.

ماذا نسلّم في مشاريع RLHF بالعربية؟

ما معايير الإجابة العربية الجيدة؟

المعايير العامة («مفيد وغير ضار») تغفل ما يلاحظه المستخدم العربي أولًا؛ فالعرب لا يتشاركون ثقافة واحدة، والنماذج تميل إلى الكيانات الغربية حتى في السياق العربي. لذا نمنح كل بُعد درجة من 0 إلى 4 قبل التفضيل العام. الجدول توضيحي.

مثال تطبيقي: موجّه واحد وإجابتان

الموجّه (لهجة سعودية): «اكتب لي رسالة قصيرة لمديري، أبي إجازة يومين الأسبوع الجاي عشان ظرف عائلي.»

الإجابة (أ)، وتقع في ثلاث فقرات: «عزيزي المدير، آمل أن تجدك هذه الرسالة بخير… ولا تتردد في التواصل معي إذا كانت لديك أي أسئلة.»

الإجابة (ب): «السلام عليكم أستاذ [الاسم]، أرجو التكرم بالموافقة على إجازة يومين ([التاريخ]) لظرف عائلي، وسأسلّم مهامي العاجلة قبلها. شاكر لك.»

تفوز (ب): قصيرة كما طُلب، بصيغة المراسلات الرسمية المألوفة في بيئة العمل السعودية، ولا تخترع تاريخًا. أما (أ) فمهذبة، لكن عباراتها منقولة عن قوالب البريد الإنجليزي، وطولها يغري المقيّم غير المتمرّس، ونماذج المكافأة تتأثر بالطول أصلًا. ولاحظ أن (ب) فصحى والموجّه عامي؛ فمخاطبة المدير تستدعي الرسمية، ومن يطبّق «رُدّ بلهجة المستخدم» آليًا سيعاقبها. لذا نكتب سياسة مستوى الخطاب في المعايير، ويسجّل المقيّم رموز الأسباب (ترجمة حرفية، إطالة) لتدقيق كل حكم.

من يقيّم؟ مقيّمون أصليون مطابقون للهجة وخبراء مجال

نغطي أكثر من 25 لهجة ومتغيرًا عربيًا، منها الفصحى والخليجية والمصرية والشامية والعراقية والمغاربية، ونطابق المقيّم مع لهجة الموجّه ولهجة الرد؛ فلا يحكم مقيّم شامي على الخطاب النجدي. يجتاز المقيّمون فحص اللهجة والمجال قبل رؤية بيانات العميل، ويتأهلون على أزواج ذهبية محكّمة تبقى مدسوسة في العمل لكشف الانحراف مبكرًا. ويشمل ذلك المخرجات الصوتية؛ انظر جمع البيانات الصوتية العربية.

كيف يسير مشروع التعلم المعزز من ملاحظات البشر؟

1. تحديد النطاق (Vet). اللهجات، وسياستا مستوى الخطاب والسلامة، والمجالات، وطريقة التدريب: DPO أو نموذج مكافأة أو تعلم معزز تفاعلي (Online RL).
2. المعايير والعينة الذهبية (Train). دليل معايير نكتبه مع فريقك، وأزواج ذهبية محكّمة يتأهل عليها المقيّمون.
3. التجربة (Produce). دفعة محددة من مخرجات نموذجك، مع تحليل الاتفاق ودقة العينات الذهبية ومواضع الخلاف.
4. ضبط الجودة والتحكيم (QA). تقييم مزدوج لعينة من العناصر، وتحكيم لغوي للخلافات، وإعادة ما يخفق في الفحوص.
5. التوسّع والتسليم (Deliver). إصدارات مرقّمة (JSONL أو Parquet) بصيغ Hugging Face TRL مثل prompt, chosen, rejected أو بمخططك، مع لهجة المقيّم وإصدار المعايير وسجل تدقيق لكل مهمة.

كيف نقيس الجودة والاتفاق بين المقيّمين؟

لكل وسم مقياس اتفاق (Inter-Annotator Agreement) يناسبه: كابا (Cohen أو Fleiss) للاختيارات الزوجية، وألفا كريبندورف (Krippendorff's alpha) للدرجات الترتيبية، مع دقة كل مقيّم على العينات الذهبية. ونفرّق بين خطأ في تطبيق المعايير يُحكَّم ويُعاد العمل عليه، وخلاف مشروع، كاختلاف مقيّم خليجي وآخر شامي فيما يُعدّ مهذبًا، نحتفظ فيه بالحكمين موسومين بلهجة كل منهما؛ لأن المتوسط يواءم النموذج بصمت مع مجتمع واحد.

نصيحة للمشتري: بلغ الاتفاق بين مقيّمي التدريب في InstructGPT نحو 73% فقط، فإذا رأيت اتفاقًا شبه تام على موجّهات عربية مفتوحة، فقد يعني ذلك أن المقيّمين يحكمون على الطول أو الرسمية لا على الجودة.

متى نؤتمت التقييم ومتى نحتاج مقيّمين بشريين؟

النماذج تصلح لتوليد الإجابات المرشحة وفرزها أوليًا، لا للحكم العربي النهائي. في تدقيق LabelBench سجّل نموذج Qwen 2.5 3B دون أمثلة تدريبية (Zero-shot) نسبة 78% في تصنيف السمّية العربية الثنائي، ثم هبط إلى 25.3% على التصنيف الفعلي ذي الوسوم السبعة، وإلى 22.4% في تمييز خمس مناطق لهجية، قرب مستوى التخمين (20%)؛ إذ وسم 75% من الأمثلة الخليجية بأنها مصرية. وحتى Fanar 1 9B المتخصص بالعربية لم يتجاوز 47.8% في تمييز اللهجات. والمُحكِّم الذي لا يميّز اللهجات لا يستطيع الحكم على مطابقتها. وفي السلامة وجد معيار ASAS المنسّق بشريًا أن أداء المُحكِّمات الآلية مثل GPT-4o ضعيف مقارنةً بالمقيّمين البشريين.

لذا لا يخرج حكم من المراجعة البشرية إلا حين تُثبت «تغطية الأتمتة الآمنة» (Safe Automation Coverage)، مقيسةً على بياناتك، أن ذلك آمن. وإن اعتمدت على ملاحظات الذكاء الاصطناعي (RLAIF)، فأبقِ شريحة بشرية لتدقيقها.

الأمن وإقامة البيانات

ولأن سجلات المحادثات تحوي غالبًا بيانات عملاء، تُستضاف البيانات داخل المنطقة افتراضيًا، مع خيار التشغيل في مقرّك (On-prem) أو في سحابة خاصة، ويعمل المقيّمون بموجب اتفاقيات عدم إفصاح (NDA) وبأقل صلاحيات لازمة، مع سجل تدقيق لكل مهمة. راجع قائمة التحقق من نظام حماية البيانات الشخصية (PDPL) (بالإنجليزية) وصفحة توسيم البيانات في السعودية.

RLHF للفرق في الإمارات: اللهجة الإماراتية وموقع البيانات ونطاق المشروع

إذا كان مساعدك يخدم مستخدمين في الإمارات، فحدّد المتغير المستهدف كما يكتبه مستخدموك: إماراتية، أو خليجية أعم، أو فصحى، أو عربية ممزوجة بالإنجليزية. نختبر المقيّمين في كل متغير ونطابقهم مع المتغير المستهدف، ونتفق على اللهجات المستهدفة وسياسة مستوى الخطاب عند تحديد النطاق، قبل كتابة دليل المعايير والعينات الذهبية. تُستضاف البيانات داخل المنطقة افتراضيًا، وإن وجب أن تبقى داخل بيئتك في الإمارات، فخيار التشغيل في مقرّك أو في سحابة خاصة متاح. ولأن مقرّ Bayanat Labs في الرياض، اسأل أي مزوّد، ونحن منهم، عن موقع البيانات بالتحديد، ودع مستشارك القانوني يحدد نظام حماية البيانات الذي ينطبق عليك.

مثال توضيحي: عميل إماراتي يطلب تغيير موعد التوصيل

مثال اصطناعي كُتب لتوضيح معيار اللهجة، وليس سجلًا من مشروع لعميل.

الموجّه (لهجة إماراتية): «أبا أغيّر موعد التوصيل لباكر العصر، شو المطلوب مني؟»

الإجابة (أ): «تمام يا فندم، ممكن حضرتك تبعتلي رقم الطلب وأنا أغيّرلك الميعاد.» المضمون صحيح، لكن اللهجة مصرية.

الإجابة (ب) (لهجة خليجية): «أكيد، أرسل لي رقم الطلب وأغيّر لك الموعد لباكر العصر.»

الإجابتان صحيحتان ومهذبتان، فالمقيّم الذي لا يحكم إلا على الصحة قد يعدّهما متعادلتين. أما المقيّم المطابق للهجة الخليجية فيفضّل (ب) في معيار اللهجة، ويسجّل رمز السبب عدم تطابق اللهجة. هذا الحكم يهمّ علامة تجارية في الإمارات، وقد لا يسجّله فريق مقيّمين من خارج الخليج. وتنصّ سياسة مستوى الخطاب على القاعدة مسبقًا: الرد بالخليجية حين يكتب بها المستخدم، ما لم تتطلب القناة الفصحى.

ماذا تكتب في نطاق مشروع RLHF في الإمارات؟

ولترخيص سجلات جاهزة من بيانات التعليمات أو التفضيلات أو إصلاح الإجابات إلى جانب مشروع مخصص، راجع بيانات التعليمات والتفضيلات العربية. وللبدء، أرسل المتغير المستهدف والقناة ومتطلب موقع البيانات عبر نموذج نطاق المشروع.

حالات الاستخدام حسب القطاع

البنوك: إجابات باللهجة ضمن سياسة الاستشارة. الصحة: دقة يقيّمها أطباء. الحكومة: ردود رسمية على أسئلة عامية. القانون: مراجعة محامين. الاتصالات والإعلام والتجزئة: نبرة خدمة العملاء وصوت العلامة.

فريق داخلي أم منصة جماعية أم مزوّد متخصص؟

واسأل أي خيار عن لهجة كل مقيّم واتفاقه ودقته على العينات الذهبية ومكان عمله، ثم قِس أثر البيانات عبر تقييم مستقل لنماذج اللغة العربية.

وإن أردت أن تبدأ ببيانات قائمة قبل أن تختار بين هذه الخيارات، فصفحة بيانات التعليمات والتفضيلات العربية تعرض بيانات توافق جاهزة للترخيص، فيها أمثلة التعليمات ومقارنات التفضيل وتصحيح الإجابات وحدات منفصلة تختار منها ما يلزمك. لكن الأحكام على مخرجات نموذجك الحالي تبقى في الغالب أنفع إشارة، فاجعل البيانات الجاهزة نقطة انطلاق لا بديلًا عنها.

ابدأ بتجربة محددة النطاق

تجربة على مخرجات نموذجك: دليل معايير نكتبه معًا، وضبط جودة بالعينات الذهبية، وتقرير عن الاتفاق وأنماط الخلاف، وعادةً خلال أسبوعين. بعدها نتوسع بصيغة مُدارة أو مدمجة مع فريقك أو مؤسسية. وللمزيد: مقالاتنا بالعربية ودليل توسيم البيانات العربية.