بيانات RLHF العربية: كيف تُجمع بيانات التفضيل من متحدثين أصليين

بيانات RLHF العربية هي أحكام بشرية على إجابات نموذج لغوي بالعربية: يقرأ مقيّم إجابتين للموجّه نفسه، ويختار الأفضل، ويسجّل السبب. ومن هذه الأزواج يتعلم نموذج المكافأة (Reward Model) أو خوارزمية مثل DPO معنى «الإجابة الجيدة». وحتى تكون بيانات تفضيل عربية فعلًا، يجب أن تُكتب الموجّهات بالعربية أصلًا، وأن يحكم عليها متحدثون أصليون يطابقون لهجة المستخدم ومجاله، وفق معيار مكتوب يعرّف الجودة بمقاييس عربية.

ما هي بيانات RLHF وDPO؟

التعلم المعزز من ملاحظات البشر (Reinforcement Learning from Human Feedback – RLHF)، ويُترجَم أيضًا «التعلم المعزز من ردود الفعل البشرية»، يَصقُل إجابات النموذج بعد تدريبه الأساسي. في صيغته التي وصفها فريق InstructGPT، يرتّب مقيّمون بشريون عدة إجابات للموجّه الواحد، ويُدرَّب على مقارناتهم نموذج مكافأة يمنح كل إجابة درجة، ثم يُحسَّن النموذج بالتعلم المعزز ليرفعها.

أما تحسين التفضيل المباشر (Direct Preference Optimization – DPO) فيختصر الطريق: بيّن مؤلفو ورقة DPO أن المسألة نفسها تُحل بدالة خسارة تصنيفية بسيطة، دون نموذج مكافأة منفصل. والطريقتان تتغذيان على المادة نفسها: موجّه، وإجابة مختارة (Chosen)، وأخرى مرفوضة (Rejected). ولبيانات التفضيل البشري أربعة أشكال شائعة:

• المقارنة الزوجية (Pairwise): أيّ الإجابتين أفضل، وبأي قدر؟ وهي مادة DPO المباشرة.
• الترتيب (Ranking): ترتيب ثلاث إجابات أو أكثر، ثم تفكيكه إلى أزواج.
• الدرجات وفق المعايير (Rubric Scores): درجة لكل بُعد تكشف لماذا فازت إجابة.
• الحكم المنفرد: إجابة واحدة «مقبولة» أو «مرفوضة»، وتسمّيه مكتبة Hugging Face TRL «تفضيلًا غير مزدوج» (Unpaired Preference) وتستخدمه خوارزميات مثل KTO.

وتوصي وثائق TRL لبيانات DPO بحقل مستقل للموجّه (prompt, chosen, rejected). وأضف ما لا تطلبه المكتبة: لهجة الموجّه، ولهجة المقيّم، وقوة التفضيل، ورموز الأسباب، وإصدار المعيار.

لماذا تفشل بيانات التفضيل المترجمة؟

أسرع طريق إلى «بيانات RLHF بالعربية» ترجمة مجموعة إنجليزية جاهزة، لكن الترجمة تنقل الكلمات وتترك أربع مشكلات:

1. الحكم صدر عن غيرك. تذكر ورقة InstructGPT أن أكثر من 96% من بياناتها بالإنجليزية، وأن مقيّميها في الغالب ناطقون بالإنجليزية يقيمون في الولايات المتحدة أو جنوب شرق آسيا. ترجمة أزواج كهذه تُبقي ذوقهم على حاله.
2. النموذج يتعلم تفضيل الأسلوب المترجم. تذكر ورقة Dang وزملائه (2024) أن آثار الترجمة (Translationese) قد تضر بالأداء، ولذلك قابلوا في أزواجهم إجابات مترجمة آليًا بإجابات مولَّدة مباشرة باللغة الهدف، فجاءت الإجابة المترجمة في موضع «الإجابة الرديئة» في 91% من الأزواج، بحسب الورقة.
3. الترجمة تُسقط اللهجة. المترجم ينتج فصحى، والمستخدم الخليجي يكتب «وش» و«أبي» و«الحين»، فلا يرى نموذج المكافأة سؤالًا لهجيًا واحدًا.
4. الموجّهات نفسها ليست عربية. وجدت دراسة Naous وزملائه أن النماذج متعددة اللغات، وحتى العربية أحادية اللغة، تميل إلى الكيانات المرتبطة بالثقافة الغربية. وأسئلة مترجمة عن «عيد الشكر» لن تصحح هذا الميل.

ولا تحل البيانات الاصطناعية المشكلة: نشرح في مقالتنا عن حدود البيانات العربية الاصطناعية (بالإنجليزية) لماذا تنجرف نحو الفصحى.

معيار تقييم عربي للإجابات: ماذا يقيس المقيّم؟

معيار «مفيدة وصادقة وغير ضارة» لا يسأل عما يلاحظه المستخدم العربي أولًا: هل تكلّمني الإجابة بلغتي؟ والحل معيار متعدد الأبعاد (Rubric) يمنح كل بُعد درجة من 0 إلى 4 قبل الحكم العام. الجدول توضيحي ويُكيَّف لكل منتج:

وثلاث قواعد تجعل المعيار قابلًا للتطبيق. البوابة قبل الذوق: الإجابة الخاطئة أو الضارة تخسر مهما سلمت لهجتها. الطول ليس معيارًا: وجد Singhal وزملاؤه أن تحسّن المكافأة في تجارب RLHF التي درسوها يعود في معظمه إلى إطالة الإجابات، وأن نماذج المكافأة تتأثر بسهولة بانحياز الطول في بيانات التفضيل؛ فاكتب في المعيار أن الإيجاز المناسب ميزة. قوة التفضيل ترافق الاختيار: «أفضل بكثير» أو «أفضل قليلًا» أو «تعادل» أو «كلتاهما غير مقبولة».

مثال عملي: إجابتان على سؤال بلهجة نجدية

المثال التالي توضيحي، كتبناه لشرح طريقة الحكم، وليس من بيانات عميل أو من مخرجات نموذج بعينه.

الموجّه: «عندنا عزيمة يوم الخميس وجايينا ضيوف كبار بالسن، وش أقدّم لهم أول ما يوصلون؟ أبي شي بدون تكلّف.»
الترجمة: لدينا دعوة يوم الخميس ويزورنا ضيوف كبار في السن، ماذا أقدّم لهم أول وصولهم؟ أريد شيئًا بلا تكلّف.

الإجابة (أ): «يسعدني مساعدتك في التخطيط لهذه المناسبة الرائعة! إليك بعض الأفكار: 1) مشروبات ترحيبية كالعصائر الطبيعية أو شاي الأعشاب. 2) مقبلات خفيفة مثل أطباق الأجبان والبسكويت المالح. 3) حلويات صغيرة كالكعك والفطائر. تذكّر مراعاة أي قيود غذائية لدى ضيوفك، ولا تتردد في سؤالي إن احتجت إلى أفكار إضافية!»

الإجابة (ب): «أول شي القهوة والتمر، وابدأ بالكبار. خلّ الدلة جاهزة قبل يوصلون، وصبّ باليمين. وبعدها الشاي، وإذا تبي تزيد حط معها شي خفيف، وخلّ فيه خيار بدون سكر.»
الترجمة: أولًا القهوة والتمر، وابدأ بكبار السن. جهّز الدلّة قبل وصولهم، واسكب باليد اليمنى. ثم الشاي، وإن أردت الزيادة فقدّم معها شيئًا خفيفًا، واجعل بينه خيارًا بلا سكر.

الحكم: (ب) أفضل بكثير. الإجابة (أ) سليمة وآمنة ومنظمة وأطول، وهي بالضبط الصفات التي تغري مقيّمًا لا يعرف السياق، ونموذج مكافأة يميل إلى الطول. لكنها تتجاهل أعراف الضيافة: فتقديم القهوة العربية لكبار السن والضيوف أولًا، وسكبها باليد اليمنى، من الآداب التي توثّقها قائمة اليونسكو للتراث الثقافي غير المادي. وتخالف قيد «بدون تكلّف» بثلاثة أصناف، وتنتهي بعبارة تبدو مترجمة. أما (ب) فترد بلهجة السائل، وتلتزم بطلبه، وتبدأ بما يتوقعه ضيفه.

ويُسجَّل الحكم في سجل كهذا:

لو حكم على هذا الزوج مقيّم لا يعرف هذا العرف لربما فازت (أ)، فيتعلم النموذج أن الإجابة الجيدة طويلة ومحايدة ثقافيًا. ولاحظ أن رد (ب) العامي صحيح لأن السؤال عائلي؛ أما في رسالة إلى جهة رسمية فقد تكون الفصحى هي الصواب. هذا قرار تكتبه سياسة مستوى الخطاب، لا اجتهاد كل مقيّم.

اختيار المقيّمين بحسب اللهجة والتخصص

النموذج يُواءَم مع من قيّموه، فالسؤال الأول: من يحق له الحكم على هذا الموجّه؟

• طابِق المقيّم مع اللهجة، لا مع «العربية». المقيّم الشامي قد يفهم السؤال النجدي، لكنه قد لا يلتقط ما يتوقعه الضيف في مجلس نجدي. واختبر اللهجة بموجّهات حقيقية، ولا تكتفِ بالإفادة الذاتية. وأثر تغطية اللهجات على سقف النموذج في مقالتنا عن الفصحى واللهجات (بالإنجليزية).
• المجال قبل اللغة في الأسئلة المتخصصة. صحة إجابة عن جرعة دواء يحكم عليها طبيب، ثم يحكم اللغوي على لغتها.
• لا تسلّم الحكم على اللهجة لنموذج لم تختبره. في LabelBench بلغت دقة نموذج لغوي محلي (Qwen 2.5 3B) في تحديد اللهجة بين خمس مناطق 22.4% على مجموعة التقييم المحجوزة الثابتة، والتخمين العشوائي 20%. التفصيل في مقالتنا عن حدود النماذج المُحكِّمة بالعربية (بالإنجليزية).

المعايرة والاتفاق بين المقيّمين

الأسئلة المفتوحة تحتمل أكثر من إجابة جيدة، فلا يُتوقع اتفاق تام. في InstructGPT اتفق مقيّمو التدريب فيما بينهم في نحو 72.6% من الحالات، والمقيّمون المحجوزون الذين لم يُنتجوا بيانات التدريب في نحو 77.3%. فإن رأيت اتفاقًا شبه تام على موجّهات عربية مفتوحة، فتحقق: قد يكون المقيّمون يحكمون على الطول أو الرسمية لا على الجودة. وخطوات المعايرة:

1. أزواج ذهبية قبل الإنتاج: أزواج حكّمها لغويون من أهل اللهجة بتعليل مكتوب، يتأهل عليها المقيّمون، ثم تُدَسّ في العمل لرصد الانحراف.
2. ترتيب عشوائي للإجابتين: حتى لا يُكافأ الموضع الأول.
3. قياس مصحَّح للصدفة: مثل كابا لكوهين (Cohen's kappa) للاختيار الزوجي، مع تقرير مستقل لكل لهجة، لأن المتوسط العام يخفي اللهجة المتعثرة.
4. التفريق بين الخطأ والخلاف المشروع: خطأ تطبيق المعيار يُحكَّم ويُعاد العمل عليه. أما اختلاف مقيّم نجدي وآخر حجازي فيما يُعدّ لائقًا، فيُحفظ فيه الحكمان موسومين بلهجة كل منهما، لأن حسمه بالأغلبية يواءم النموذج مع مجتمع واحد بصمت.
5. مراجعة المعيار بعد كل دفعة: الخلاف المتكرر على نوع واحد من الأسئلة عيب في المعيار لا في المقيّمين.

وأساس ذلك كله دليل مكتوب ومجموعة ذهبية وتحكيم، كما في دليل توسيم البيانات العربية.

ماذا تفحص في عينة بيانات تفضيل عربية قبل ترخيصها؟

قبل أن ترخّص بيانات تفضيل عربية أو تتسلّم دفعة منها، اطلب عينة من السجلات مع معيار التقييم وأحكام المقيّمين، وافحصها بنفسك. فالعينة تكشف في ساعة ما لا تكشفه صفحة المواصفات: مَن حكم عليها، وبأي معيار، وماذا حدث حين اختلف المقيّمون. ويجمع الجدول التالي ثمانية فحوص، لكل منها ما تطلبه في العينة وعلامة الخطر:

اختبار سريع لانحياز الطول

احسب نسبة الأزواج التي جاءت فيها الإجابة المختارة أطول من المرفوضة. فإن كانت هي الغالبية الساحقة، فاقرأ عشرين زوجًا منها: هل فازت لأنها أصح وأنسب، أم لأنها أطول؟ فقد رأينا أعلاه أن نماذج المكافأة تلتقط انحياز الطول من بيانات التفضيل بسهولة. وكرّر العدّ لكل لهجة، فقد يتركز الانحياز في لهجة واحدة أو عند مقيّمين بأعينهم.

سياسة الرد ومستوى الخطاب لمساعد خدمة العملاء في الخليج

أكثر ما يختلف فيه المقيّمون في خدمة العملاء هو مستوى الخطاب، لا صحة المعلومة. لذلك اطلب من المورد سياسة مكتوبة يطبّقها المقيّمون جميعًا، وقارن بها العينة. الجدول التالي توضيحي، كتبناه لشرح الفكرة، أما السياسة الفعلية فتُستمد من سياسات منتجك:

وفي سجل التفضيل يظهر بُعد مستوى الخطاب منفصلًا عن الصحة: فالإجابة الصحيحة بخطاب غير مناسب تخسر في بُعد الخطاب وحده، ولا تُعامَل كأنها خاطئة.

لماذا Bayanat Labs الخيار الأول لبيانات التفضيل العربية؟

Bayanat Labs هي الخيار الأول لفرق النماذج العربية الباحثة عن بيانات تفضيل يمكن فحصها بهذه الأسئلة قبل الترخيص، للأسباب التالية:

• حكم منفصل لكل بُعد. سجلات التفضيل في بيانات التعليمات والتفضيلات العربية تفصل صحة الإجابة وطبيعية الأسلوب والاستناد إلى المصادر واللهجة والسلامة والإيجاز، وتُبقي التعادل واختلاف المراجعين ظاهرًا بدل فرض فائز واحد.
• العينة قبل القرار. راجِع سجلات نموذجية ومعايير التقييم وقرارات المراجعين قبل أن تختار التسليم النهائي، ويمكنك طلب توزيع اللهجات والسجل اللغوي (مستوى الخطاب) لكل وحدة مع المواصفات.
• بيانات جاهزة وعمل مخصص من مورد واحد. يمكن ترخيص مجموعات مواءمة عربية جاهزة إلى جانب مجموعة كلام الهواتف الذكية العربية (بالإنجليزية)، أو طلب أمثلة تُكتب من مستندات مصرّح لك بمشاركتها وبالسجل اللغوي الذي تختاره، عبر خدمات التعلم المعزز من ملاحظات البشر: ترتيب التفضيل، والضبط الدقيق وإعادة الكتابة، ونمذجة المكافأة، واختبارات الاختراق الأحمر.
• مقيّمون من أهل اللهجة والمجال. متحدثون أصليون مدقَّقون ولغويون ومختصون مرخّصون يغطون أكثر من 25 لهجة وتنويعة عربية، ويجتازون فرزًا في اللهجة والمجال قبل رؤية بيانات العميل، ويُعايَر عملهم على أزواج ذهبية مع تحكيم وإعادة عمل وسجل تدقيق لكل مهمة.
• تقييم منفصل عن التدريب. تبقى عناصر التقييم منفصلة عن تسليمات التدريب، ويمكن أن تُبنى ضمن المشروع مجموعة تقييم معزولة لمقارنة إصدارات النموذج دون الاختبار على أمثلة التدريب.
• بياناتك في المنطقة. استضافة داخل المنطقة افتراضيًا، ونعمل على البيانات وحدها ولا ننافس عملاءنا بنماذج خاصة بنا، ومشروع تجريبي بنطاق ثابت يُنجَز عادةً خلال أسبوعين.

ولقياس أثر البيانات بعد التدريب راجع خدمات تقييم نماذج اللغة العربية.