معايير تقييم النماذج اللغوية العربية: كيف تختبر نموذجًا بالفصحى واللهجات

معايير تقييم النماذج اللغوية العربية نوعان: معايير مرجعية عامة (Benchmarks) مثل ArabicMMLU ومؤشر بلسم ولوحة OALL، تصلح لتضييق قائمة النماذج المرشحة، وتقييم خاص تبنيه على لهجات مستخدميك ومهامك، وهو وحده ما يصلح لقرار الإطلاق. والتقييم الذي يُعتمد عليه يقيس خمسة أبعاد منفصلة لكل لهجة، على موجّهات (Prompts) كُتبت بالعربية أصلًا لا مترجمة، ويحكم فيه متحدثون أصليون حيث يكون الحكم البشري هو المقياس.

يشرح هذا الدليل لماذا تعطي المعايير المترجمة صورة أفضل من الواقع، وما الذي تقيسه بالضبط، وماذا يغطي كل معيار عربي معروف حتى سبتمبر 2026، ثم يقدّم بروتوكولًا عمليًا من سبع خطوات، مع أحجام العينات ودور النماذج المُحكِّمة.

لماذا تضلل معايير التقييم المترجمة؟

بدأت أجزاء كبيرة من منظومة التقييم العربية ترجمةً آلية لمجموعات إنجليزية. والترجمة تنقل معها الإطار الثقافي الإنجليزي وصياغاته، فتنتج عربية مترجَمة (Translationese) لا يكتبها عربي، ويكافئ الاختبار النموذج البارع في الإنجليزية المنقولة إلى العربية لا في العربية نفسها. والسؤال المترجم عن مؤسسات أمريكية يقيس معرفة أمريكية بحروف عربية.

وقد وصل القائمون على لوحة Open Arabic LLM Leaderboard إلى النتيجة نفسها: في النسخة الثانية (فبراير 2025) حذفوا المهام المترجمة آليًا لتدنّي جودتها واحتمال انحيازها الثقافي، وحذفوا المهام التي تشبّعت فيها الدرجات. وتتكرر في المعايير المنشورة ثلاث مشكلات أخرى:

• الفصحى وحدها لا تمثّل مستخدميك. العربية لغة ازدواجية (Diglossia): الكتابة الرسمية بالفصحى، والمحادثة اليومية والدردشة باللهجات. ومجموعة اختبار من فصحى نظيفة تترك النموذج دون اختبار على ما سيستقبله فعلًا. لذا تعامَل أي «درجة عربية» بلا تفصيل للهجات على أنها درجة فصحى.
• المتوسط يخفي الإخفاق المهم. نموذج قوي في المصرية وضعيف في الخليجية ليس «متوسط الجودة»، بل غير صالح لنشر في السعودية. والدرجة المدمجة تخفي بالضبط الخطر الذي تريد قياسه.
• الإملاء يربك المقاييس الآلية. الكتابة العربية تقبل تنوعًا مشروعًا تعاقبه مقاييس المطابقة التامة: «إلى» و«الى»، و«مدرسة» و«مدرسه»، و«أحمد» و«احمد»، مع التشكيل أو بدونه. حدّد قواعد التطبيع (Normalization) قبل التصحيح، وطبّقها على كل النماذج بالطريقة نفسها، وإلا قارنت إملاء النماذج لا فهمها. وللتقطيع (Tokenization) أثر آخر: النص نفسه قد يستهلك عددًا مختلفًا جدًا من الرموز بين نموذج وآخر، فتتغير الكلفة وطول السياق المتاح.

كيف تقيّم نموذج لغة عربي؟ خمسة أبعاد تُقاس لكل لهجة

أبلغ عن كل بُعد منفصلًا، لكل لهجة ولكل مجال، ولا تدمجها في رقم واحد. الأمثلة في الجدول توضيحية لنوع البند المطلوب.

الفصل بين الفهم والتوليد ضروري لأنهما مهارتان مختلفتان: قد يفهم النموذج سؤالًا بالنجدية ثم يجيب بفصحى متكلفة أو بلهجة أخرى. ويؤكد ذلك معيار ArabCulture-Dialogue (أبريل 2026)، الذي يقارن حوارات ثقافية بالفصحى وبلهجات 13 بلدًا عربيًا في ثلاث مهام: الاستدلال الثقافي بالاختيار من متعدد، والترجمة بين الفصحى واللهجة، وتوجيه التوليد نحو لهجة محددة. وجد الباحثون أن أداء النماذج أضعف في المهام الثلاث كلها حين يكون الحوار باللهجة.

أبرز معايير تقييم النماذج اللغوية العربية (حتى سبتمبر 2026)

يلخص الجدول ما يقيسه كل معيار وحدوده لقرارك. الأوصاف مأخوذة من الأوراق وصفحات المعايير المرتبطة، وهي صحيحة حتى سبتمبر 2026. تعمّدنا عدم ذكر ترتيب النماذج، لأن لوحات الصدارة تتغير أسرع من أي مقال؛ راجع اللوحة نفسها يوم قرارك.

للمقارنة التفصيلية بين هذه المعايير وغيرها، مثل AraTrust وAraDiCE وPalm، راجع دليلنا لمعايير النماذج العربية (بالإنجليزية).

ما هو مؤشر بلسم لتقييم النماذج العربية؟

بلسم منصة لقياس أداء النماذج اللغوية الكبيرة في مهام معالجة العربية، يديرها مجمع الملك سلمان العالمي للغة العربية بمشاركة جهات أكاديمية وحكومية منها سدايا وجامعة محمد بن زايد للذكاء الاصطناعي. وتذكر صفحة المنصة أكثر من 50 ألف سؤال و78 مهمة وأكثر من ألف مجموعة بيانات. ما يميّزه أمران: أن كثيرًا من مهامه توليدية يصححها نموذج مُحكِّم على إجابات مرجعية، لا اختيار من متعدد، وأن مجموعة الاختبار محجوبة حتى عن معظم المساهمين فيها، فيصعب أن تتسرب إلى بيانات التدريب. أما حدّه فهو حدّ كل معيار عام: يقيس النموذج على مهام عامة، لا على لهجات عملائك ومنتجك.

ماذا تقول الأرقام عن اللهجات؟

حين يُفصل أداء اللهجات تنخفض الدرجات. في DialectalArabicMMLU بلغ متوسط دقة 19 نموذجًا مفتوح الأوزان (من 1B إلى 13B) على اللهجات الخمس 47.7%، مقابل 51.9% للأسئلة نفسها بالفصحى و62.8% بالإنجليزية. وكانت السعودية عند 48.2% والمغربية الأدنى عند 45.0%. الفجوة بين الفصحى واللهجات هنا نحو أربع نقاط على أسئلة اختيار من متعدد؛ وفي التوليد، حيث يُطلب من النموذج أن يكتب باللهجة، تظهر الفجوة أيضًا كما في ArabCulture-Dialogue. لذلك نشرح في مقالنا عن الفصحى واللهجات (بالإنجليزية) لماذا يجب تسمية كل لهجة تحتاجها بالاسم.

بروتوكول تقييم عملي من سبع خطوات

الأبعاد وحدها لا تكفي؛ المنهجية تحدد إن كانت النتيجة قابلة للدفاع عنها. نفّذ الخطوات بالترتيب:

1. اكتب القرار أولًا. اختيار نموذج، أم موافقة على الإطلاق، أم اختبار انحدار (Regression) بعد ضبط دقيق؟ وحدّد عتبة النجاح لكل بُعد قبل أن يرى أحد مخرجات أي نموذج. التقييم بلا قرار يتحول إلى لوحة صدارة أخرى.
2. حوّل حركة الاستخدام إلى خلايا. اكتب اللهجات والمجالات وحصة كل منها. كل تقاطع بين لهجة وبُعد خلية تحتاج عينتها الخاصة. وإن سحبت الموجّهات من سجلات حقيقية فهي بيانات شخصية؛ راجع نظام حماية البيانات الشخصية وبيانات تدريب الذكاء الاصطناعي.
3. اكتب الموجّهات بالعربية أصلًا. يكتبها متحدثون أصليون بكل لهجة مستهدفة، بما فيها التبديل اللغوي والعربيزي والأخطاء الإملائية التي يكتبها المستخدمون فعلًا. لا تترجم من الإنجليزية.
4. ابنِ سلالم التقييم (Rubrics) والإجابات المرجعية. لكل بُعد سلّم مكتوب، مع مثالين أو ثلاثة لردود مصحّحة عند كل مستوى، وأعلام أخطاء حرجة تُسقط الرد مهما كانت درجته، كرسوم بنكية خاطئة تُذكر على أنها حقيقة.
5. عاير المقيّمين على دفعة تجريبية. يصحح مقيّمون يتحدثون اللهجة المقيَّمة شريحة صغيرة، ثم تقيس الاتفاق بينهم لكل بُعد وتعيد صياغة ما التبس في السلّم قبل التوسع. إن كان الاتفاق منخفضًا فالتقييم يقيس المقيّمين لا النموذج. وهذه هي نفسها أسس ضبط الجودة في دليل توسيم البيانات العربية.
6. قيّم تقييمًا معمّى (Blind). أخفِ هوية النماذج، واخلط ترتيب الردود، وادسّ بنودًا ذهبية لرصد انجراف المقيّمين. ولا تعتمد على بنود منشورة في أي قرار حاسم، فقد تكون دخلت بيانات تدريب النموذج.
7. حلّل بهوامش خطأ، ثم جمّد المجموعة. أبلغ عن كل خلية بفاصل ثقة. وعند مقارنة نموذجين، صحّحهما على البنود نفسها وقارن الفروق بندًا ببند. ثم احتفظ بنسخة خاصة مجمّدة تعيد تشغيلها مع كل نسخة جديدة، وأضف بنودًا جديدة دوريًا.

كم بندًا تحتاج لكل لهجة؟

ما يكفي لأن يكون فاصل الثقة في كل خلية أضيق من الفرق الذي تريد رصده. يعرض الجدول هامش الخطأ التقريبي عند مستوى ثقة 95% لنسبة نجاح، بالتقريب الطبيعي ±1.96 × √(p(1−p)/n). الأرقام حساب رياضي، لا نتائج تقييم.

النتيجة العملية: احسب العينة لكل لهجة لا للمجموعة كلها. مجموعة من ألف موجّه، منها 850 بالفصحى و50 لكل واحدة من ثلاث لهجات، تترك هامشًا يقارب ±13 نقطة على كل لهجة (مثال توضيحي)، وهو أوسع من أن يُبنى عليه قرار إطلاق بلهجة. والموجّهات المتقاربة، كعشر صيغ لنية واحدة، لا تُحسب عشر ملاحظات مستقلة.

المقيّمون البشر أم النماذج المحكِّمة (LLM-as-a-judge)؟

القاعدة: أتمت ما يمكن التحقق منه آليًا، وأبقِ البشر حيث يكون الحكم نفسه هو المقياس. الإجابات المحددة وصيغ المخرجات ووسائط استدعاء الأدوات يصححها سكربت. والمقارنة السريعة بين نسختين أثناء التطوير يمكن أن يتولاها نموذج مُحكِّم بعد معايرته. أما سجلّ اللهجة والملاءمة الثقافية والدقة في المجال فتحتاج متحدثين أصليين ومختصين، لأن الرد المعقول الخاطئ يمر على غير المختص.

الأدلة تدعم نهجًا هجينًا لا استبدالًا كاملًا. في الورقة المنشورة عن BALSAM، ارتبطت درجات النموذج المُحكِّم بأحكام المقيّمين البشر ارتباطًا عاليًا في كل الفئات (بين 0.824 و0.977)، على عينة تقييم بشري من 254 سؤالًا في 13 فئة. وتذكر الورقة أن اتفاق المقيّمين البشر فيما بينهم كان أدنى (متوسط ارتباط 0.75)، وهو تذكير بأن الحكم البشري نفسه يحتاج معايرة. لكن ذلك على مهام لها إجابات مرجعية؛ وحين يغيب المرجع ويصبح الحكم على المقام والعرف، يصعب على المُحكِّم الآلي أن يكون أفضل من فهمه للهجة. وفي LabelBench، تدقيقنا القابل لإعادة الإنتاج، حقق نموذج لغوي محلي (a local language model) دقة مطابقة تامة (exact-match accuracy) قدرها 78% حين اختُزلت السمية العربية إلى «نعم أو لا»، ثم هبط إلى 25.3% على التصنيف متعدد الوسوم الفعلي، وإلى 22.4% في تحديد خمس مناطق لهجية (والتخمين العشوائي 20%)، على قائمة الاختبار الثابتة المحجوزة (fixed held-out manifest). التوسيم مهمة مختلفة عن التحكيم، لكن الدرس واحد: لا تسلّم الحكم على اللهجة لنموذج لم تختبره عليها. التفاصيل في مقالنا عن النماذج المحكِّمة بالعربية (بالإنجليزية).

الوصفة العملية: يصحح مقيّمون أصليون شريحة من بياناتك، ثم تقيس اتفاق المُحكِّم الآلي معهم لكل بُعد ولكل لهجة، ولا تؤتمت إلا ما بلغ فيه الاتفاق عتبتك، وتعيد الخلافات والفئات الحرجة إلى البشر. وأعد المعايرة كلما تغيّر النموذج المُحكِّم أو السلّم أو مزيج الاستخدام. والمنطق نفسه يحكم بيانات التفضيل التي تُبنى من هذه الأحكام؛ انظر دليل بيانات RLHF العربية.

تقييم أنظمة التوليد المعزز بالاسترجاع (RAG): هل أخطأ الاسترجاع أم الإجابة؟

حين تخطئ إجابة نظام RAG، ابدأ بسؤال واحد: هل أعاد الاسترجاع مقطعًا يجيب عن السؤال فعلًا؟ الجواب يحدد أي جزء من النظام يحتاج إلى الإصلاح. قيّم كل مقطع مسترجَع على سلّم متدرج (3 يجيب عن السؤال، و2 يجيب عن جزء منه، و1 يتناول الموضوع دون أن يجيب، و0 غير ذي صلة)، ثم قارن الإجابة بأفضل مقطع.

تتضمن مجموعتنا Arabic Retrieval Starter Kit (بالإنجليزية، وبياناتها اصطناعية، بترخيص CC BY 4.0) حالة اختبار لكل صف من هذه الصفوف. يسأل عميل باللهجة الخليجية: «أبي أرجّع الجوال اللي اشتريته قبل أسبوع، أقدر؟». تحصل سياسة الإرجاع الحالية للعملاء الأفراد، بنسختيها العربية والإنجليزية، على الدرجة 3: الإرجاع خلال 14 يومًا من الاستلام، في العبوة الأصلية ومع الفاتورة. ويحصل على الدرجة 0 مقطعان شبه متطابقين يُعدّان مثالين سلبيين صعبين: إصدار العام الماضي (7 أيام من الشراء، مع قبول العبوة المفتوحة وخصم رسوم إعادة تخزين قدرها 10٪)، وسياسة عملاء الشركات (30 يومًا بأمر شراء معتمد). الإجابة التي تذكر قاعدة الأيام السبعة خاطئة حتى لو وجد الاسترجاع السياسة الحالية أيضًا. وفي سؤال آخر عن جهاز اشتُري من متجر إلكتروني آخر، لا تغطيه أي سياسة، يكون السلوك الصحيح أن يوضح النظام ذلك ويسأل عن مكان الشراء أو يحيل العميل إلى الدعم، لا أن يطبق قاعدة الأيام الأربعة عشر.

سجّل لكل سؤال اختبار معرّفه ولغته وتنويعته اللغوية، وإصدار المدوّنة؛ ولكل مقطع مُقيَّم معرّفه وإصداره وتاريخ سريانه وحالته وفئة العملاء، مع الدرجة وسببها (بما في ذلك سبب خطأ المثال السلبي الصعب)؛ ثم الإجابة المتوقعة مع اقتباس حرفي من المقطع الداعم، والمقاطع التي يجب ألا تعتمد عليها، وهل للسؤال إجابة أصلًا. قيّم الاسترجاع مقابل الأحكام بأداة قياسية مثل trec_eval (مثلًا nDCG@10، وRecall@5 على المقاطع ذات الدرجتين 2 و3 فقط، أي -l 2 في trec_eval، مع عرض نتائج الأسئلة التي لا إجابة لها على حدة)، وقيّم الإجابات بشكل منفصل: تطابقها مع المقطع الداعم، واعتمادها على مقاطع ممنوعة، وامتناعها عن الإجابة حين لا تكفي المصادر. وأبقِ أسئلة الاختبار منفصلة عن بيانات التدريب.

اختيار الاستعلامات وقياس اتفاق المراجعين

جودة أحكام الصلة رهينة بجودة الاستعلامات التي تغطيها والمراجعين الذين يضعونها، وخطوتان تحسمان الأمرين معًا.

اختر الاستعلامات كما يكتبها المستخدمون. اسحب استعلامات الاختبار من سجلات البحث أو المحادثة الفعلية بعد حذف البيانات الشخصية منها، وقسّمها إلى طبقات قبل السحب: حسب التنويعة اللغوية (الفصحى، واللهجة السعودية أو غيرها من اللهجات الخليجية، والاستعلامات التي تمزج العربية بالإنجليزية، والعربيزي (Arabizi))، وحسب نوع الاستعلام (البحث عن معلومة، أو السؤال عن سياسة أو قاعدة، أو السؤال عن طريقة إنجاز أمر)، وحسب تكرار الاستعلام. واسحب العينة من الاستعلامات الفريدة، لا بحسب حجم حركة الاستخدام وحده، وإلا اختفت الاستعلامات النادرة وتلك المكتوبة بأخطاء إملائية خلف بضعة استعلامات شائعة. وأضف أسئلة لا تجيب عنها مستنداتك، وحدد حجم كل طبقة ستعرض نتيجتها وفق هوامش الخطأ في جدول حجم العينة أعلاه. ثم اختر المقاطع التي ستُقيَّم: اجمع أعلى النتائج من أكثر من مسترجِع، كنظام قائم على الكلمات المفتاحية (BM25) وآخر قائم على المتجهات الكثيفة (dense retrieval)، حتى لا تنحاز الأحكام إلى النظام الذي أعدّ قائمة المرشحين. وتعمّد البحث في المدوّنة عن الأمثلة السلبية الصعبة: الإصدارات الملغاة، والقواعد المشابهة الخاصة بفئة عملاء أخرى، والمقاطع التي تشترك مع الاستعلام في كلماته لا في إجابته.

قيّم عينة بمراجعَين اثنين وقِس الاتفاق. يقيّم مراجعان أصليان عينة عشوائية من أزواج الاستعلام والمقطع، موزعة على الطبقات نفسها التي تتوزع عليها المجموعة كاملة، كلٌّ منهما دون أن يرى درجة الآخر. ولأن الدرجات من 0 إلى 3 ترتيبية، استخدم مقياسًا يعدّ الخلاف بين 2 و3 أصغر من الخلاف بين 0 و3: معامل كابا الموزون لكوهين (weighted Cohen's kappa) لمراجعَين اثنين، ويمكن حسابه بالدالة cohen_kappa_score في مكتبة scikit-learn بضبط المعامل weights="quadratic"، أو معامل ألفا لكريبندورف (Krippendorff's alpha) على المستوى الترتيبي إذا زاد عدد المراجعين على اثنين أو غابت بعض الدرجات. ومن الأعراف الشائعة أن تُعدّ قيمة ألفا 0.80 فأكثر مُرضية، وأن ما بين 0.67 و0.79 لا يكفي إلا لاستنتاجات مبدئية (k-alpha.org). واحسب الاتفاق كذلك عند الحد الذي يعتمد عليه مقياسك، أي «ذو صلة» (الدرجتان 2 و3) مقابل «غير ذي صلة»، لأن هذا ما يحتسبه Recall@5، واعرضه لكل تنويعة لغوية: إذا اتفق المراجعون على استعلامات الفصحى واختلفوا في استعلامات اللهجة الخليجية، فنتائج اللهجة لا تصلح للاستخدام بعد. وحين يختلف المراجعان يحسم الخلاف مراجع ثالث، ويُسجَّل السبب، ويُوضَّح دليل التقييم؛ فإن جاء الاتفاق دون عتبتك فعدّل الدليل وأعد تقييم المقاطع قبل قياس أي نظام. وإن كان نموذج لغوي هو من يقيّم المقاطع، فأخضعه للاختبار نفسه مقابل درجات المراجعين الأصليين.

ومن المراجع العامة MIRACL، وهي تضم العربية بين لغاتها الثماني عشرة، وكل أحكام الصلة فيها صادرة عن متحدثين أصليين. لكن استعلاماتها كتبها متحدثون أصليون انطلاقًا من فقرات ويكيبيديا، ومقاطعها من ويكيبيديا، فهي تقيس الاسترجاع العام على نصوص موسوعية، لا أداءه على استعلامات مستخدميك باللهجة ولا على مستنداتك. أما أحكام Starter Kit الثلاثون فكتبها مؤلف واحد في أثناء إعداد بيانات المجموعة نفسها، ولذلك لا تعرض رقمًا للاتفاق: تعامل مع درجاتها على أنها مثال تطبيقي، وقِس الاتفاق على مجموعتك أنت بعد أن يقيّمها مراجعان.

قبل شراء بيانات استرجاع عربية: ثمانية فحوص للجهات في السعودية والإمارات

قد تكون أحكام الصلة دقيقة ومتفقًا عليها، ومع ذلك لا تصلح لنظامك: لأن عقد ترخيص المدوّنة لا يأذن بعرض مقاطعها، أو لأن الاستعلامات نُقلت من السجلات وفيها أسماء العملاء وأرقام هواتفهم، أو لأن النظام يجيب موظفيك من النسخة الإنجليزية لسياسة لم يُقيَّم إلا نصها العربي. اطلب من المورّد، أو من فريقك الداخلي، أن يردّ كتابيًا على كل بند من هذه البنود قبل توقيع العقد، ثم تحقّق منها عند استلام البيانات:

وإذا كان قرار الإطلاق سيُبنى على نتيجة الاسترجاع، فأدرِجها إلى مصفوفة القبول أدناه مع بقية نتائج التقييم، وحدّد عتباتها قبل قياس أي نظام.

ولبناء هذه الأحكام على مستنداتك أنت، راجع Bayanat Search: استعلامات عربية أو مختلطة على مصادر عربية أو إنجليزية، مع أحكام صلة متدرجة وأمثلة سلبية صعبة وإجابات مرتبطة بالأدلة وأسئلة بلا إجابة، من مصادر تأذن باستخدامها. ونشاركك قبل الإنتاج عينة من الأحكام وتعليلات المراجعين، بما فيها مواضع اختلافهم، لتراجعها بنفسك. وتُستضاف البيانات افتراضيًا داخل المنطقة، مع خيار السحابة الخاصة أو الاستضافة في مقر جهتك.

متى تحتاج تقييمًا مخصصًا لا معيارًا عامًا؟

المعايير العامة تكفي لتضييق القائمة من عشرة نماذج إلى ثلاثة. وتحتاج تقييمًا مخصصًا في أي من الحالات التالية:

• منتجك يتحدث بلهجة. مساعد يستقبل النجدية أو الحجازية أو المصرية يحتاج اختبار فهم وتوليد بتلك اللهجات تحديدًا، ولا يغطي أي معيار عام مزيج مستخدميك بنسبه.
• المجال منظَّم أو عالي المخاطر. البنوك والصحة والقانون والجهات الحكومية: الخطأ المقنع أخطر من الرفض، ولا يرصده إلا مختص.
• ضبطت النموذج ضبطًا دقيقًا. المعايير العامة لا تخبرك كيف تغيّر سلوكه بعد الضبط، ولا إن كان تحسن الفصحى قد جاء على حساب لهجة أو على حساب السلامة.
• النموذج يتخذ إجراءات. الوكيل الذي يلغي طلبًا أو يحجز موعدًا يُقيَّم بحالة النظام بعد المحادثة، لا بطلاقة رده. في مختبر موثوقية الوكلاء بالعربية، وهو إصدار تجريبي لمنهجية التقييم على مجموعة اختبار اصطناعية مفتوحة، أكد وكيل في إحدى المحاولات أنه ألغى طلبًا، بينما لم يستدعِ سوى أداة الاستعلام عن الطلب، وبقيت حالة الطلب في النظام «مُجهَّز للشحن» (packed). الرد الطليق ليس معاملة مكتملة. وهذه نتيجة تطوير لا نسبة دقة ولا شهادة اعتماد.
• ستبني قرارًا ماليًا أو تنظيميًا على النتيجة. اختيار مزوّد لسنوات، أو موافقة لجنة المخاطر، يحتاج نتائج خاصة غير منشورة، مع الأحكام الخام وسجل تدقيق.

مصفوفة قبول التقييم قبل الإطلاق في السعودية والإمارات

الدرجة في معيار عام لا تثبت الجاهزية. حين تطلب لجنة المخاطر أو فريق المشتريات في بنك أو جهة حكومية أو شركة اتصالات الموافقة على نموذج عربي، فالسؤال هو: هل يثبت التقييم أن النموذج يؤدي مهامك، بلهجات مستخدميك وبالسجلّ اللغوي المطلوب، وأن الأدلة على ذلك قابلة للمراجعة؟ اطلب من الجهة التي أجرت التقييم، داخلية كانت أو خارجية، أن تملأ هذه المصفوفة كتابيًا قبل أن يعتمد أحد النتيجة:

صنّف الإخفاقات قبل أن تحسب نسبة النجاح

نسبة النجاح الواحدة تخلط إخفاقات تختلف عواقبها. افصل أربعة أنواع، واعرض نتيجة كل نوع لكل لهجة على حدة:

• رفض غير ضروري. يرفض النموذج سؤالًا مشروعًا، كسؤال عميل عن رسوم تحويل دولي. لا يقدّم معلومة خاطئة، لكنه يحوّل العميل إلى مركز الاتصال ويضعف الثقة.
• إجابة غير مدعومة. يقدّم النموذج رقمًا أو شرطًا لا يرد في المستند أو السياسة التي يُفترض أن يستند إليها. هذا أخطر الأنواع في المجالات المنظَّمة لأنه يبدو مقنعًا.
• مهمة غير مكتملة. يرد الوكيل بطلاقة ويؤكد التنفيذ، لكن حالة النظام لم تتغير، أو التُقط التفصيل المصحَّح خطأً. يُقاس بحالة النظام بعد المحادثة، لا بنص الرد.
• سجلّ أو أسلوب غير مناسب. المعنى صحيح، لكن الرد بلهجة غير لهجة العميل، أو بفصحى متكلفة في قناة محادثة، أو بعبارات مترجمة. يؤثر في تجربة العميل أكثر مما يؤثر في السلامة.

ثم أعطِ كل إخفاق مستوى خطورة (مثال توضيحي): حرج لإجابة غير مدعومة أو معلومة مالية أو قانونية أو صحية خاطئة، أو إجراء نُفّذ دون تأكيد، ومرتفع لمهمة غير مكتملة أُبلغ العميل بإتمامها، ومتوسط لرفض غير ضروري، ومنخفض لسجلّ غير مناسب مع معنى صحيح. والإخفاق الحرج يُحسب منفصلًا ولا يعوّضه ارتفاع النسبة الإجمالية.

ورقة اعتماد فارغة (توضيحية)

العتبات قرارك أنت لا قرار المورّد. حددها قبل تشغيل أي نموذج، ثم اطلب أن تُملأ الورقة بالنتائج:

كيف تختلف الخلايا بين السوقين؟ (مثال توضيحي) مساعد بنكي في الرياض قد يحتاج خلايا للنجدية والحجازية والفصحى. وقناة خدمة عملاء في دبي أو أبوظبي قد تحتاج خلايا للإماراتية والفصحى، وللرسائل التي تمزج العربية بالإنجليزية، ولتنويعات عربية أخرى يكتب بها جزء من المستخدمين. احسب حجم العينة لكل خلية بجدول «كم بندًا تحتاج لكل لهجة؟» أعلاه، ولا تقبل أن تُدمج خلايا السوقين في رقم واحد.

لماذا Bayanat Bench الخيار الأول للتقييم العربي الخاص؟

بعد أن تؤدي المعايير العامة دورها في تضييق القائمة، تأتي مجموعة الاختبار الخاصة التي تقوم عليها المصفوفة أعلاه. وهنا تكون Bayanat Labs الخيار الأول، لأن منتجنا تقييم الذكاء الاصطناعي بالعربية مصمم لهذه المرحلة تحديدًا:

• مجموعات جاهزة أو مجموعة خاصة من مورد واحد. رخّص مجموعات تقييم عربية جاهزة إلى جانب مجموعة كلام الهواتف الذكية العربية (بالإنجليزية)، أو اطلب مجموعة اختبار تُبنى من المهام والتنويعات العربية وأحجام العينات والمقاييس التي تختارها. ونرسل الإصدارات والتغطية المتاحة للمجموعات الجاهزة عند الطلب.
• المعزول يبقى معزولًا. تبقى عناصر التقييم المعزولة منفصلة عن تسليمات التدريب، مع تحديد الوصول والإصدارات لكل مشروع، فيبقى الاختبار مفيدًا عبر إصدارات النموذج.
• مقيّمون أصليون من شبكة تغطي أكثر من 25 لهجة وتنويعة عربية. في المجموعات المخصصة يكتب البنود ويقيّمها متحدثون أصليون مدقَّقون ولغويون ومختصون مرخّصون في مجالاتهم، يجتازون فحص اللهجة والمجال أولًا. التفاصيل في خدمات تقييم نماذج اللغة العربية.
• تقييم معايَر مع سجل تدقيق. يُعايَر العمل على مجموعات ذهبية، مع تحكيم للخلافات وحلقات إعادة عمل وسجل تدقيق لكل مهمة.
• نتائج لا درجة واحدة. يمكن أن تتضمن التقارير المخصصة أمثلة الإخفاق ومستويات الخطورة وعدم اليقين واختلاف المراجعين والتغيرات بين إصدارات النموذج، وهي من المحاور التي تطلبها المصفوفة أعلاه. اطلب مثالًا على صيغة التقرير.
• بياناتك في المنطقة، ولا مصلحة لنا في نموذج بعينه. استضافة داخل المنطقة افتراضيًا، مع خيارات داخل منشأتك أو على سحابة خاصة. نعمل في البيانات فقط ولا ننافس نموذجك. ويُسلَّم المشروع التجريبي محدد النطاق، بضبط جودة على مجموعة ذهبية وتقرير جودة أو تقرير معياري، خلال أسبوعين في العادة.

يقدّم Bench نتائج مقيسة ولا يصدر شهادات اعتماد. ويصف LabelBench (بالإنجليزية) ومختبر موثوقية الوكلاء بالعربية (إصدار تجريبي للمنهجية، بالإنجليزية) دراسات محددة، ودرجاتهما ليست تقييمًا لمنتجات الكتالوج.