المعيار العربي ليس ترجمة.
Mecha AI تضع وتختبر المعيار (Benchmark) للمحتوى العربي — لأن جودة الذكاء الاصطناعي بالعربية يجب أن يحكم عليها العرب، بأسئلتهم ولهجاتهم وتخصصاتهم.
لماذا نحتاج معياراً عربياً؟
تُبنى أغلب مقاييس تقييم النماذج بالإنجليزية ثم تُترجم، فتضيع فروق اللغة والثقافة: الإعراب والبلاغة، والفروق بين اللهجات، والسياق الشرعي والقانوني والطبي المحلي. نموذج يتصدر الترتيب العالمي قد لا يكون الأفضل لمستخدم في القاهرة أو الرياض أو الدار البيضاء. هدف Arab Arena أن تعطي إجابة صادقة وقابلة للقياس على سؤال: أي نموذج أفضل لنا نحن؟
كيف تعمل الساحة
1. المواجهة المجهولة
يكتب المستخدم سؤالاً ويختار فئته (لهجة أو تخصص). يختار النظام نموذجين عشوائياً، ويرسل السؤال لهما في الوقت نفسه، ويعرض الردّين دون كشف الهوية. بعد التصويت (أ أفضل / ب أفضل / تعادل / الاثنان ضعيفان) تُكشف الأسماء. فقط أصوات المواجهات المجهولة تدخل الترتيب الرسمي؛ المقارنة المكشوفة والمحادثة المباشرة لا تُحتسب.
2. نموذج الترتيب: Bradley–Terry
نقدّر «قوة» كل نموذج من مجموع المواجهات بنموذج Bradley–Terry الإحصائي، ونحوّلها لمقياس نقاط شبيه بـ Elo (المتوسط الهندسي = 1000). التعادل و«الاثنان ضعيفان» يُحسبان نصف فوز لكل طرف.
3. فترات الثقة والمراكز
نحسب فترة ثقة 95% لكل نموذج بإعادة المعاينة (bootstrap). إذا تداخلت فترتا نموذجين قد يتشاركان المركز نفسه — لأن الفرق بينهما غير مؤكد إحصائياً. النماذج ذات الأصوات القليلة تُعلَّم «مبدئي».
4. ترتيب لكل فئة
لكل لهجة وتخصص (الفصحى، المصرية، الخليجية، الشامية، المغاربية، العراقية، الشعر، النحو، العلوم الشرعية، القانون، الطب، البرمجة…) ترتيب مستقل، إضافة للترتيب العام.
5. ساحات متعددة الوسائط
نص، برمجة وويب (النموذج يبني صفحة كاملة تُعرض حيّة)، رؤية (صورة + سؤال)، توليد صور من وصف عربي، وبحث متصل بالإنترنت — والفيديو والصوت في خطة الإطلاق.
النماذج قبل الإطلاق
بالتعاون مع المختبرات، تدخل نماذج غير معلنة الساحة تحت أسماء رمزية. يقيّمها الجمهور وخبراء الطليعة بنفس القواعد. لا تظهر في الترتيب العام حتى إطلاقها الرسمي وموافقة المختبر.
برنامج الطليعة: الخبير هو الحكم
نعتمد مُقيِّمين بعد مراجعة السيرة الذاتية واختبار تقييم. أصوات الطليعة تُستخدم لتقارير متخصصة دقيقة في مجالاتهم، ولمراقبة جودة الأصوات العامة.
النزاهة وحماية البيانات
- حدود استخدام لكل حساب ومنع التصويت المتكرر على نفس الجولة.
- عناوين IP تُحفظ مشفّرة (hash) لأغراض مكافحة التلاعب فقط.
- مفاتيح النماذج مشفّرة على الخادم ولا تصل للمتصفح أبداً.
- المحادثات تُستخدم لبناء المعيار؛ لا تكتب بيانات شخصية أو سرية.