تكاملات الذكاء الاصطناعي

التقييم أولًا، وإلا فلا تبدأ

نمط فشل ميزات الذكاء الاصطناعي محدّد ومتوقَّع: العرض التجريبي رائع، والميزة تُطلق، ولا أحد يستطيع أن يقول هل تعمل. تصير الجودة مسألة رأي، وتصير الانتكاسات غير مرئية، ويصير كل تعديل على التوجيه مقامرة لا يمكن تسعيرها.

لذلك نبني منظومة التقييم قبل الميزة. مجموعة مرجعية مأخوذة من حالاتك الحقيقية، ومعيار لما يُعدّ إجابة جيدة في مجالك — وهذا سؤال مجال لا سؤال تعلّم آلي — وتشغيل مُقيَّم يمكنك تكراره. بعدها يصير تغيير التوجيه أو النموذج تجربةً لها نتيجة، لا انطباعًا متحوّلًا.

وهذا أيضًا ما يجعل العمل قابلًا للدفاع عنه أمام من يعتمده. عبارة «يبدو أفضل» لا تصمد في اجتماع مجلس إدارة، أما المقارنة المُقيَّمة فتصمد.

الاسترجاع ليس مشكلة نموذج في الغالب

معظم ميزات الاسترجاع المعزَّز تفشل عند طرف الاسترجاع لا عند طرف التوليد. يُسأل النموذج سؤالًا معقولًا، ويُسلَّم المقاطع الخمسة الخطأ، فينتج إجابة سلسة مبنية عليها. من الخارج يبدو ذلك هلوسة، وهو في الحقيقة مشكلة بحث مُتنكّرة.

لذلك يتركّز العمل هناك: كيف تُقسَّم المستندات، وما الذي يُفهرَس، وكيف تُوسَّع الاستعلامات، وكيف تُعاد ترتيب النتائج قبل أن يصل أي شيء إلى نموذج. والمحتوى العربي يضيف تعقيداته: تنوّع الرسم الإملائي، والتشكيل، وتقطيع نصّي تخدمه الإعدادات الجاهزة أسوأ مما تخدم الإنجليزية. وهذا يستحق الاختبار على مجموعتك النصّية لا الافتراض.

أن يعرف متى لا يُجيب

النظام الذي يُنتج إجابة دائمًا سيُنتج إجابات خاطئة بثقة. والسلوك ذو القيمة هو العكس: أن يميّز السؤال الذي لا ينبغي له محاولته، فيحيله إلى إنسان أو إلى مسار حتمي أو إلى «لا أعرف» صريحة.

وهذا الحدّ قرار منتج لا قرار تقني، ويستحق أن يُتخذ صراحة. فكلفة الإجابة الخاطئة في مساعد دعم ليست كلفتها في أي شيء يمسّ المال أو التزامًا قانونيًا — والتراجع ينبغي أن يعكس ذلك.

وكل شيء يذهب إلى الإنتاج بسجلّات تتيح لك أن ترى ماذا فعل ولماذا. ميزة ذكاء اصطناعي لا تستطيع فحصها لاحقًا هي ميزة لا تستطيع تحسينها.

ما الذي يُسلَّم

• منظومة تقييم بمجموعة مرجعية من حالاتك الحقيقية ومعيار خاص بمجالك.
• طبقة الاسترجاع — التقسيم والفهرسة ومعالجة الاستعلام وإعادة الترتيب — مُختبَرة على مجموعتك النصّية، بالعربية أيضًا.
• الوكيل أو الميزة نفسها، بحدود صريحة لما لن يحاوله.
• مسارات تراجع آمنة للحالات التي يمتنع عنها.
• سجلّات إنتاج وخطّ أساس مُقيَّم، ليُقارَن التغيير التالي بهذا.

كيف نعمل

الاستوديو يبني منتجاته ويشغّلها، ومن هناك جاء إصرارنا على القياس. والمبدأ نفسه مطبّق في مواضع أخرى من هذا الموقع: techiato.org وموقع عمارتي ينشران فهرسًا قابلًا للقراءة آليًا وملخّصًا نصّيًا لنماذج اللغة، لأن أن تكون مصدرًا يستشهد به مساعد ذكي قناة تستحق الهندسة لا مجرّد الأمل.

دراسة حالة مناديب

أسئلة متكرّرة