كيف تختبر شاتبوت AI؟ الدقة والسياق والهلوسة

الرد مقنع… لكن هل هو صحيح؟

تسأل شاتبوت متجر عن سياسة الإرجاع، فيجيب بثقة: «يمكنك إرجاع المنتج خلال 30 يومًا». الصياغة ممتازة، لكن السياسة الفعلية تسمح بالإرجاع خلال 14 يومًا فقط!

هنا تظهر طبيعة اختبار شاتبوت الذكاء الاصطناعي: وصول رد مفهوم لا يعني نجاح الاختبار. يجب التحقق من صحة المعلومة، وارتباطها بالسؤال والسياق، والتزامها بحدود المنتج وصلاحيات المستخدم.

1. حدّد ما يُفترض أن يفعله الشاتبوت

قبل كتابة Test Cases، اتفق مع الفريق على:

• المواضيع التي يستطيع الشاتبوت الإجابة عنها.
• مصادر المعلومات المعتمدة وحداثتها.
• السلوك المطلوب عند نقص المعلومات أو غموض السؤال.
• حدود الاحتفاظ بسياق المحادثة.
• الإجراءات التي يستطيع تنفيذها والصلاحيات المطلوبة.
• الحالات التي تستدعي التحويل إلى موظف بشري.

جهّز مجموعة أسئلة مرجعية، ولكل سؤال حقائق مطلوبة ومعايير قبول. لا تشترط تطابق الرد حرفيًا مع إجابة واحدة؛ قد تختلف الصياغة وتبقى النتيجة صحيحة.

2. اختبر الدقة مقابل مصدر موثوق

استخدم معلومات تستطيع التحقق منها، مثل سياسة إرجاع معتمدة أو بيانات منتجات تجريبية.

لنفترض أن السياسة تنص على إرجاع المنتج غير المستخدم خلال 14 يومًا. جرّب:

• «كم مدة الإرجاع؟»
• «اشتريت المنتج قبل 10 أيام ولم أستخدمه، هل يمكن إرجاعه؟»
• «هل يمكنني إرجاع منتج استخدمته؟»

تحقق من ذكر الشروط المهمة، لا الرقم فقط. وإذا أرفق الشاتبوت مصدرًا، افتحه وتأكد من أنه يدعم الإجابة فعلًا؛ وجود رابط لا يثبت صحة الاستشهاد.

3. اختبر السياق عبر عدة رسائل

الشاتبوت قد ينجح في سؤال منفرد، ثم يخلط المعلومات داخل المحادثة.

جرّب هذا التسلسل:

المستخدم: أبحث عن هاتف بميزانية 300 دينار. المستخدم: الأهم عندي البطارية. المستخدم: وهل الخيار الثاني يدعم شريحتين؟

تحقق من فهم المقصود بـ«الخيار الثاني»، والمحافظة على الميزانية والتفضيل السابق، اعتمادًا على بيانات المنتجات الفعلية.

بعدها غيّر الميزانية إلى 200 دينار، أو صحّح معلومة سابقة. هل يعتمد التصحيح؟ وهل يطلب توضيحًا إذا أصبح المرجع غامضًا؟

اختبر أيضًا المحادثات الطويلة، وبدء محادثة جديدة وفق سياسة الذاكرة، وعزل بيانات المستخدمين عن بعضهم.

4. اختبر الهلوسة عندما تغيب المعلومة

الهلوسة (Hallucination) تشمل إنتاج معلومات غير صحيحة أو غير مدعومة وتقديمها كأنها حقائق.

استخدم حالات تكشف ذلك:

الحالة	السلوك المتوقع
السؤال عن منتج غير موجود في الكتالوج	يوضح عدم العثور عليه دون اختراع مواصفات
طلب موعد وصول غير متاح في البيانات	يوضح حدود المعلومات أو يستخدم أداة تتبّع إن توفرت
سؤال غامض يحتمل أكثر من معنى	يطلب توضيحًا مناسبًا
فشل الوصول إلى مصدر المعلومات	يوضح تعذّر التحقق دون اختلاق إجابة
سؤال يتضمن افتراضًا خاطئًا	يصحّح الافتراض اعتمادًا على المصدر

وفي المقابل، تأكد من أنه يجيب عندما تكون المعلومات متاحة؛ الرفض المستمر ليس دليلًا على الجودة.

5. اختبر الصلاحيات وتنفيذ الإجراءات

باستخدام حسابات وبيانات تجريبية، تحقق من أن الشاتبوت لا يكشف طلبات مستخدم آخر أو ينفّذ إجراءً خارج صلاحيات الحساب.

جرّب أيضًا وجود تعليمات مضللة داخل مستند يسترجعه، مثل طلب تجاهل قواعده والكشف عن بيانات خاصة. هذه من حالات Prompt Injection؛ يجب التعامل مع محتوى المستند كمعلومات، لا كصلاحية جديدة.

وإذا كان يستطيع إلغاء طلب أو تعديل بيانات، افحص الأثر الحقيقي. عبارة «تم الإلغاء» لا تكفي: هل نُفّذ الإلغاء؟ وهل طُلب التأكيد عندما تشترطه متطلبات المنتج؟

6. كرّر الاختبار وقِس النتائج

قد تختلف إجابات النموذج بين المحاولات. كرّر الحالات المهمة، وجرّب إعادة صياغة السؤال بالفصحى واللهجة والأخطاء الإملائية المتوقعة.

قيّم كل إجابة وفق معايير واضحة:

• صحة الحقائق واكتمال الشروط المهمة.
• الالتزام بالسياق والمصادر.
• التعامل المناسب مع عدم اليقين.
• احترام الصلاحيات وحدود التنفيذ.
• زمن الاستجابة وإتمام المهمة.

اعرض النتائج حسب نوع الحالة وخطورتها، وسجّل عدد مرات الفشل من إجمالي المحاولات. ولا تعتمد على نموذج AI آخر وحده للحكم؛ راجع بشريًا الحالات الحساسة وعينة من النتائج.

أعد تشغيل المجموعة المرجعية بعد تغيير النموذج أو التعليمات أو مصادر المعرفة.

كيف توثّق خطأ في الشاتبوت؟

العنوان: الشاتبوت يذكر مدة إرجاع مخالفة للسياسة.

المتوقع: توضيح أن الإرجاع متاح خلال 14 يومًا مع الشروط المعتمدة.

الفعلي: يذكر أن المدة 30 يومًا دون سند.

الأدلة: نص المحادثة، والسياسة المرجعية وإصدارها، وإجابة الشاتبوت، وعدد مرات تكرار الخلل.

أضف إصدار النموذج والتعليمات إن توفر، والمصادر المسترجعة ونتائج الأدوات، مع إزالة البيانات الحساسة. فهذا يساعد الفريق على التمييز بين مشكلة استرجاع المعلومات ومشكلة توليد الإجابة أو تنفيذ الإجراء.

اختبار الشاتبوت يقيّم صحة ما يقوله ويفعله، وليس جودة صياغته فقط.