Hugging Face تعرض ProvenanceGuard للتحقق من مصدر إجابات وكلاء MCP

أعلنت Hugging Face عن ورقة بحثية جديدة بعنوان ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents، وتركّز على مشكلة «الخلط بين المصادر» في وكلاء الذكاء الاصطناعي الذين يستخدمون أدوات متعددة. الفكرة الأساسية أن العبارة قد تكون صحيحة في أحد الأدلة، لكن تُنسب إلى مصدر آخر، وهو خطأ قد يمرّ في الفحص إذا جُمعت كل الأدلة في سياق واحد.

ProvenanceGuard يعمل كطبقة تحقق بعد التوليد فوق وكيل MCP يعمل كصندوق أسود. بعد أن ينتج الوكيل الإجابة، يفكّك النظام الإجابة إلى ادعاءات منفصلة، ويطابق كل ادعاء مع المصدر الأكثر صلة، ثم يتحقق مما إذا كان هذا المصدر يدعمه فعلاً، ويقارن ذلك بالمصدر الذي ذكرته الإجابة أو ألمحت إليه. بعدها يصدر قراراً لكل ادعاء، إضافة إلى قرار نهائي بالسماح أو الحجب.

في التجارب، استخدمت الورقة إعداداً محلياً يضم MiniLM لتحديد المصدر الأقرب، ونموذج DeBERTa للتحقق من الدعم، ونموذجاً لغوياً محلياً لتقسيم الإجابات إلى ادعاءات. كما شدد النظام على القيم الحرفية مثل الأرقام والتواريخ والمعرّفات، بحيث لا يمرّ أي عنصر غير موجود في المصدر لمجرد أن الصياغة تبدو معقولة. وإذا حُجبت الإجابة، يمكن تمريرها عبر إصلاح على نمط RARR ثم إعادة فحصها.

اختُبر النظام على وكلاء طبيين استخدموا سجلات مرضى ومقالات بحثية وأدوات أخرى، مع 281 أثر تتبع واقعي و361 ادعاء راجعها خبراء بشرياً من 40 إجابة. ووفق النتائج، رصد ProvenanceGuard 138 من أصل 139 ادعاءً اعتبرها الخبراء غير صالحة، وأظهر دقة تقارب 86% في اختيار المصدر الصحيح عندما يكون المصدر قابلاً للتحديد. وتقول Hugging Face إن أهمية النظام تكمن في جعل صحة النسبة إلى المصدر جزءاً من الفحص، لا مجرد صحة المعلومة نفسها، خصوصاً في البيئات الحساسة للبيانات.