قواعد وفحوص تُضاف حول نموذج الذكاء الاصطناعي لمنعه من ردود أو أفعال غير مرغوبة أو خطرة.
الضوابط الوقائية هي طبقة حماية حول النموذج. قد تكون تعليمات في تعليمات النظام، أو فحصًا آليًا لمدخلات المستخدم قبل وصولها للنموذج، أو فحصًا للرد قبل عرضه، أو حدودًا على الأدوات التي يستطيع الوكيل استخدامها. الهدف أن يبقى السلوك ضمن ما تريده.
أي تطبيق يواجه الجمهور يحتاجها. بدونها قد يكشف المساعد معلومات داخلية، أو يرد على مواضيع لا علاقة لها بعملك، أو ينفّذ إجراء حساسًا بناء على طلب متحايل. والوكلاء الذين يملكون أدوات يحتاجون ضوابط أقوى من المساعدات التي تجيب فقط. نصيحة عملية: لا تعتمد على التعليمات النصية وحدها، فيمكن الالتفاف عليها. ضع القيود المهمة في الكود نفسه: صلاحيات محددة، وحدود للمبالغ، وموافقة بشرية للإجراءات التي لا يمكن التراجع عنها.
مثالمساعد متجر يرفض طلب «أعطني بيانات آخر عميل اشترى»، والكود نفسه لا يسمح لأداة البحث بإرجاع بيانات عملاء آخرين أصلًا.
كل المصطلحات