مرحلة استخدام النموذج المدرّب فعليًا لإنتاج إجابة على طلب جديد، وهي ما تدفع تكلفته في كل استخدام.
حياة النموذج لها مرحلتان: التدريب، وهو تعليمه من البيانات مرة واحدة أو على فترات، ثم الاستدلال، وهو تشغيله للرد على طلبات حقيقية. كل مرة يسأل فيها مستخدم تطبيقك سؤالًا، تحدث عملية استدلال على خوادم مزوّد النموذج أو خوادمك. ولهذا تُحسب تكلفة معظم خدمات الذكاء الاصطناعي على أساس الاستخدام الفعلي.
في تطبيقك، الاستدلال هو ما يحدد التكلفة الجارية وسرعة الرد. النماذج الأكبر غالبًا أذكى لكنها أبطأ وأغلى في كل طلب، والنماذج الأصغر أسرع وأرخص وقد تكفي لمهام بسيطة كالتصنيف أو التلخيص القصير. نصيحة عملية: لا تستخدم أقوى نموذج لكل شيء. وزّع المهام: نموذج صغير وسريع للمهام البسيطة المتكررة، ونموذج أقوى للمهام المعقدة فقط. وراقب عدد الطلبات وحجمها لتفهم مصدر التكلفة.