قياس أداء سير العمل بالذكاء الاصطناعي قبل توسيعه
لماذا ينبغي قياس استهلاك وحدات النص وإتمام المهام وحفظ الأدلة قبل إطلاق ادعاءات واسعة عن قيمة الأتمتة؟
المنهج
احتفظنا ببيانات الاستخدام لكل استدعاء للنموذج، ثم حسبنا مجموع وحدات النص المُدخلة والناتجة في العينة. ويقتصر استخدامها على التحقق من أدوات القياس، ولا نعدّها معيارًا للأداء.
الملاحظات المسجّلة
- سُجّلت أربعة استدعاءات للنموذج وقيس الاستخدام في كل منها.
- استهلكت العينة 6,838 وحدة نصية مُدخلة وأنتجت 1,811 وحدة نصية.
- لا يثبت قياس الاستخدام وحده صحة المخرجات، أو الجدوى قياسًا إلى التكلفة، أو وجود أثر في الأعمال.
- ينبغي أن يربط التقييم كل استدعاء للنموذج بنتيجة المهمة، والجهد المبذول لتصحيحها، وزمن الاستجابة، وقرار القبول أو طلب المساعدة أو التوقف.
تفسير النتائج
تساعد العينات الصغيرة المصحوبة بقياسات على اختبار طريقة جمع الأدلة. وتفيد في تحسين أدوات القياس، لكنها لا تسوّغ المبالغة في وصف الأداء. وتضيف المرحلة التجريبية التالية مهام محددة سلفًا وتسميات لنتائجها.
بيانات مجمّعة
| البُعد | المقياس | العدد |
|---|---|---|
| الاستخدام | استدعاءات النموذج التي قيس استخدامها | 4 |
| الاستخدام | وحدات النص المُدخلة | 6,838 |
| الاستخدام | وحدات النص الناتجة | 1,811 |
أسئلة لمزيد من البحث
- كم تستغرق مراجعة كل إجابة مقبولة من نموذج الذكاء الاصطناعي؟
- ما حقول السياق التي تزيد تكلفة وحدات النص من دون تحسين القرارات؟
- عند تساوي الميزانيات، كيف يقارن أداء سير العمل بنموذج واحد بأدائه مع عدة وكلاء يعملون بالتنسيق؟