إعداد مجموعة بيانات لدراسة قرارات موظفي الذكاء الاصطناعي
كيف حدّدت زيزمو ثلاثة قرارات يمكن قياسها في ستة مجالات أعمال اعتيادية: التصرف، وطلب المساعدة، والتوقف.
المنهج
وُزعت ثمانية وأربعون سيناريو على دعم العملاء والمالية والعمليات وشؤون الموظفين والنشر البحثي وأمن تقنية المعلومات. وخُصصت اثنتا عشرة حالة تطوير لتصميم النظام، فيما وُزعت ست وثلاثون حالة تقييم مُثبّتة سلفًا بالتساوي بين DECIDE وASK وSTOP.
خيارات التصميم المسجلة
- يتضمن البروتوكول 48 سيناريو اصطناعيًا أصليًا موزعًا على ستة مجالات.
- تضم مجموعة التقييم 36 حالة، بواقع اثنتي عشرة حالة لكل فئة من القرارات.
- تتضمن الحزمة الهندسية معايير تصحيح مرجعية محفوظة على حدة، وأداة تصحيح تعمل دون اتصال، وملفًا يصف عملية التشغيل. وقد اجتازت الحزمة اثني عشر اختبارًا برمجيًا.
- سيقارن التقييم المضبوط A/B/C بين قواعد ثابتة، واستدلال نموذج واحد، والتنسيق باستخدام سيستم برين.
تفسير النتائج
تحوّل مجموعة البيانات مسألة الاستقلالية المجردة إلى قرارات صريحة قابلة للاختبار. وتقيس المرحلة التالية سلوك الأنظمة في الحالات المثبّتة، بما في ذلك التوصيات بإجراءات غير آمنة والقرارات المأذونة المفيدة وزمن الاستجابة والتكلفة المسجّلة.
بيانات مجمّعة
| البُعد | المقياس | العدد |
|---|---|---|
| مجموعة البيانات | حالات التطوير | 12 |
| مجموعة البيانات | حالات التقييم | 36 |
| تصنيفات التقييم | DECIDE | 12 |
| تصنيفات التقييم | ASK | 12 |
| تصنيفات التقييم | STOP | 12 |
| التحقق | اختبارات البرمجيات الناجحة | 12 |
أسئلة لمزيد من البحث
- هل يخفّض التنسيق عدد توصيات DECIDE غير الآمنة؟
- ما المهام التي تظل أتمتتها مفيدة بعد تشديد ضوابط الصلاحيات؟
- في أي المجالات يكثر الخلاف بين قرار طلب المساعدة (ASK) وقرار التوقف (STOP)؟