برای پایش مدل هوش مصنوعی صنعتی، کیفیت ورودی، تغییر توزیع ورودی یا پیشبینی و عملکرد در برابر نتایج مرجعِ تأییدشده را جدا بررسی کنید. تغییر توزیع به‌تنهایی افت عملکرد را ثابت نمی‌کند؛ میانگین ثابت هم می‌تواند خطاهای مهم را پنهان کند. پوشش و تأخیر برچسبها، ترکیب محصول و مسئول پیگیری را مشخص نگه دارید. مثال فرضی این مقاله، نتایج کامل را با تصویری اولیه و ناقص مقایسه میکند تا پیش از بررسی، تنظیم مجدد یا آموزش دوباره، حدود نتیجه‌گیری روشن باشد.
هشدار تغییر داده را از نتیجه‌گیری درباره عملکرد جدا کنید.
پیش از محاسبه خطا، پوشش نتایج تأییدشده را بررسی کنید.
برای هر علامت پایش، بررسی مشخص و مسئول تعیین کنید.
پیش از تعیین آستانه هشدار، نوع علامت را مشخص کنید
مستندات پایش مدل Microsoft، تغییر توزیع داده، تغییر توزیع پیشبینی، کیفیت داده و عملکرد در برابر نتیجه مرجع را جدا میکند. هرکدام به ورودی متفاوتی نیاز دارد. تغییر روشنایی تصاویر دوربین می‌تواند واقعی باشد، بدون اینکه کاهش توان تشخیص عیب را ثابت کند.
برای تصمیم تولید، تصاویر مفقود، واحدهای نامعتبر، نسخه محصول، تغییر نور، تنظیم دوربین، نسخه مدل و آستانه را هم ثبت کنید. قطع جریان داده حسگر با تغییر تدریجی جمعیت محصولات، دو مسئله متفاوت است.
تصویر اولیه با برچسب ناقص را وارد مقایسه نهایی نکنید
گروه فعلیِ مثال، ۱۰۰۰ قطعه بازرسی‌شده دارد. در بررسی اول، نتیجه نهایی فقط برای ۲۰۰ قطعه تأیید شده است. بررسی این ۲۰۰ قطعه در اولویت بوده؛ بنابراین نتایجشان نمونه تصادفی و نماینده ۸۰۰ قطعه باقی‌مانده نیست.
پوشش برچسب ۲۰۰ از ۱۰۰۰ و قاعده انتخاب را گزارش کنید. ۲۰۰ قطعه بررسیشده را معادل کل تولید فعلی نگیرید و ۸۰۰ قطعه دیگر را سالم فرض نکنید. در سابقه فرضی، نتیجه همه قطعات بعداً تکمیل می‌شود؛ مقایسه زیر فقط از گروه کامل استفاده میکند.
گروه‌های کامل را با تعریف‌های سازگار مقایسه کنید
خط مبنا و گروه فعلیِ تکمیل‌شده، هرکدام ۱۰۰۰ قطعه دارند: ۵۰ قطعه معیوب و ۹۵۰ قطعه سالم طبق بررسی مرجع. خط مبنا ۴۵ عیب را پیدا میکند، ۵ عیب را از دست میدهد و ۱۹ قطعه سالم را اشتباه علامت می‌زند. گروه فعلی ۴۰ عیب را پیدا میکند، ۱۰ عیب را از دست میدهد و ۳۸ قطعه سالم را اشتباه علامت می‌زند.
حساسیت از ۴۵ از ۵۰، یعنی ۹۰٪، به ۴۰ از ۵۰، یعنی ۸۰٪ می‌رسد. نرخ علامت‌گذاری اشتباه قطعات سالم از ۱۹ از ۹۵۰، یعنی ۲٪، به ۳۸ از ۹۵۰، یعنی ۴٪ می‌رسد. این تفاوت‌ها در مثال آموزشی ارزش بررسی دارند. تعداد کم عیب‌ها، عدم‌قطعیت نمونه‌گیری و تفاوت شرایط کار اجازه نمی‌دهد فقط از این درصدها علت را با اطمینان تعیین کنیم.
حساسیت سهم عیب‌های پیدا‌شده است؛ FPR سهم سالم‌های اشتباه علامت‌خورده است. TP عیب پیدا‌شده، FN عیب ازدست‌رفته، FP سالمِ اشتباه علامت‌خورده و TN سالمِ درست تشخیص‌داده‌شده است. برچسب ناقص یا گزینشی، مخرج کل گروه را فراهم نمی‌کند.
| نتیجه گروه کامل | خط مبنا | گروه فعلی |
|---|---|---|
| معیوب / سالم طبق مرجع | 50/950 | 50/950 |
| عیب شناسایی‌شده / عیب ازدست‌رفته | 45/5 | 40/10 |
| سالمِ اشتباه علامت‌خورده / سالمِ درست تشخیص‌داده‌شده | 19/931 | 38/912 |
| حساسیت | 90% | 80% |
| نرخ علامت‌گذاری اشتباه سالم‌ها | 2% | 4% |
| قطعات علامت‌گذاری‌شده برای بررسی | 64 | 78 |
پیش از آموزش دوباره، تغییر را بررسی کنید
اعتبار ورودی، روش برچسب مرجع، ترکیب محصول، شرایط تصویر، نسخه آستانه و تغییر فرایند کار را بررسی کنید. جابه‌جایی شاخص روشنایی می‌تواند بررسی دوربین یا نور را لازم کند. آموزش دوباره در همان ابتدا ممکن است خرابی تنظیمات را پنهان کند یا خطای موقت را به مدل یاد بدهد.
راهنمای پایش تغییر مدل را در فرایند گسترده‌تر کیفیت پیش‌بینانه به کار ببرید. اگر بدون تغییر وزن‌های مدل، موازنه خطا عوض شده، تحلیل آستانه بازرسی را بررسی کنید. تغییر آستانه هم به اعتبارسنجی و اختیار تأیید نیاز دارد.
- نسخه شرایط کار را ثبت کنید
دوربین، پیش‌پردازش، مدل، آستانه و وضعیت محصول را ثبت کنید.
- پوشش داده و برچسب را بررسی کنید
ورودی نامعتبر، تغییر توزیع و نتیجه ناقص را جدا نگه دارید.
- علامت مشخصی را پیگیری کنید
مسئول تعیین کنید و علت‌های محتمل را با شواهد نماینده بررسی کنید.
- پاسخ انتخاب‌شده را اعتبارسنجی کنید
تعمیر، تنظیم مجدد، آموزش دوباره یا عدم تغییر را با داده ارزیابی‌ای بیازمایید که در توسعه استفاده نشده است.
تناوب پایش را با پیامد و زمان رسیدن شواهد تنظیم کنید
مدلی که تولید سریع را بازرسی میکند ممکن است به کنترل فوری کیفیت ورودی نیاز داشته باشد، درحالی‌که نتیجه نهایی محصول چند روز بعد برسد. برای این علامت‌ها زمان پاسخ متفاوت بگذارید. برای رسیدگی به نبود شواهد بازرسیِ الزامی، منتظر داشبورد هفتگی تغییر مدل نمانید.
معیار هشدار و روش جایگزین را با مسئولان کیفیت و عملیات تعیین کنید. چارچوب مدیریت ریسک هوش مصنوعی NIST، اندازه‌گیری و مدیریت ریسک را فعالیتی پیوسته می‌داند. این چارچوب درصد تغییرِ واحدی ارائه نمی‌کند که همه مدل‌های تولید را ایمن کند.
پایش را با تصمیم و نتیجه پیگیری کنید
هشدار، بررسی، اقدام، مرجع تأیید و نتیجه بعدی را نگه دارید. ثبت «تغییر تشخیص داده شد» هنوز نتیجه عملیاتی را مشخص نمی‌کند. بنویسید آیا تغییر بر ریسک مشتری، بار بررسی دستی یا دسترس‌پذیری فرایند اثر داشته و چه چیزی هنوز نامعلوم است.
فایل، نتایج اولیه ناقص را از دو جدول کاملِ فرضی جدا میکند. این مثال وجود سرویس عملیاتی پایش مدل را تأیید نمی‌کند.
مثالی مرتبط از ابوالفضل
تغییرهای انتقال همان پایلوت هوش مصنوعی به کارخانهٔ دوم را بررسی کنید.
به انگلیسی در وبلاگ شخصی ابوالفضل، بنیان‌گذار Vrolen. مطالعهٔ مرتبط است، نه منبع فنی مستقل.
چک‌لیست عملی
- نسخه مدل، آستانه و شرایط ثبت داده را مشخص کنید.
- ابتدا ورودی مفقود و نامعتبر را بررسی کنید.
- تغییر توزیع را از خطای اندازه‌گیری‌شده جدا کنید.
- تأخیر برچسب و قاعده انتخاب را ثبت کنید.
- برای گروه‌های کامل، مخرج‌های سازگار به کار ببرید.
- عدم‌قطعیت و ترکیب محصول را بررسی کنید.
- مسئول پاسخ و روش جایگزین تأییدشده را تعیین کنید.
- پیش از بستن هشدار، اقدام را اعتبارسنجی کنید.
پرسش‌های متداول
پرسش‌های متداول
منابع و مطالعهٔ بیشتر
منابع معتبر استفاده‌شده برای پژوهش و بررسی این راهنما.