بازرسی تصویری با هوش مصنوعی: عیب ازدست‌رفته و رد اشتباه را مقایسه کنید

مشخص کنید «مثبت» یعنی چه

اینجا مثبت یعنی مدل، قطعه را معیوب پیش‌بینی کرده است. مثبت درست، عیب واقعی را شناسایی می‌کند؛ منفی کاذب، عیب را از دست می‌دهد؛ مثبت کاذب، قطعه سالم را علامت می‌زند؛ منفی درست، قطعه سالم را قبول می‌کند. پیش از خواندن جدول چهار نتیجه، این قرارداد را بنویسید.

کتابخانه Scikit-learn، امتیازدهی مدل را از آستانه تصمیم جدا می‌کند و درباره تنظیم آستانه با داده آموزش هشدار می‌دهد. کتابخانه روش تحلیل فراهم می‌کند، نه قاعده آزادسازی محصول. واکنش کارخانه به هر نتیجه و روش تعیین برچسب مرجع را تعریف کنید.

دو آستانه را روی همان قطعات فرضی مقایسه کنید

گروه قطعات این مثال فرضی شامل ده‌هزار قطعه است که در آموزش مدل استفاده نشده‌اند: طبق مرجع اعلام‌شده، صد قطعه معیوب و ۹۹۰۰ قطعه سالم‌اند. در آستانه پایین‌تر، ۹۵ عیب شناسایی، پنج عیب ازدست‌رفته و ۱۹۸ قطعه سالم اشتباه علامت‌گذاری می‌شوند. در آستانه بالاتر، ۸۰ عیب شناسایی، ۲۰ عیب ازدست‌رفته و ۴۹ قطعه سالم اشتباه علامت‌گذاری می‌شوند.

هر دو جدول همان قطعات و برچسب‌ها را دارند. با آستانه بالاتر، هم عیب‌های کمتری علامت می‌خورند و هم قطعات سالم کمتری اشتباه علامت می‌خورند. مدل عوض نشده است؛ این تفاوت از تغییر قاعده تصمیم می‌آید.

شاخص‌ها و پیامد فرضی را حساب کنید

حساسیت، یعنی سهم عیب‌های واقعی پیدا‌شده، در آستانه پایین‌تر ۹۵ درصد و در بالاتر ۸۰ درصد است. درستی هشدار، یعنی سهم هشدارهای واقعاً معیوب، به‌ترتیب ۳۲٫۴۲ و ۶۲٫۰۲ درصد است. صحت کلی از ۹۷٫۹۷ به ۹۹٫۳۱ درصد زیاد می‌شود، در حالی که عیب ازدست‌رفته از پنج به ۲۰ رسیده است.

برای مقایسه آموزشی هزینه، هر عیب ازدست‌رفته را صد یورو و هر رد اشتباه را دو یورو فرض کنید و هزینه دیگری نگذارید. آستانه پایین‌تر از 5 × 100 + 198 × 2 به ۸۹۶ یورو و بالاتر از 20 × 100 + 49 × 2 به ۲۰۹۸ یورو می‌رسد. این ورودی‌ها ساختگی‌اند؛ نمی‌توان الزام ایمنی، مشتری و قانون را با این مثال قیمت‌گذاری و کنار گذاشت.

ظرفیت واقعی بازبینی تیم را بررسی کنید

آستانه پایین‌تر ۲۹۳ قطعه و بالاتر ۱۲۹ قطعه را علامت می‌زند. اگر هشدار به بازبینی دستی می‌رود، ظرفیت و زمان پاسخ مهم‌اند. صف رو به رشد می‌تواند محصول سالم را معطل کند؛ بازبینی عجولانه ممکن است همان عیب‌ها را دوباره نبیند.

روشن کنید علامت یعنی بازبینی، دوباره‌کاری، اسقاط یا جلوگیری خودکار از آزادسازی. اگر قطعه سالم بررسی و به تولید برمی‌گردد، تمام مثبت‌های کاذب را هزینه ضایعات ننامید. تحلیل توافق وصفی به بررسی سازگاری مرجع انسانی و بازبینی کمک می‌کند.

1. نتیجه و پیامد را تعریف کنید

   کلاس مثبت، روش مرجع، شدت عیب و واکنش هر نتیجه را بنویسید.

2. با داده اعتبارسنجی مناسب تنظیم کنید

   هدف را اعلام و سابقه آموزش را از آزمون نهایی جدا نگه دارید.

3. قاعده نهایی را ارزیابی کنید

   خطای هر قطعه خارج از آموزش، عدم‌قطعیت، زیرگروه و بار بازبینی را بررسی کنید.

4. عملیات را اعتبارسنجی و پایش کنید

   تصمیم را در شرایط نماینده خط تأیید و روش جایگزین مجاز را حفظ کنید.

ارزیابی را از میان‌بر داده محافظت کنید

تصاویر تکراری یک قطعه و بچ‌های مرتبط را، جایی که با استقرار واقعی سازگار نیست، بین آموزش و ارزیابی پخش نکنید. روشنایی، محصول و شدت عیب مربوط را پوشش دهید. نشت داده در هوش مصنوعی تولید مرز تقسیم را توضیح می‌دهد.

شیوع یک‌درصدی عیب در اینجا فرض شده است. با تغییر شیوع، سهم هشدارهای درست و حجم بازبینی عوض می‌شوند، حتی اگر نرخ‌های شرطی هر کلاس مشابه بمانند. عدم‌قطعیت را گزارش کنید. برای ارزیابی عیب نادر، نمونه کافی از همان عیب لازم است؛ افزودن تصاویر سالم جای آن را نمی‌گیرد.

نسخه آستانه را کنار تصمیم عملیاتی نگه دارید

مدل، پیش‌پردازش، تنظیم دوربین، آستانه، روش مرجع و تاریخ اعمال را ثبت کنید. وقتی برچسب می‌رسد، نتیجه واقعی را پایش کنید؛ قطعه‌هایی را که ابتدا قبول شده‌اند هم بررسی کنید. بازبینی فقط هشدارها می‌تواند منفی کاذب را پنهان کند.

فایل، دو جدول فرضی نتایج و فرم ثبت تصمیم را دارد. این مثال، طبقه‌بند تصویری مستقر یا سامانه بازرسی دارای گواهی را تأیید نمی‌کند.