نشت داده در مدل تولید وقتی رخ می‌دهد که توسعه یا ارزیابی مدل از اطلاعاتی استفاده کند که هنگام تصمیم موجود نیست، یا سوابق مرتبط از مرز مورد نظر ارزیابی عبور کنند. تقسیم داده را با کاربرد مدل هماهنگ کنید؛ زمان، قطعه و بچ را در صورت نیاز جدا و پیش‌پردازش را فقط روی داده آموزش برازش دهید. مثال فرضی ۲۴ تصویر نشان می‌دهد چگونه تصاویر یک قطعه به هر دو مجموعه می‌رسند. در این مثال مدلی آموزش ندیده و امتیاز عملکردی گزارش نشده است؛ این تقسیم هم نسخه عمومی همه کاربردها نیست.
بررسی کنید هر ویژگی در لحظه تصمیم موجود است یا نه.
از ورود تصویرهای همان قطعه به هر دو سوی ارزیابی جلوگیری کنید.
مرز زمان و گروه را با کاربرد مدل هماهنگ کنید.
لحظه پیش‌بینی را در اولین خط شرح کار بنویسید
فرض کنید مدل باید بلافاصله پس از ثبت تصویر دوربین، درباره علامت‌زدن قطعه تصمیم بگیرد. ورودی فقط میتواند اطلاعات واقعاً موجود همان لحظه باشد. نتیجه بازرسی نهایی بعدی میتواند برچسب هدف باشد، اما نمی‌تواند ورودی همان تصمیم زودتر هم باشد.
Scikit-learn نشت داده را استفاده از اطلاعات ناموجود هنگام پیش‌بینی تعریف می‌کند و درباره یادگیری پیش‌پردازش از مجموعه آزمون هشدار می‌دهد. در کارخانه، زمان دسترسی به اطلاعات و ارتباط قطعه‌ها و بچ‌ها را بررسی کنید. حذف یک ستون با نام مشکوک کافی نیست.
| فیلد پیشنهادی | هنگام تصمیم دوربین موجود است؟ | برخورد در این مثال |
|---|---|---|
| تصویر فعلی | بله | ورودی قابل استفاده پس از اعتبارسنجی روش |
| قرائت قبلی ماشین | فقط اگر واقعاً دریافت و معتبر باشد | زمان و تأخیر را بررسی کنید |
| تعیین تکلیف بازرسی نهایی | خیر | هدف یا مرجع بعدی؛ نه ورودی تصمیم قبلی |
| خلاصه بازده پایان شیفت | خیر | از این تصمیم کنار گذاشته شود |
| شناسه بچ | معلوم است، ولی شاید میان‌بر ایجاد کند | تناسب با کاربرد و گروه‌بندی بررسی شود |
ببینید تقسیم تصویر چگونه هویت قطعه را به آزمون می‌رساند
سابقه فرضی، هشت قطعه فیزیکی از چهار بچ پیاپی دارد؛ در هر بچ دو قطعه و از هر قطعه سه تصویر ثبت شده است. جمعاً ۲۴ تصویر داریم. تقسیم وسوسه‌کننده، تصویر اول و دوم هر قطعه را به آموزش و تصویر سوم را به آزمون می‌دهد.
۱۶ تصویر به آموزش و هشت تصویر به آزمون می‌رسد، ولی تمام قطعات آزمون از قبل در آموزش دیده شده‌اند. شاید فقط نمای دیگری از قطعه آشنا را می‌سنجید، نه عملکرد روی قطعه تازه را. اینجا مدلی آموزش ندیده است، پس امتیازی هم گزارش نمی‌شود. مثال نشان می‌دهد تقسیم ردیف‌ها چگونه میتواند سؤال آزمون را عوض کند.
تقسیم را با سؤال بچ جدید هماهنگ کنید
برای مثال آموزشی ارزیابی بچ تازه در زمان بعدی، بچ‌های L1 و L2 را به آموزش بدهید: چهار قطعه و ۱۲ تصویر. L3 را برای تنظیم کنار بگذارید: دو قطعه و شش تصویر. L4 را آزمون نهاییِ دوره بعد بگیرید: دو قطعه و شش تصویر. هیچ قطعه یا بچی میان این مرزها مشترک نیست.
این مجموعه کوچک، جداسازی داده را نشان می‌دهد؛ برای تأیید عملکرد مدل کافی نیست. درباره کارخانه دیگر یا نوع عیب دیده‌نشده هم پاسخی نمی‌دهد. برای کاربرد واقعی، گروه‌ها و دوره‌های بیشتری لازم است که شرایط مورد نظر را نمایندگی کنند.
اعداد، تعداد تصویرند: ۱۲ آموزش، شش تنظیم و شش آزمون نهایی. هر سه تصویر یک قطعه فیزیکی کنار هم می‌مانند. این جداسازی، گروه‌بندی اعلام‌شده را حفظ می‌کند؛ تعداد کم، عملکرد را تأیید نمیکند.
مرزهای لازم را ترکیب کنید؛ تقسیم را از روی عادت انتخاب نکنید
تقسیم گروهی میتواند سوابق مرتبط را کنار هم نگه دارد. تقسیم زمانی میتواند دوره بعد را بیازماید. تقسیم‌کننده عمومی گروه، خودکار ترتیب زمانی را رعایت نمیکند؛ تقسیم‌کننده عمومی زمان هم لزوماً مانع عبور قطعه یا بچ طولانی‌مدت از مرز نمی‌شود.
فهرست تخصیص واقعی گروه و زمان را نگه دارید و مستقیم بیازمایید. زمان رسیدن برچسب را هم بررسی کنید: آموزش در نقطه توقف تاریخی نمی‌تواند از نتیجه‌ای استفاده کند که تا آن زمان نرسیده بود. مقیاس‌بندی، پرکردن داده مفقود و انتخاب ویژگی را روی داده آموزش مجاز برازش دهید و تنظیم را فقط با داده توسعه مجاز انجام دهید.
- کاربرد و لحظه تصمیم را تعریف کنید
واحد، هدف، آخرین زمان مجاز ورودی و جمعیت آینده مورد پیش‌بینی را بنویسید.
- وابستگی و دسترسی را مشخص کنید
قطعه تکراری، بچ، ماشین، هم‌پوشانی زمان و برچسب دیررس را شناسایی کنید.
- تقسیم را بسازید و بیازمایید
حذف مشترکات زمانی و گروهی مورد نظر را دقیق بررسی کنید؛ به نام تقسیم‌کننده تکیه نکنید.
- ارزیابی نهایی را ثابت نگه دارید
داده کنارگذاشته‌شده را از انتخاب ویژگی، مدل و آستانه دور نگه دارید.
میان‌برهای باقی‌مانده پس از تقسیم ظاهراً درست را بررسی کنید
کد بچ، پس‌زمینه دوربین یا یادداشت اپراتور ممکن است در توسعه با هدف مرتبط باشد، ولی هنگام استفاده تغییر کند یا وجود نداشته باشد. نمونه خطای نماینده و نتیجه زیرگروه مرتبط را بررسی کنید، نه فقط یک میانگین.
با تحلیل توافق وصفی برچسب مرجع ناسازگار را بررسی و برای بده‌بستان جداگانه قاعده تصمیم از آستانه بازرسی استفاده کنید. تقسیم درست، تعریف هدف نامعتبر را اصلاح نمیکند.
مرز ارزیابی را کنار نسخه مدل نگه دارید
سابقه باید نشان دهد چه اطلاعاتی در چه زمانی معلوم بوده، کدام گروه کنار گذاشته شده، چه پیش‌پردازشی برازش شده و چه کسی امکان دیدن آزمون نهایی را داشته است. اگر آزمون باعث بازطراحی شد، آن را شاهد توسعه بنامید و ارزیابی نهایی تازه تهیه کنید.
فایل، تقسیم فرضی ۲۴ تصویر و فرم بررسی را دارد. این مثال فقط جداسازی داده را نشان می‌دهد؛ از آن نمی‌توان صحت مدل را محاسبه کرد.
مثالی مرتبط از ابوالفضل
سابقهٔ ظاهراً معتبر موجودی را با شاهد قفسه مقایسه کنید.
به انگلیسی در وبلاگ شخصی ابوالفضل، بنیان‌گذار Vrolen. مطالعهٔ مرتبط است، نه منبع فنی مستقل.
چک‌لیست عملی
- لحظه دقیق پیش‌بینی را بنویسید.
- دسترسی و تأخیر ورودی را بررسی کنید.
- نتیجه بعدی را از ورودی تصمیم قبلی دور نگه دارید.
- قطعه تکراری و بچ مشترک را شناسایی کنید.
- هر دو مرز زمان و گروه را بیازمایید.
- پیش‌پردازش را روی داده آموزش مجاز برازش دهید.
- آزمون نهایی را وارد تنظیم آستانه نکنید.
- تعداد واحد مستقل و محدودیت را کنار تعداد ردیف گزارش کنید.
پرسش‌های متداول
پرسش‌های متداول
منابع و مطالعهٔ بیشتر
منابع معتبر استفاده‌شده برای پژوهش و بررسی این راهنما.