درک اهمیت قسمتهای مختلف منحنی ROC و کاوش در انواع AUC برای برنامه های ML

معرفی

منحنی ویژگی عملکرد گیرنده (ROC) یکی از متداول ترین ابزارهای گرافیکی برای تشخیص توانایی طبقه بندی باینری ، مستقل از الگوریتم طبقه بندی ذاتی است. تجزیه و تحلیل ROC در بسیاری از زمینه ها از جمله پزشکی ، رادیولوژی ، بیومتریک ، پیش بینی خطرات طبیعی ، هواشناسی ، ارزیابی عملکرد مدل و سایر مناطق برای چندین دهه مورد استفاده قرار گرفته است و به طور فزاینده ای در یادگیری ماشین و تحقیقات استخراج داده ها مورد استفاده قرار می گیرد [1]. اگر شما یک دانشمند داده هستید ، ممکن است روزانه از آن استفاده کنید.

منحنی ROC با ترسیم نرخ مثبت واقعی (TPR) در برابر نرخ مثبت کاذب (FPR) بر اساس نتیجه باینری در تنظیمات نمره مدل مختلف ایجاد می شود. یک طبقه بندی کننده ایده آل مقدار TPR بسیار بالایی را در FPR بسیار کم می دهد (یعنی به درستی می تواند مثبت را بدون منفی برچسب زدن به اشتباه شناسایی کند). اما ، یک مدل ایده آل به ندرت وجود دارد و بنابراین ، هدف از امتحان کردن مدلهای مختلف و آزمایش های یادگیری ماشین ، شناسایی یک مدل بهینه است که می تواند بهترین هزینه (FPR)/سود (TPR) را به دست آورد. تجزیه و تحلیل ROC به دستیابی به آن هدف کمک می کند.

مساحت کل در زیر منحنی ROC (AUC)

به طور کلی ، (و در "تقریباً همه" موارد) ، ما از مساحت کل در زیر منحنی ROC (AUC) به عنوان معیارهای ارزیابی برای یافتن طبقه بندی بهینه استفاده می کنیم. AUC همچنین معیارهای ارزیابی مورد استفاده در بیشتر مسابقات Kaggle است. این امر به این دلیل است که AUC یک شماره واحد است که میانگین اطلاعات مربوط به عملکرد کلی مدل را در تنظیمات مختلف آستانه ارائه می دهد. یک ویژگی جالب در مورد AUC این است که مستقل از توزیع کلاس است ، یعنی اینکه آیا توزیع کلاس 10 ٪/90 ٪ یا 50 ٪/50 ٪ است ، رتبه بندی مدل های مبتنی بر AUC یکسان خواهد بود.(توجه داشته باشید که من به "جالب" اشاره کردم ، همیشه یک خاصیت خوب نیست. سودمندی به مشکل مورد نظر بستگی دارد. در بعضی موارد ، این خاصیت می تواند بد باشد و دانشمندان داده ها به جای آن به استفاده از منطقه تحت منحنی دقت دقیق تغییر می کنند. بیایید آن را کنار بگذاریم). AUC در بیشتر موارد اطلاعاتی و مفید است ، اما بسیاری از مشکلات دنیای واقعی وجود دارد که در آن نتوانسته است تمرکز صحیح را بر توانایی یک مدل که باید قبل از تولید آن درک شود ، ارائه دهد. در بسیاری از کاربردهای عملی (مثالهایی که در زیر مورد بحث قرار گرفته است) ، بخش عمده ای از منحنی ROC کم کاربردی نیست ، اما AUC خلاصه کل منحنی را ارائه می دهد و اهمیت مساوی را به همه مناطق ، از جمله مناطق بی ربط می دهد.

راه حل معمولاً مورد استفاده برای مقابله با چالش های فوق با AUC ، رفع نقطه برش FPR (یا TPR) و یافتن مدلی است که TPR (یا FPR) را در آن برش به حداکثر می رساند. اما رفع مقادیر برش در هر یک از محورها نیاز به الزامات بتونی از طرف تجارت دارد و در مقادیر خروجی واریانس بالاتری دارد. یک راه حل ایده آل نیست که بیشتر دامنه عملیاتی یک منحنی ROC را نادیده می گیرد. همچنین نگاه کردن به شبکه معیارهای مختلف برای مقایسه مدل ها ، به عنوان مثال دشوار است. TPR @ 1 ٪ FPR ، 2 ٪ FPR ، 10 ٪ FPR ، 20 ٪ FPR و غیره

به عبارت ساده ، ما می گوییم که AUC کامل در برخی شرایط دارای مشکل است و نگاه کردن به مجموعه ثابت نقاط قطع راه حل های ایده آل برای این مشکلات نیست. راه حل پیشنهادی در جایی قرار دارد ، یعنی به جای استفاده از تمام مقادیر FPR/TPR ممکن ، ما در مجموعه نقاط مهم جمع می شویم. این کار را می توان با منطقه جزئی زیر منحنی ROC انجام داد.

در پست باقیمانده ، بیایید در مورد انواع مختلف معیارهای منطقه جزئی کشف شده در ادبیات ، نحوه محاسبه هر یک از نوع و چه زمانی از آنها ، بیاموزیم. اما در ابتدا ، بیایید با چند نمونه شروع کنیم که AUC بر نیاز به معیارهای منطقه جزئی تأکید می کند.

نمونه هایی از مشکلات مربوط به AUC کامل

1. هنگامی که توزیع کلاس بسیار نامتعادل است (به عنوان مثال 0. 1 ٪/99. 9 ٪ ، موارد استفاده: تشخیص کلاهبرداری ، تشخیص سرطان و غیره) ، طبقه بندی کننده های مختلف حتی اگر به درستی رتبه بندی شوند ، تفاوت های بسیار کمی در مقادیر AUC دارند و مقایسه مدل را دشوار می کند. به عنوان مثال ، شما ممکن است در AUC شماره هایی مانند 0. 9967 در مقابل 0. 9961 را مقایسه کنید و فکر کنید که دو مدل مورد مقایسه بسیار مشابه هستند. در واقعیت ، این دو مدل ممکن است هنگام استفاده از تصمیمات واقعی تفاوت معنی داری داشته باشند.
2. If there is only 1 positive and 999 negatives, even a decent model would be able to catch 100% positive (i.e. 1) by mis-classifying a small % of negatives (FPR, let’s say 20%). In such cases, comparing area at high FPR range (e.g.>20 ٪) بی فایده است زیرا همه مدل ها در منطقه FPR بالا 100 ٪ به TPR می رسند. اما AUC هنوز از آن منطقه غیر مفید از FPR بالا استفاده می کند. در چنین سناریوهایی ، در حالت ایده آل می خواهیم مدلهایی پیدا کنیم که با طبقه بندی نادرست درصد منفی منفی ، می توانند درصد زیادی از مثبت را شناسایی کنند.
3. در عمل بالینی ، آزمایشات تشخیصی با FPR بالا منجر به هزینه اقتصادی قابل توجهی می شود ، زیرا بخش بزرگی از نامزدهای غیرقانونی باعث کاهش منابع کمیاب روشهای درمانی می شوند. علاوه بر این ، هنگام تشخیص یک بیماری کشنده ، عدم شناسایی صحیح افراد مبتلا به بیمار (TPR کم) عواقب اخلاقی جدی به همراه خواهد داشت. در نتیجه ، FPR و TPR باید به ترتیب در سطح پایین و زیاد حفظ شوند. به طوری که مناطق غیر اقتصادی و غیر اخلاقی از AUC رد می شوند.[2]
4. در تشخیص سرطان خوش خیم در مقابل بدخیم با استفاده از ماموگرافی ، شناسایی سرطان بدخیم مهمتر از ایجاد بیوپسی های غیر ضروری برای شرایط خوش خیم است. یعنی TPR بالا 0. 9 منطقه مورد علاقه است. AUC کامل ممکن است تفاوت معنی داری بین مدلهای مختلف نشان نداد ، حتی اگر در مناطق مورد علاقه متفاوت باشد.
5. یک نمونه کلاسیک دیگر از Caveat of AUC ، مقایسه دو طبقه بندی کننده است که منحنی های ROC بسیار متفاوتی دارند که از یکدیگر عبور می کنند. یکی TPR بالا و دیگری دارای نرخ منفی واقعی بالا (TNR) است ، اما هر دو AUC یکسان دارند. در چنین سناریویی ، AUC نتواند طبقه بندی بهتری را انتخاب کند.[6]

نکته جانبی: به هر حال ، در اینجا یک چیزهای بی اهمیت جالب و منشأ کلمه "گیرنده-اپراتور" در منحنی ROC وجود دارد. ROC برای اولین بار در طول جنگ جهانی دوم برای تجزیه و تحلیل سیگنال های رادار ، به طور خاص توسط ارتش آمریكا برای شناسایی هواپیماهای ژاپنی از سیگنال های رادار خود مورد استفاده قرار گرفت. با دیدن صفحه نمایش ، اپراتورهای گیرنده رادار مجبور بودند به صورت دستی تصمیم بگیرند که آیا یک ضربه روی صفحه نمایش یک هواپیمای دشمن یا سر و صدایی را نشان می دهد. توانایی آنها در ایجاد این تمایزها ویژگی های عملیاتی گیرنده نامیده می شد.

منحنی های ROC در سمت چپ نشان دهنده عملکرد طبقه بندی کننده نمونه است که برای طبقه بندی نتایج باینری آموزش دیده است. AUC این طبقه بندی 0. 969 است.

توجه: AUC از 0 تا 1 متغیر است و در 0. 5 متقارن است. یعنی AUC 0. 5 بدترین طبقه بندی کننده است. طبقه بندی کننده با AUC بین 0 تا 0. 5 طبقه مخالف را نسبت به آنچه ارزیابی می شود پیش بینی می کند.

حال خواهیم دید که چگونه می توانیم از مناطق مختلف (مانند موارد برجسته در سمت چپ) از همان منحنی ROC برای محاسبه معیارهای مختلف جزئی استفاده کنیم.

انواع منطقه جزئی زیر منحنی ROC

معیارهای منطقه جزئی جدید نیستند. برخی از مقالاتی که در پایان به آنها اشاره کردم در دهه 80 منتشر شد. هدف من با این پست ، تجدید نظر در مورد آنها و جلب توجه شما در مورد سناریوهای مشترک است که می توانید هنگام برخورد با مشکلات تولید واقعی ، به ویژه در خارج از دنیای مسابقات علوم داده ، با آن روبرو شوید.

1. Paucn

تعریف: منطقه عادی تحت منحنی ROC زیر FPR خاص.[4]

جوانب مثبت: بر نیاز TPR بالا در سمت چپ منحنی ROC متمرکز است. منطقه ای که بیشتر برای داده های بسیار نامتعادل اهمیت دارد.

منفی: Paucn فاقد تقارن است که توسط AUC در حدود 0. 5 لذت می برد. Paucn دارای محدودیت پایین ثابت نیست زیرا در آستانه FPR انتخاب شده پایین تغییر می کند.

2. آبگرم

تعریف: منطقه جزئی استاندارد تحت منحنی ROC بالاتر از مورب اصلی.[7]

جوانب مثبت: بر نیاز TPR بالا در سمت چپ منحنی ROC متمرکز است. این مقیاس برای طبقه بندی تصادفی 0. 5 است ، یعنی بدون در نظر گرفتن برش FPR ، یک محدوده پایین ثابت را نشان می دهد. منفی: SPA همچنین فاقد تقارن است و زیر 0. 5 معنی ندارد. مرز پایین آن 0 نیست.

3. پی

تعریف: شاخص منطقه جزئی. منطقه تحت منحنی ROC بالاتر از TPR خاص. به عبارت دیگر ، مقدار متوسط TPR نسبت به تمام مقادیر FPR بین برش TPR و 1. [3]

جوانب مثبت: صرف نظر از FPR ، بر نیاز TPR بالا تمرکز دارد. در برخی از روشهای بالینی مانند تشخیص سرطان در مرحله اولیه ، تحمل FPR بالا اگر به معنای سرعت گرفتن بهتر باشد ، خوب است.

منفی: مرز پایین ثابت نیست و با برش TPR متفاوت است. فاقد تقارن در حدود 0: 0. 5 و 0. 5: 1 به سایر اقدامات منطقه جزئی است.

4. tpaucn

تعریف: منطقه جزئی دو طرفه تحت منحنی ROC زیر برخی از FPR و بالاتر از TPR خاص.[2]

جوانب مثبت: کنترل همزمان TPR و FPR را امکان پذیر می کند. بسیاری از موارد استفاده نیاز به TPR بالا و FPR پایین دارند. به عنوان مثال،تشخیص بیماری کشنده که از ابزارهای تست گران استفاده می کند.

منفی: کاربر باید در مورد برش های TPR و FPR اطلاع داشته باشد.

5. Pauccn

تعریف: منطقه جزئی متناسب در زیر منحنی ROC. نیمی از مجموع مساحت جزئی عمودی در زیر منحنی ROC (Paucn) و ناحیه جزئی افقی تحت منحنی ROC (Paucxn).[5]

جوانب مثبت: مقیاس مشابه SPA ، برای طبقه بندی تصادفی 0. 5 می دهد. بر خلاف سایر اقدامات منطقه جزئی ، این یکی از تفسیرهایی را در اختیار دارد که AUC مانند رابطه با متوسط TPR ، میانگین FPR و C آمار از آن برخوردار است.

منفی: محدودیت پایین آن 0 نیست.

[یادداشت نویسنده پست: دانش جوانب مثبت و منفی Pauccn باید بر اساس مقاله جدید توسط نویسندگان منطقه جزئی متناسب تحت منحنی ROC به روز شود. بر اساس روش عادی سازی جدید ، منفی معتبر نیست و Pauccn تقارن مشابه AUC دارد. من به زودی تغییرات لازم را انجام خواهم داد.]

6. Hauc

جوانب مثبت: هیچ تصمیمی در مورد قطع FPR یا TPR لازم نیست. برش ها به طور خودکار از نقاط منحنی ROC که در آن fpr = 1 - tpr گرفته می شود ، بدست می آیند. فقط تصمیم مورد نیاز این است که آیا شما به TPR بالا یا TNR بالا نیاز دارید. از 0 تا 0. 5 با 0. 25 تصادفی فاصله دارد.

منفی: وقتی نقطه برش شناخته شده است و متفاوت از جایی است که FPR = 1 - TPR متفاوت است.

مطالعه مقایسه

من با یک مطالعه مقایسه بر روی داده های مصنوعی ، سودمندی AUC های جزئی را ایجاد می کنم. چندین مثال دیگر وجود دارد که من در این پست نمایش داده نشده ام (برای کوتاه نگه داشتن آن). مثالها شامل الف) مقایسه دو طبقه بندی کننده با AUC های بالا اما عملکرد متفاوت در FPR های پایین ، ب) طبقه بندی کننده ها با AUC های مشابه اما عملکرد متفاوت در TPR های بالا ، ج) منحنی های ROC متقابل با AUC یکسان اما سطح متفاوت حساسیت یا ویژگی ،و بیشتر…

دو طبقه بندی کننده با AUC های بالا و مشابه اما عملکرد متفاوت در FPR های پایین

در مثال زیر ، من یک مجموعه داده مصنوعی را با استفاده از روش make_classification Sklea تهیه کردم. برای تأکید بر سناریوی داده ها با توزیع برچسب بسیار نامتعادل ، من نسبت برچسب را به عنوان 99 ٪/1 ٪ نگه داشتم. سپس من دو طبقه بندی کننده را آموزش دادم ، یکی آموزش دیده با LogisticRegression (LR) و دیگر آموزش دیده با CatBoostClassifer (CB).

منحنی های ROC در مقیاس های خطی و ورود به سیستم. مقیاس ورود به تفاوت در FPR کم تأکید دارد.(تصویر توسط نویسنده

ما می بینیم که AUC برای LR و CB بسیار نزدیک است (99. 78 ٪ در مقابل 99. 96 ٪). در حقیقت ، منحنی ROC در مقیاس خطی بسیار مشابه به نظر می رسد. ممکن است کسی فکر کند که CB به خوبی رتبه بندی می کند اما به طور قابل توجهی بهتر از LR نیست. اما دیدن همان منحنی در مقیاس ورود به سیستم (سمت راست) بر تفاوت در FPR های پایین تأکید دارد (<1%). Let’s see what would a partial area give.

Paucn در برش 1 ٪ FPR تفاوت قابل توجهی در عملکرد بین LR و CB (89. 9 ٪ در مقابل 97. 9 ٪) نشان می دهد ، نشان می دهد که CB بسیار بهتر عمل می کند.

یک مثال (به غیر از تشخیص سرطان که قبلاً ذکر شد) از چنین سناریویی ، آموزش طبقه بندی کننده برای تشخیص سازش حساب از تأییدیه های آنلاین است. به مدلی فکر کنید که تشخیص دهد که آیا ورود به سیستم از یک مهاجم (به خطر افتاده) یا از دارنده حساب اصلی است. با توجه به ، مقیاس عظیمی از فعالیت های آنلاین ، درصد بسیار کمی از علائم در واقع به خطر می افتد (به عنوان مثال 1 در 10،000). شما می توانید از این مدل استفاده کنید تا علامت های پرخطر را در صف تحقیقات بشر قرار دهید. با توجه به عدم تعادل زیاد ، در FPR به حداقل 1 ٪ ، شما در تلاش برای یافتن آن 1 سازش ، در حال بررسی 100 علامت خوب هستید. با توجه به هزینه های انجام شده در تحقیقات ، نیازهای تجاری شما ممکن است شما را فقط در مورد X ٪ از کل علائم مورد بررسی قرار دهد ، و منطقه فوق را ارائه می دهد~X ٪ FPR از دیدگاه تجارت بی فایده است.< Pan> Paucn در برش 1 ٪ FPR تفاوت قابل توجهی در عملکرد بین LR و CB (89. 9 ٪ در مقابل 97. 9 ٪) نشان می دهد ، نشان می دهد که CB بسیار بهتر عمل می کند.