داده کاوی

نمودار ROC

این نمودار برای مقایسه ی دو روش دسته بندی به کار می رود. محور عمودی آن TPR (نسبت مثبت های درست) و محور افقی آن FPR (نسبت مثبت های غلط) است.

TPR = TP/P

FPR = FP/N=1-specificity

این نمودار برای دسته بندی دو کلاسه (yes و no) نشان دهنده ی  trade off بین TPR و FPR است.

برای رسم این نمودار برای احتمال یک threshold در نظر می گیریم و بیشتر از آن را yes و کمتر از آن را no می دهیم. (با فرض اینکه روش دسته بندی ما برای هر نمونه یک احتمال تعلق به یک کلاس را برگرداند.)

مثال: در جدول زیر برچسب واقعی و احتمال برگردانده شده توسط دسته بند داده شده است. مقدار t مناسب را بیابید. (با رسم ROC)

برای این مثال از روی مقادیر دو ستون اول بقیه را محاسبه می کنیم. (نمونه ها بر حسب احتمال yes بودن مرتب شده اند.)

برای t=0.90 نمونه ی 1 را در دسته ی مثبت می گذاریم و از روی داده های اصلی می بینیم که درست دسته بندی کرده ایم. یک نقطه روی ROC در (0,0.2) می گذاریم. بعد t را کم می کنیم تا نمونه ی بعدی را شامل شود و همین کار را ادامه می دهیم تا نمودار کامل رسم شود.

نمودار ROC این مثال:

مقایسه ی دو دسته بند بر اساس نمودار ROC آنها

خط y=x در این نمودار نشان دهنده ی احتمال 1/2 برای تعلق به هر کلاس است. (حدس زدن). هر چه نموداری به این خط نزدیک تر باشد دقت آن کمتر است. در مثال زیر M1 از M2 دقیق تر است.