Ensemble Methods

مثال روشهای ensemble:

bagging, boosting, random forests

ensemble method: روشهایی که در آنها k دسته بند یا مدل یاد گرفته شده با هم ترکیب می شوند تا مدل قوی تری بسازند. دقت مدل ترکیبی از هر کدام از مدلهای اولیه بیشتر است. یکی از روشهای ترکیب دسته بندها رای اکثریت است.

روشهای ensemble:

1- bagging: boostrap aggregation

مرحله آموزش: هر بار d نمونه با جایگذاری بر می داریم و از روی آنها دسته بند می سازیم.

مرحله ی دسته بندی: هر نمونه را به همه ی دسته بندهای ساخته شده می دهیم و ماکزیمم تعداد رای ها را در نظر می گیریم. (رای اکثریت) برای داده های پیوسته میانگین جوابهای دسته بندها.

boosting: میانگین وزن دار جواب مجموعه ای از دسته بندها

adaboost (adaptive boosting)

مرحله آموزش: ابتدا به تاپلها احتمال انتخاب شدن یکنواخت می دهیم و نمونه برداری می کنیم و دسته بند می سازیم. سپس احتمال انتخاب داده هایی که اشتباه دسته بندی شده اند بیشتر می کنیم.

مرحله دسته بندی: وزن جواب هر دسته بند، دقت آن است. میانگین وزن دار جواب دسته بندها را بر می گردانیم.

random forests

دسته بندهایی که می سازد درخت تصمیم هستند. دو نوع دارد:

random input selection: صفتهایی که به عنوان جداکننده انتخاب می شوند رندم انتخاب کند. - درخت با CART ساخته می شود.

random linear combination: صفتهای جدیدی می سازد که ترکیب خطی صفت های قبلی هستند و با این کار همبستگی بین دسته بندها را کاهش می دهد.