دانلود پاورپوینت کامل یادگیری درخت تصمیم

30 تا 70 درصد پروژه /  پاورپوینت /پاور پوینت / سمینار /  پایان نامه/  مقاله های اماده   به صورت رایگان میباشد

عنوان های پاورپوینت  : 

• مقدمه

در یک مسئله یادگیری با دو جنبه مختلف روبرو هستیم

• lنحوه نمایش فرضیه ها

• درخت تصمیم

• نمایش درخت تصمیم

• مثالی از یک درخت تصمیم

• کاربردها

• نحوه نمایش درخت تصمیم

• lترکیب عطفی

• ترکیب فصلی

• الگوریتم یادگیری درخت تصمیم

• ایده اصلی ID3

این ایده به Ocuum’s Razor  مشهور

است ومی گوید

• بایاس درخت تصمیم

• الگوریتم ID3

• الگوریتم ID3

• نحوه ساختن درخت

درخت کامل ما به این صورت است

آنتروپی

• lوجود نویز در داده های آموزشی

• lتعداد کم مثالهای آموزشی

• پرهیز ازOverfitting

• Overfitting یک پدیده عمومی است

• ویژگی هائی با هزینه متفاوت

قسمت ها و تکه های اتفاقی از فایل

• lدر یک مسئله یادگیری با دو جنبه مختلف روبرو هستیم:

• lنحوه نمایش فرضیه ها

• lروشی که برای یادگیری برمی گزینیم

• lدر این فصل برای نمایش فرضیه ها از درخت تصمیم استفاده میکنیم و برای یادگرفتن این درخت از روش ID3 استفاده میکنیم.

• درخت تصمیم

• درختها درهوش مصنوعی برای نمایش مفاهیم مختلفی نظیر ساختار جملات، معادلات، حالات بازی، و غیره استفاده میشود.

• lیادگیری درخت تصمیم روشی برای تقریب توابع هدف با مقادیر گسسته است. این روش نسبت به نویز داده هامقاوم بوده وقادر است ترکیب فصلی گزاره های عطفی را یاد بگیرد.

• این روش جزو مشهورترین الگوریتمهای یادگیری استقرائی است که بصورت موفقیت آمیزی در کاربردهای مختلف بکار گرفته شده است.

 مسیر از ریشه به برگ ترکیب عطفی (AND)از ویژگی ها را مشخص نموده و خوددرخت ترکیب فصلی(OR) این ترکیبات را میسازد.

• مثال

• lترکیب عطفی

• مثال

• ترکیب فصلی

• مثال

• الگوریتم یادگیری درخت تصمیم

• اغلب الگوریتم های یادگیری درخت تصمیم بر پایه یک عمل جستجوی حریصانه (greedy) بالا به پائین (top-down) در فضای درختهای موجود عمل میکنند.

• این الگوریتم پایه، Concept Learning System (CLS) نامیده می شود که در سال 1950 معرفی شده است.

• این الگوریتم توسط Ross Quilan در سال 1986 بصورت کاملتری تحت عنوان  Inducing Decisition trees (ID3) مطرح گردید.

• بعدها الگوریتم کاملتر دیگری تحت عنوان 5 ارائه گردید که برخی نقائص ID3 را برطرف میکند.

• ایده اصلی ID3

lاین ایده به Ocuum’s Razor مشهور است ومی گوید :

             ” دنیا ذاتا ساده است“

   بنابراین از کوچکترین درخت تصمیم که با داده سازگار باشد انتظار می رود که مثالهای نادیده را به درستی دسته بندی کند.

• بایاس درخت تصمیم

• l انتخاب درختهای کوچکتر

   بایاس درخت تصمیم بر این ایده است که درختهای کوچکتر بر درختهای بزرگتر ترجیح داده شود.

این درخت کامل و پیچیده

است وضمنا خطا هم ندارد.

 در بایاس کردن هم هدف

 ساده کردن است که

 ممکن است ایجاد خطا کند.

• معیار کمی اندازه گیری یک ویژگی کدام است؟

• lسئوال را می توان به روش دیگری نیز بیان کرد:

   ” بهترین ویژگی برای قرار گرفتن در ریشه درخت را چگونه باید انتخاب کنیم؟ “

 برای حل تعداد مثالهای

 مثبت و منفی جدا شده

 را در نظر میگیریم

• آنتروپی :

• lمیزان خلوص (بی نظمی یا عدم خالص بودن) مجموعه ای

  از مثالها را مشخص می کند. اگر مجموعه S  شامل مثالهای مثبت و منفی از یک مفهوم هدف باشد آنتروپی S  نسبت به این دسته بندی بولی بصورت زیر تعریف می شود.

    که       نسبت مثالهای مثبت به کل مثالها و      نسبت مثالهای منفی به کل مثالها می باشد. همچنین  0 log0=0 فرض میشود.

مثال :

• lاختلاف زیاد بین دقت دسته بندی داده های آموزشی و داده های تست

• lرسیدن به فرضیه و یا مدلهای خیلی پیچیده ( مثلا رسیدن به یک درخت تصمیم خیلی بزرگ)

• در نظر گرفتن ویژگی های با مقادیر پیوسته

• lدرخت یادگرفته شده توسط ID3 محدود به توابع و ویژگی های با مقدار گسسته است.

• lبرای اینکه این الگوریتم ویژگی های با مقدار پیوسته را نیز شامل شود، میتوان برای یک ویژگی پیوسته مثل A یک ویژگی بولی مثل Ac تعریف گرد که Ac درست است اگر A<C باشد و در غیر اینصورت نادرست است.

• C باید طوری انتخاب شود که بهره اطلاعات را حداکثر کند. اینکار میتواند با مرتب کردن مقادیر ویژگی A وانتخاب نقاطی که مقادیر مثالهای مجاور تغییر میکنند انجام شود. در چنین حالتی میانگین دومثال مجاور میتواند بعنوان آستانه انتخاب شود.

• سایر معیارهای انتخاب ویژگی برای درخت

• lاگر به مثال قبل یک ویژگی به نام تاریخ اضافه شود، این ویژگی به تنهائی قادر خواهد بود تا کلیه مثالهای آموزشی را دسته بندی کند. در واقع بعلت اینکه این ویژگی دارای بهره اطلاعات زیادی است بعنوان ریشه درخت انتخاب خواهد شد و درخت حاصله دارای عمق بسیار کمی خواهد بود.

• با وجود اینکه این درخت مثالهای آموزشی را بخوبی دسته بندی خواهد کرد اما در مورد مثالهای نادیده بسیار ضعیف عمل خواهد نمود. زیرا این درخت در عمل مثالهای آموزشی را حفظ کرده و قادر به تعمیم نیست.

• معیار نسبت بهره یا gain ratio

• lبرای پرهیز از ویژگی هائی مثل تاریخ میتوان از معیار دیگری با نام نسبت بهره و یا gain ratio استفاده نمود که خاصیت آن حساسیت داشتن به این است که یک ویژگی با چه گستردگی و یکنواختی داده ها را جدا میکند.

• lبرای اینکار عبارتی بصورت زیر تعریف میشود: