دانلود پاورپوینت مقدمه ای بر سیستم های وقایع گسسته و بررسی کنترل پیشبین مبتنی بر مدل در سیستم های وقایع گسسته

\n

کنترل پیشبین مبتنی بر مدل در سیستم های وقایع گسسته

\n

MPC on Discrete Event Systems

\n

\n

عنوان های پاورپوینت  : 

\n

\n

مقدمه ای بر سیستم های وقایع گسسته و بررسی کنترل پیشبین مبتنی بر مدل در سیستم های وقایع گسسته

\n

فهرست مطالب

\n

مثال (یک سیستم تولید)

\n

مثال های دیگر

\n

مسائل مطرح در سیستمهای وقایع گسسته

\n

روشهای مدلسازی متعددی برای توصیف سیستم های وقایع گسسته ارائه شده است:

\n

مدلهای جبری ماکس-پلاس

\n

مثال:

\n

خصوصیات جبر ماکس-پلاس

\n

شبکه های پتری (Carl Adam Petri(1939

\n

اجزای تشکیل دهنده یک مدل پتری کلاسیک

\n

مثال

\n

چراغ راهنما

\n

Two safe traffic lights

\n

Two safe and fair traffic lights

\n

Example: life-cycle of a person

\n

اضافه کردن وزن به اتصالات

\n

مسائل مطرح در رویداد ها

\n

شبکه های پتری رنگی

\n

شبکه های پتری زمانی

\n

مدل چراغ راهنما با شبکه های پتری زمانی

\n

شبکه های پتری سلسله مراتبی

\n

یک شبکه پتری کلاسیک را می توان با 5 مولفه بیان نمود:

\n

خصوصیات شبکه های پتری

\n

(Example: In a Restaurant (Scenario 1

\n

(Example: In a Restaurant (Scenario 2

\n

مقایسه مدلهای معرفی شده

\n

به کار گیری شبکه های پتری در مدلسازی شبکه های بیولوژیکی

\n

کنترل پیشبین مبتنی بر مدل در سیستم های جبر خطی ماکس-پلاس

\n

در مورد بخش Jin نیز به صورت زیر عمل می شود:

\n

قیود

\n

تعاریف کنترلی در سیستم های وقایع گسسته

\n

کنترل پیشبین مبتنی بر مدل در شبکه های پتری

\n

مثال

\n

الگوریتم یادگیری تقویت شده Reinforcement Learning

\n

پاداش

\n

در نظر گرفتن پاداشهای آینده

\n

Reinforcement learning example

\n

مقایسه الگوریتم یادگیری تقویت شده با کنترل پیش بین مبتنی بر مدل

\n

مدلهای مارکو

\n

\n \n\n \n\n

---

\n\nقسمت ها و تکه های اتفاقی از فایل\n\n \n\nروشهای مدلسازی متعددی برای توصیف سیستم های وقایع گسسته ارائه شده است:\n\nمدلهای جبری-ماکس پلاس\n\nشبکه های پتری\n\nمدلهای تصادفی مانند مدلهای مارکوف\n\n...\n\nاگر زمانی نهایی مورد نظر r برای تولید محصولات مشخص باشد و اگر برای هر مقدار تاخیر بعد از این زمان تعیین شده مجبور به پرداخت جریمه باشیم بخش Jout  در تابع هزینه را می توان به صورت زیر برای سیستم های وقایع گسسته خطی ماکس –پلاس تعریف نمود:\n\nدر مورد بخش Jin نیز به صورت زیر عمل می شود:معیار هزینه ورودی در سیستم های کلاسیک به صورت                       تعریف شد، اما در مورد سیستم های وقایع گسسته خطی ماکس- پلاس مینیمم کردن این تابع منجر به کوچک کردن لحظات زمانی ورودی می شود. که ممکن است نتیجه آن سرریز بافر ورودی باشد. بنابراین به نظر می رسد که بهتر باشد تابع ورودی ماکسیمم شود. در مورد سیستم های تولیدی به این معنا است که مواد خام با حداکثر تاخیر ممکن به سیستم داده شود.که در نتیجه آن سایز بافر ورودی نیز می تواند کوچک گرفته شود. همچنین سر ریز شدن ممکن است باعث ناپایداری در سیستم شود. به این ترتیب به نظر می رسد که برای سیستمهای وقایع گسسته MPL بهتر است تابع هزینه ورودی به صورت زیر تعریف شود که دقیقا مخالف سیستم های کلاسیک زمان گسسته خطی است.\n\nالگوریتم یادگیری تقویت شده Reinforcement Learning\n\nدر یادگیری تقویتیReinforcement earning))سیستم تلاش می‌کند تا تقابلات خود با یک محیط پویا را از طریق خطا و آزمایش بهینه نماید. در یادگیری تقویتی هیچ نوع زوج ورودی- خروجی ارائه نمی‌شود. به جای آن، پس از اتخاذ یک عمل، حالت بعدی و پاداش بلافصل به عامل ارائه می‌شود. هدف اولیه برنامهریزی عامل‌ها با استفاده از تنبیه و تشویق است بدون آنکه ذکری از چگونگی انجام وظیفه آن‌ها شود.\n\nیادگیری تقویتی از اینرو مورد توجه است که راهی برای آموزش عاملها برای انجام یک عمل  از طریق دادن پاداش و تنبیه است بدون اینکه لازم باشد نحوه انجام عمل را برای عامل مشخص نمائیم.\n\n \n\nالگوریتم یادگیری تقویت شده Reinforcement Learning\n\nدر یک مسئله RL استاندارد با اجزای اصلی زیر روبرو هستیم:\n\nعامل\n\nکه قرار است یادگیری را از طریق تعامل با محیط انجام دهد. برای اینکار باید\n\nاعمالی که عامل میتواند در محیط انجام دهد مشخص باشند.\n\nمحیط\n\nبرای محیط باید مشخصه های زیر تعیین شوند:\n\nوضعیت\n\nپاداش\n\nعامل میتواند از طریق ورودیهایش تشخیص دهد که در چه وضعیتی قرار دارد. عامل در وضعیت St عمل at را انجام میدهد. اینکار باعث میشود وضعیت محیط به St+1 تغییر نماید. در اثر این تغییر وضعیت عامل سیگنال reinforcement  و یا  پاداش rt+1 را از محیط دریافت می نماید.\n\nاین محیط باید قابل مشاهده ویا حداقل تا قسمتی قابل مشاهده برای عامل باشد. (partially observable)\n\nمشاهده محیط ممکن است از طریق خواندن اطلاعات یک سنسور، توضیح سمبلیک و غیره باشد.\n\nعمل یادگیری عبارت است ازیاد گرفتن یک سیاست که در واقع نگاشتی از وضعیت به عمل است به نحوی که استفاده از این سیاست برای انتخاب اعمال منجر به دریافت پاداش حداکثر از محیط گردد.\n\nالگوریتم یادگیری تقویت شده Reinforcement Learning\n\nدر RLوقتی عامل  در یک حالت خاص عملی را انجام میدهد، در مقابل پاداش (reward or reinforcement) دریافت میکند. در این سیستم عامل وظیفه دارد تا پاداش دریافتی در دراز مدت را حداکثر نماید.\n\nیکی از نکات طراحی یک سیستم RL  تعریف یک reinforcement functionمناسب با اهداف عامل است.\n\nپاداش\n\nاگر دنباله ای از پاداش ها بصورت زیر موجود باشند:\n\nعامل باید سعی نماید تا پاداشی را که از محیط دریافت میکند حد اکثر نماید. در واقع امید ریاضی پاداش را به حداکثر میرساند.\n\nدر بسیاری از مسایل تعامل با محیط بصورت اپیزودی انجام میشود. مثلا روباتی که قرار است خروج از اتاق را یاد بگیرد به محض خارج شدن از اتاق یک اپیزود یادگیری خاتمه می یابد. لذا کل پاداشی که با شروع از یک حالت St و رسیدن به حالت نهائی ( خاتمه اپیزود یادگیری) ST بدست می آید برابر است با:\n\nدر نظر گرفتن پاداشهای آینده\n\nاگر پاداش Rt مجموع پاداشی باشد که  عامل با شروع از زمانt  میتواند جمع کند به طرق مختلف میتوان این پاداش را محاسبه نمود. یک راه بصورت زیر است که در آن به پاداشهای نزدیکتر ارزش بیشتری داده میشود.\n\nیکی از نکات مهم در انتخاب عمل نحوه لحاظ کردن رخداد های آینده در تصمیم فعلی عامل است. برای اینکه یک عامل بتواند تاثیر رخدادهای آینده در انتخاب عمل مناسب برای حالت فعلی را در نظر بگیرد مدلهای مختلفی پیشنهاد شده است:\n\nfinite horizon\n\nساده ترین مدل این است که عامل برای انتخاب عمل مقادیر پاداشی را که در h مرحله بعد میگیرد محاسبه نموده و عملی را انتخاب نماید که مجموع پاداش را حداکثر نماید.\n\n(discounted cumulative reward( infinite horizon\n\nدر این روش بجای h مرحله، پاداش درازمدت دریافتی در نظر گرفته میشود. این روش بسیار مرسوم بوده و به پاداشهائی که در آینده گرفته خواهد شد  ارزش کمتری نسبت به پاداشهای فوری داده میشود.\n\n \n\naverage reward\n\nدر این روش فرقی بین پاداشهای نزدیک و دور در نظر گرفته نمیشود.\n\n \n\n \n\n30 تا 70 درصد پروژه | پاورپوینت | سمینار | طرح های کارآفرینی و  توجیهی |  پایان-نامه |  پی دی اف  مقاله ( کتاب ) | نقشه | پلان طراحی |  های آماده به صورت رایگان میباشد ( word | pdf | docx | doc )