پروژه الگوریتم genetic fuzzy k-Modes برای خوشه بندی داده های گروهی

چکیده

خوشه بندی روشی است که داده های یک مجموعه داده را به گروه یا خوشه تقسیم می کند . از مرسوم ترین روش های خوشه بندی،الگوریتم های خوشه بندی k-Means وfuzzy k-Means می باشند.این دو الگوریتم فقط روی داده های عددی عمل می کنند و به منظور رفع این محدودیت، الگوریتم های k-Modes و fuzzy k-Modes ارائه شدند که مجموعه داده های گروهی (دسته ای) را نیز خوشه بندی می کنند. . با این وجود، این الگوریتم ها ،شبیه همه روال های بهینه سازی دیگر که برای مینیمم عمومی یک تابع جستجو می کنند، احتمال گیر افتادن در یک مینیمم محلی وجود دارد. به منظوردستیابی به جوبب بهینه عمومی ، الگوریتم های تکاملی مانند ژنتیک و جدول جستجو با الگوریتم های مذکور ترکیب می شوند. در این پژوهش،   الگوریتم  ژنتیک ، GA، را با الگوریتم fuzzy k-Modes ترکیب شده ،بطوریکه  عملگر ادغام به عنوان یک مرحله از الگوریتم  fuzzy k-Modes تعریف می شود.  آزمایش ها روی دو مجموعه داده واقعی انجام شده است تا همراه با مثال کارایی الگوریتم پیشنهادی را روشن نماید.

1.مقدمه

به عنوان یک ابزار اولیه در داده کاوی[1] ،تجزیه و تحلیل  خوشه ، که تجزیه و تحلیل سگمنت نیز نامیده می شود،روشی است که داده ها  را به گروه هایی  همگن تحت عنوان خوشه تقسیم می کند.در چنین روشی داده های موجود در یک کلاستر یا خوشه خیلی شبیه به هم و داده ها ی کلاستر های مختلف خیلی متفاوت نسبت به  هم هستند.اغلب، شباهت بر مبنای معیار فاصله می باشد.

آنالیز خوشه،خوشه بندی، تکنیک عمومی برای آنالیز داده های آماری می باشد که در بسیاری زمینه ها  مانند یادگیری ماشین ، داده کاوی ، شناسایی الگو و آنالیز تصویر کاربرد دارد.در کنار اصطلاح خوشه بندی داده (یا فقط خوشه بندی)،بعضی اصطلاحات دیگرنیزهمانند کلاس بندی اتوماتیک[2] ،طبقه بندی  عددی[3]، آنالیز نوع شناسی[4] ، با معنای مشابه  استفاده می شود[1].

به طور کلی ،یک الگوریتم خوشه بندی خوب معمولا برای طراحی شامل چهار فاز ذیل را شامل می شود:1- نمایش داده[5]2- مدل کردن[6].3- بهینه سازی[7].4- اعتبار سنجی[2][8] ..

فاز نمایش  داده، تعیین می کند که چه نوعی از ساختارهای خوشه می تواند داده ها را شناسایی کند.سپس فاز مدلینگ ضوابط و معیار ها را برروی ساختار تعریف می کند بطوریکه که ساختارها ی گروه های مطلوب را از موارد نامطلوب مجزا می کند.در فاز مدلینگ ، در طول جستجو برای ساختار های مخفی در داده ،یک معیار کیفیت مانند  معیار بهینه سازی یا معیار تقریب تولید می شود. بعبارتی دیگرفاز بهینه سازش،ساختار های موثرتر و بهینه تر را انتخاب میکند. از آنجا که فرآیند خوشه بندی ،یک فرایند بدون سرپرستی است فاز اعتبار سنجی خیلی ضروری است تا نتایج تولید شده به وسیله الگوریتم خوشه بندی ارزیابی شوند.

به طور کلی ،الگوریتم های خوشه بندی به دو دسته تقسیم بندی می شوند[3,4] : الگوریتم های خوشه بندی سخت[9] و الگوریتم های خوشه بندی فازی[10].

در چهارچوب خوشه بندی سخت ،هر شی ء به یک و فقط یک خوشه تعلق دارد و برعکس در چهار چوب خوشه بندی فازی به هر شی ء اجازه داده می شود که توابع تعلقی به همه خوشه ها داشته باشد.هر دو روش الگوریتم خوشه بندی سخت و فازی ،مرکز های خوشه (نمونه های اولیه) را تعیین می کنند و مجموع مربع فاصله  بین این مرکز ها و خوشه ها را مینیمم می کنند.

بسیاری از الگوریتم ها به منظور دستیابی به خوشه بندی سخت در یک مجموعه داده  پیشرفت داده شده اند.در بین آنها الگوریتم  k-meansو روش های  خوشه بندی IsoData به طور گسترده ای مورد استفاده گرفته اند.این دو الگوریتم بر پایه تکرار می باشند. کاربرد مجموعه های فازی در توابع کلاس بندی موجب می شود هر داده در یک زمان به چندین کلاس با درجه های متفاوت تعلق داشته باشد[3].

معروف ترین و پرکاربردترین الگوریتم خوشه بندی فازی ،الگوریتم fuzzy C-Means  [7] است. الگوریتم fuzzy C-Means با یک مقدار اولیه از  Wشروع می شود و مکررا  بین تخمین مراکز خوشه Z داده شده درZ و تخمین ماتریس  تعلق  داده شده درW تکرار می شود تا هنگامیکه  دو مقدار متوالی از Z یا W مساوی شوند.

از نظر ریاضی ،یک مسئله خوشه بندی فازی را می توان به صورت یک مسئله  بهینه سازی به صورت ذیل نمایش داد.[5,6](فرمول ها در فایل اصلی قابل مشاهده است)

که n تعداد اشیاء در مجموعه داده مورد بررسی وk تعداد خوشه ها است .مجموعه از n شی ء است که هر یک  با d ویژگی توصیف می شوند.   Z یک مجموعه با k مرکز کلاستر ، W یک ماتریس تعلق فازی و  توان وزن و d معیار فاصله معین بین مرکز خوشه    و شی ء   می باشد.

از آنجا که الگوریتم fuzzy c-Means فقط روی داده های عددی کار می کند،یک الگوریتم fuzzy k-Modes   را به منظور خوشه بندی مجموعه داده های گروهی  پیشنهاد می دهیم [6-9] . با این وجود،این الگوریتم ها ،شبیه همه روال های بهینه سازی دیگر که برای مینیمم عمومی یک تابع جستجو می کنند، احتمال گیر افتادن در یک مینیمم محلی وجود دارد.

برای مسئله بهینه  سازی ،یک مسئله شناخته شده وابسته به هر دو الگوریتم fuzzy C-Means و fuzzy k-Modes این است که آنها ممکن است  روی بهینه محلی متوقف شوند[5] .برای رفع این مشکل و رسیدن به  یک راه حل عمومی،تکنیک های بر پایه الگوریتم های ژنتیک  و تابو سرچ[1]  به کار برده شده اند. برای مثال ،الگوریتم   genetic k-Means،الگوریتم genetic و الگوریتمk-Means   را ترکیب می کند بدین منظورکه راه حل عمومی و بهینه را پیدا  کند[10].به منظور پیدا کردن راه حل بهینه عمومی برای الگوریتم   fuzzy k-Modes،Ng  و Wong تابو سرچ را بر پایه الگوریتم fuzzy k-Modes  معرفی کردند[11].

هدف اصلی در این پروژه این است که الگوریتم genetic fuzzy k-Modes را بکار ببریم  تا  الگوریتم های fuzzy k-Modes و genetic را به منظور پیدا کردن راه حل بهینه در مسئله بهینه سازی ترکیب کند[5].

طرح کلی پروژه به صورت ذیل است که  در قسمت 2، مروری برکارهای قبل و دیگر روش ها خواهیم داشت .بدین صورت که ابتدا الگوریتم های k-means, fuzzy C-means,k-modes,fuzzy k-modes با جزییات شرح می دهیم که مقدمه ای از روال کلی رسیدن به الگوریتم مورد بررسی در این مقاله هستند. سپس در قسمت 3 ،روش پیشنهادی مان،الگوریتم ترکیبی genetic fuzzy k-Modes را تشریح می کنیم. نتایج پیاده سازی الگوریتم برروی دو مجموعه داد ه واقعی از UCI را در قسمت 4 نشان می دهیم ودر نهایت در قسمت 5  بعضی نتایج  را عنوان می کنیم.

2- مروری بر روش های قبل

1.2- الگوریتمk-means   Hard

الگوریتم    k-means،الگوریتمی است که n نمونه داده را بر پایه  ویژگی هایشان به c قسمت (c