عنوان پایان ­نامه:

بهینه سازی خوشه ها با بهره گیری از الگوریتم های تکاملی برای شخصی سازی وب

استاد راهنما:

دکتر محمد کریم سهرابی

استاد مشاور:

دکتر فرزین یغمایی

برای رعایت حریم خصوصی نام نگارنده پایان نامه درج نمی گردد

تکه هایی از متن پایان نامه به عنوان نمونه :

(ممکن می باشد هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود اما در فایل دانلودی همه چیز مرتب و کامل می باشد)

فهرست مطالب:

چکیده…………………………………………………………………………………………………………………….. 1

فصل اول…………………………………………………………………………………………….. 2

1-1-مقدمه………………………………………………………………………………………………………………. 3

1-2-تعریف مسئله………………………………………………………………………………………………………. 4

1-3-اهمیت و ضرورت پژوهش…………………………………………………………………………………………. 5

1-4-شیوه پژوهش………………………………………………………………………………………………………. 8

1-5-چارچوب پایان‏نامه……………………………………………………………………………………………….. 8

مراجع…………………………………………………………………………………………………………………….. 10

فصل دوم:………………………………………………………………………………………….. 11

2-1-مقدمه……………………………………………………………………………………………………………… 12

2-2-مروی بر کارهای انجام شده……………………………………………………………………………………. 12

مراجع……………………………………………………………………………………………………………………. 21

فصل سوم:………………………………………………………………………………………… 24

3-1-مقدمه…………………………………………………………………………………………………………….. 25

3-2-مراحل وب کاوی………………………………………………………………………………………………… 26

3-2-1-انواع وب‌کاوی……………………………………………………………………………………………. 27

3-3-شخصی‌سازی وب………………………………………………………………………………………………. 28

3-3-1-علت های نیاز به شخصی‌سازی وب……………………………………………………………………….. 28

3-3-2-مراحل شخصی سازی وب……………………………………………………………………………… 29

3-3-2-1-جمع‌آوری داده…………………………………………………………………………………… 30

3-3-2-2-پردازش داده……………………………………………………………………………………… 31

3-3-2-3-کشف الگو………………………………………………………………………………………… 31

3-3-2-4-تحلیل دانش……………………………………………………………………………………… 31

3-3-3-تکنیک های مدل­سازی کاربر در شخصی‌سازی وب………………………………………………… 31

3-3-3-1-تکنیک tf-idf……………………………………………………………………………………. 

3-3-3-2-تکنیک متا مدل و ابزار OLAP………………………………………………………………. 

3-3-3-3-تکنیک براساس محتوای وب…………………………………………………………………. 33

3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP)………………………………………. 

3-3-3-5-شخصی­سازی وب با بهره گیری از روش­های ترکیبی………………………………………….. 34 جستجو در سایت :   

3-3-3-6-شخصی­سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf……………………….. 

3-3-3-7-شخصی­سازی وب با بهره گیری از کندوکاو الگوی ترتیبی و درخت الگو……………………. 35

3-4-خوشه‌بندی برای شخصی‌سازی وب………………………………………………………………….. 35

3-4-1-خوشه­ بندی فازی………………………………………………………………………………………… 36

3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی……………………………………………………………… 36

3-4-1-2-الگوریتم فازی کا-مینز…………………………………………………………………………. 36

3-4-1-3-خوشه­بندی صفحات وب با بهره گیری از خوشه ­بندی فازی k-means………………………. 

3-4-2-الگوریتم ژنتیک…………………………………………………………………………………………. 39

3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با بهره گیری از الگوریتم ژنتیک……………………………….. 40

3-4-3-روش پیشنهادی در این پژوهش……………………………………………………………………….. 42

3-4-4-شمای کلی سیستم پیشنهادی………………………………………………………………………… 42

3-4-5-مثالی از سیستم پیشنهادی…………………………………………………………………………… 43

3-4-6-شبه کد روش پیشنهادی……………………………………………………………………………….. 50

3-5-جمع­بندی……………………………………………………………………………………………………….. 51

مراجع…………………………………………………………………………………………………………………… 53

فصل چهارم:……………………………………………………………………………………………………. 55

4-1-مقدمه…………………………………………………………………………………………………………….. 56

4-2-مجموعه داده­ها…………………………………………………………………………………………………. 56
دانلود متن کامل در سایت sabzfile.com
4-2-1-دیتاست YANDEX……………………………………………………………………………………. 

4-2-1-1-پیش پردازش انجام شده با مجموعه داده­های خام قبل از انتشار………………………….. 57

4-3-پارامترهای ارزیابی……………………………………………………………………………………………… 60

4-4-آزمایشات انجام شده…………………………………………………………………………………………… 61

4-4-1-سخت افزار مورد بهره گیری……………………………………………………………………………….. 62

4-4-2-نتایج آزمایشات…………………………………………………………………………………………. 62

4-5-جمع­بندی……………………………………………………………………………………………………….. 64

مراجع:…………………………………………………………………………………………………………………… 65

فصل پنجم:…………………………………………………………………………………………………………. 66

5-1-مقدمه…………………………………………………………………………………………………………….. 67

5-2-نتایج و دستاوردهای پروژه……………………………………………………………………………………. 68

5-3-پیشنهادات……………………………………………………………………………………………………… 68

مراجع……………………………………………………………………………………………………………………. 70

چکیده:

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم‌های شخصی­سازی وب ارائه شده­ اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مؤلفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن می باشد. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویس­های مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب می باشد. در حال حاضر، برای شخصی­سازی وب چندین متد خوشه­بندی در دسترس می باشد. روش­هایی که تاکنون ارائه شده­اند، در مورد هایی دارای اشکالاتی بودند. البته تکنیک­های جدیدی در رفع این معضلات و بهبود آنها ارائه شده می باشد. اما در بیشتر این تکنیک­ها، مسائل افزونگی داده و مقیاس­بندی بالا هست. با در نظر داشتن اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در پژوهش، یک متدولوژی بهینه­سازی خوشه بر اساس سیستم فازی ارائه شده می باشد. به مقصود افزایش دقت نهایی خوشه­ بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک بهره گیری شده می باشد. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه­ بندی صفحات وب را تا حد قابل توجهی افزایش می­دهد.

فصل اول: کلیات پژوهش

1-1- مقدمه

با توسعه سیستم‌های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان‌ها مبدل گشته می باشد. پس روش‌ها و تکنیک‌هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و بهره گیری از این اطلاعات، مورد نیاز می‌باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش‌ها و تکنیک‌ها بیش از پیش احساس می گردد. وب، محیطی وسیع، متنوع و پویا می باشد که کاربران متعدد اسناد خود را در آن منتشر می‌کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود می باشد و این تعداد با نرخ 7.3 میلیون صفحه در روز افزایش می‌یابد. با در نظر داشتن حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن می باشد و ابزارها و روش­هایی نو برای مدیریت آن مورد نیاز می باشد. به گونه کلی کاربران وب در بهره گیری از آن با معضلات زیر روبرو هستند:

1- یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می‌باشد. روش‌های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده‌ها به کار می‌طریقه، قابل بهره گیری در وب نمی‌باشند و کاربران معمولاً از موتورهای جستجو که مهم­ترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند، بهره گیری می‌کنند. این موتورها، یک پرس و جوی مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس اندازه ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می­کنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند (Baeza-Yates, 2004). اولاً دقت موتورهای جستجو پایین می باشد، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی می‌کنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی‌باشند (Bharat, and et. al., 2001). ثانیاً اندازه فراخوان این موتورها کم می‌باشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. زیرا که حجم اسناد در وب بسیار زیاد می باشد و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه داده‌های خود نمی‌باشند (Chakrabarti, and et. al., 1999).

2- ایجاد دانش جدید با بهره گیری از اطلاعات موجود در وب: در حال حاضر این سوال مطرح می باشد که چگونه می‌توان داده‌های فراوان موجود در وب را به دانشی قابل بهره گیری تبدیل نمود، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه می‌توان با بهره گیری از داده‌های وب به اطلاعات و دانشی جدید دست پیدا نمود.

3- خصوصی سازی اطلاعات: از آن جا که کاربران متفاوت هر یک درمورد نوع و چگونگی­ی بازنمایی اطلاعات سلیقه خاصی دارند، این مسئله بایستی توسط تأمین­کنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این مقصود با در نظر داشتن خواسته‌ها و تمایلات کاربران متفاوت، چگونگی ارائه اطلاعات به آنها بایستی سفارشی گردد.

تکنیک‌های وب کاوی قادر به حل این معضلات می‌باشند (Chakrabarti, 2000).

2-1- تعریف مسئله

وب به یک بخش تسلیم نشدنی جهان تبدیل شده می باشد و گشت و گذار وب، یک فعالیت مهم برای مشتریانی که خرید آنلاین دارند، به شمار می­آید (Varghese, 2012). همانطور که گفته گردید، با در نظر داشتن حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن می باشد و ابزارها و روش­هایی نو برای مدیریت آن مورد نیاز می باشد. یکی از این روش­ها وب­کاوی می باشد. به گونه کلی وب­کاوی را می­توان داده کاوی بر روی داده­های محتوا، ساختار و کاربرد وب به حساب آورد. هدف وب­کاوی کشف مدل­ها و الگوهای نهفته در منابع وب می­باشد. هدف وب کاوی کاربرد وب به گونه خاص کشف الگوهای رفتاری کاربران وب می­باشد. کشف چنین الگوهایی از حجم عظیمی از داده­های تولید شده توسط وب سرورها کاربردهای مهمی دارد (Anand, and Mobasher, 2005). مانند­ی آن­ها می­توان به سیستم­هایی که اندازه مؤثر بودن یک سایت را در برآوردن انتظارات کاربر ارزیابی می­کنند، تکنیک­هایی برای متعادل کردن پویای بار و بهینه­سازی وب سرورها برای دستیابی مؤثرتر کاربران و کاربردهای مربوط به ساختاردهی مجدد و تطبیق یک سایت براساس نیازهای پیش بینی شده­ی کاربر تصریح نمود.

کشف استخراج اطلاعات مفید از داده­ی وب یا فایل­های وبلاگ، بهبود کارایی اطلاعات وب و فراهم کردن تکنولوژی برای کاربردهای وب به عنوان مثال، شخصی­سازی و غیره مانند اهداف دیگر وب­کاوی می­باشد. برای مدیریت تصمیم­گیری، نتیجه کاوش کاربرد وب می­تواند برای تبلیغات، بهبود طراحی وب، بهبود رضایت مشتری، هدایت استراتژی تصمیم واکاوی بازار و سازمان مورد بهره گیری قرار گیرد (Naveena Devi et al., 2012).

در سال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر می باشد در شخصی­سازی وب ارائه شده می باشد که بعضی از معضلات مربوط به فیلترکردن جمعی را کاهش می­دهد. به گونه خاص وب کاوی کاربرد وب برای افزایش گسترش‌پذیری سیستم­ های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­های فیلترکردن جمعی می­باشند بهره گیری شده می باشد.

شخصی­سازی صفحه وب شامل خوشه­بندی صفحات مختلف وبی می باشد که الگوی مشابهی دارند. شخصی­سازی وب از تکنیک کاربرد وب­ کاوی برای سفارشی کردن صفحات وب برای یک کاربر خاص بهره گیری می­کند. این مسئله شامل استخراج جلسات کاربر از فایل­های ورود به سیستم می­گردد. یک جلسه کاربر، دنباله­ی صفحات وبی که توسط کاربر در یک دوره زمانی خاص مورد دسترسی قرار گرفته، می­باشد.

3-1- اهمیت و ضرورت پژوهش

با رشد ناگهانی اندازه وب و بهره گیری از وب گسترده جهانی، برای کاربران بسیار مشکل گردید که بتوانند به گونه مؤثر به اطلاعات مرتبط و مورد علاقه خود دسترسی پیدا کنند. نیاز به پیش­بینی نیازهای کاربر به مقصود بهبود قابلیت بهره گیری و حفظ کاربر سایت، عیان می باشد و می­تواند با بهره گیری از شخصی­سازی آدرس­دهی گردد. شخصی‌سازی وب، پردازشی از یک سایت برای بر طرف کردن نیاز یک کاربر خاص یا مجموعه­ای از کاربران با بهره گیری از دانش به دست آمده از طریق تحلیل رفتار گشت و گذار کاربر می باشد. هدف از سیستم شخصی سازی وب، مهیا ساختن اطلاعات و نیازهای کاربران، بدون این که صریحاً از آنها سوالی پرسیده گردد.

هر اقدامی که اطلاعات یا سرویس­های فراهم شده توسط یک وب­سایت با نیازهای یک کاربر یا گروه خاصی از کاربران با به کارگیری دانش بدست آمده از رفتار گردشی کاربر و علایق خاص او به صورت ترکیب با محتوا و ساختار وب­سایت سازگار می­کند شخصی­سازی وب نامیده می­گردد (Eirinaki, 2003).

بطور کلی اهداف شخصی­ سازی وب عبارتند از:

– شخصی­سازی سرویس­های ارائه شده توسط یک وب­سایت تأثیر مهمی در کاهش گرانبار شدن اطلاعات اعمال می­کند و وب­سایت را به یک محیط کاربر پسندتر برای افراد تبدیل می­کند.

– با فراهم کردن اطلاعات دلخواه کاربر به روش مناسب و در زمان مناسب، باعث بهبود گردش کاربر در وب­ سایت می­گردد.

– در تجارت الکترونیکی مکانیزیمی برای درک بهتر نیازهای مشتری، شناسایی تمایلات آینده­ی او و در نهایت افزایش پابرجایی مشتری به سرویس ارائه شده فراهم می­کند.

در سال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر می باشد در شخصی­سازی وب ارائه شده­ می باشد که بعضی از معضلات مربوط به فیلترکردن جمعی را کاهش می­دهند. به گونه خاص وب کاوی کاربرد وب برای افزایش گسترش پذیری سیستم­های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­های فیلترکردن جمعی می­باشند بهره گیری شده می باشد.

به گونه نمونه شخصی سازی برروی پردازش شناسایی کاربر وب، جمع آوری اطلاعات از طریق اولویت یا علاقه­مندی های کاربر، تمرکز دارد. به گونه مختصر شخصی­سازی وب می­تواند برای مهیا ساختن سرویس با کیفیت­تر بهره گیری گردد و برنامه کاربردی از وب را برای کاربران در طول گشت و گذار آنها در وب مهیا سازد. این فعالیت­ها می­تواند با مشخص کردن لینک­ها و لینک­های جدید مورد علاقه کاربر به صورت خودکار و ایجاد صفحات ایندکس جدید، ساخته گردد.

رویکرد تنها مبتنی بر کاربرد در شخصی­سازی وب یک عیب مهم دارد و آن این می باشد که فرآیند توصیه به کاربر تنها براساس داده­های تراکنشی موجود او صورت می­گیرد و از این رو اقلام یا صفحاتی که اخیراً به سایت اضافه شده­اند نمی­توانند به او توصیه شوند. این مشکل عموماً مشکل قلم جدید نامیده می­گردد. از سوی دیگر اگرچه الگوهای کشف شده­ی مربوط به کاربرد منابع وب از طریق وب­کاوی کاربرد وب در کشف ارتباطات اقلام با یکدیگر یا کاربران با یکدیگر و نیز تعیین شباهت در جلسات کاربر مفیدند اما بدون بهره گیری از دانش عمیق­تری از دامنه­ی وب سایت مورد نظر چنین الگوهایی درک اندکی از علت های آن که چرا اقلام یا کاربران در گروه­هایی با هم قرار می­گیرند در اختیار ما قرار می­دهند. یک رویکرد معمول برای حل این مشکل در فیلتر کردن جمعی آن می باشد که مشخصات محتوای صفحات را با رتبه­بندی­ها و قضاوت­های کاربر ادغام کنیم. به گونه کلی در این رویکردها کلمات کلیدی از محتوای وب­سایت استخراج می­شوند و برای اندیس­گذاری صفحات براساس محتوا یا طبقه­بندی آن­ها به دسته­های مختلف مورد بهره گیری قرار می‌گیرند. در حوزه­ی شخصی­سازی وب این رویکرد به سیستم اجازه می­دهد تا صفحات را نه تنها براساس افراد مشابه بلکه براساس شباهت محتوایی آن­ها به صفحاتی که کاربر اخیراً بازدید کرده می باشد به او توصیه کند.

یک اشکال عمده در بیشتر رویکردهای موجود که از محتوای وب برای بهبود مدل کاربر بهره گیری می‌کنند این می باشد که این روش­ها معمولاً از بردار عبارات برای نمایش علایق کاربر بهره گیری می­کنند و ارتباطات معنایی بین این عبارات را نادیده می­گیرند. در صورتی که می­توان با بهره گیری از معنا این روش نمایش را بهبود داد.

روش­هایی که تاکنون ارائه شده­اند، در مورد هایی دارای اشکالاتی بودند. البته تکنیک‌های جدیدی در رفع این معضلات و بهبود آنها ارائه شده می باشد. اما در بیشتر این تکنیک‌ها، مسائل افزونگی داده و مقیاس‌بندی بالا هست. الگوریتم­های خوشه­بندی متعددی براساس تکنیک­های مختلف هست. بیشتر این الگوریتم­ها، اشکالات متعددی دارند. همان­گونه که اندازه خوشه در طی افزایش کاربران وب افزایش می‌یابد، نیاز به بهینه‌سازی خوشه ­ها اجتناب ناپذیر خواهد بود. در این پایان‌نامه قصد بر آنست تا یک متدولوژی بهینه‌سازی خوشه بر اساس سیستم فازی و الگوریتم ژنتیک ارائه گردد.

تعداد صفحه : 82

قیمت : 14700 تومان

این مطلب رو هم توصیه می کنم بخونین:   دانلود پایان نامه ارشد : بررسی الگوریتم های تخصیص مجدد در گریدهای محاسباتی و ارائه یک الگوریتم کارا

بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد

و در ضمن فایل خریداری شده به ایمیل شما ارسال می گردد.

پشتیبانی سایت :       

****         serderehi@gmail.com