داده کاوی و آشنایی با مفاهیم اولیه آن

سانسور در عصر اینترنت، بر خلاف سایر دوران گذشته، شکل و ماهیّت خود را تغییر داده است. پیش از این، حاکمیت ها و نهادهای قدرت در سراسر دنیا، با جلوگیری از گسترش و نشر اطلاعات تلاش می کردند تا آگاهی در یک مورد خاص، به متن جامعه سرایت نکند. اما امروز، با گسترش ضریب نفوذ اینترنت، توسعه فضای مجازی و کاربردی آن، دیگر نمی توان به راحتی قبل، از نشر و گسترش اطلاعات در جامعه جلوگیری نمود یا هزینه های آن آنقدر زیاد است که دیگر صرفه اقتصادی نمی کند.

اما راه حل چیست؟!

نهادها و ساختارهای قدرت، خیلی زود متوجه شدند که می توانند از این موج، به سود خود بهره گرفته و با هزینه ای کمتر، تأثیر بیشتر گذاشته و حتی خود را دموکرات و طرفدار نشر اطلاعات معرفی نمایند؛ حتی یک گام بالاتر، نهادهایی که تا دیروز، با تمام قدرت در برابر نشر اطلاعات ایستادگی می کردند، اکنون می توانند پرچم دار شفافیت و ساخت ساختار شیشه ای باشند. این کار، در بستر تولید و نشر داده های کلان، سهولت یافت.

بمباران اطلاعاتی شهروندان و تقویت این احساس در آن ها که اگر از این اخبار و اطلاعات بی اطلاع بمانند، ضررهای جبران ناپذیر و جدی آن ها را تهدید می کند، با ایجاد چرخه آشفتگی و سردرگمی، ذهن و تمرکز مخاطب را بر هم ریخته و آن را معطوف به نکاتی می نماید که “سیستم”، علاقه دارد.

سازمان ها نیز از این قاعده مستثنی نبوده و با انبوه دیتا و اطلاعاتی مواجه هستند که اگر ندانند کدامیک از آن ها مفید و کدامیک بی فایده و حتی مضر است، گاهی اوقات حتی بقا خود را در معرض نابودی قرار می دهند.

برای درک بهتر داده کاوی، اجازه دهید یک مثال ساده را مرور کنیم. تصور بفرمایید وارد یک فروشگاهی اینترنتی شده اید تا کتاب بخرید؛ در زمان خرید، فروشگاه به شما پیام می دهد که آقای/خانم …، شما برنده کد تخفیف ۴۰درصدی برای خرید … شده اید. حیرت انگیز است، این همان چیزی بود که نیاز داشتم! پس هم کتابی که دنبالش بودید را می خرید و هم محصولی را که نیاز داشتید و اکنون به صورت معجزه وار، کد تخفیف هم از غیب رسید.

دست غیبی در کار نیست، هوش مصنوعی به کمک تکنیک هایی، ضمن تشخیص هویت شما و بررسی الگوریتم خریدهای قبلی، جست و جوهای قبلی و…، با احتمال بالا تشخیص می دهد که محصول … را نیاز دارید و در اولین فرصتی که مجدد مراجعه می کنید، آن را به شما معرفی می کند.

داده کاوی چیست؟

داده کاوی در حقیقت یک روش است، یک متد که قرار است به واسطه آن مسأله‌ای حل شود. این روش بر روی حجم زیادی از داده‌ها کار ‌می‌کند و تحلیل مورد نیاز را انجام ‌می‌دهد، در نهایت یک مجموعه الگوهای تکرارشونده استخراج کرده که ‌می‌تواند برگ برنده باشند. سپس نوبت به پیدا کردن ارتباطات بین الگوهای مختلف است و در نهایت یک سری راه حل‌های مهم در این چالش وارد ‌می‌شوند.

داده کاوی بر روی یک سری اطلاعات کار ‌می‌کند که در نگاه اول احتمالاً کاربرد زیادی نخواهد داشت اما وقتی پژوهش‌های دقیق صورت می‌گیرد نتایج بدست آمده بسیار ارزشمند ‌می‌شود. به عنوان مثال، با جمع آوری اطلاعات از یک فروشگاه امریکایی، متوجه شدند بیشتر افرادی که برای خرید شیر مراجعه می کنند، نان هم خرید می کنند پس با نزدیک کردن این دو قفسه به هم و قرار دادن سایر محصولاتی که می توان با شیر یا نان مصرف کرد نزدیک آن ها، فروش سایر محصولات را نیز بالا بردند.

شرکت‌های بزرگی که از داده کاوی استفاده ‌می‌کنند سعی دارند از این رویکرد برای تحلیل رقبا و بازار بهره گرفته و به واسطه این روش، پیش‌بینی کاربردی بر روی ترندهای روز خواهند داشت. از سوی دیگر برنامه‌هایی که توسط این شرکت‌ها برای آینده در نظر گرفته ‌می‌شود هم جهت با خواسته عموم افراد است و این روال سبب ‌می‌شود موقعیت پیشی گرفتن از رقبا آسانتر شود.

بررسی رفتارهای مشتری موضوع مهمی ‌است که در علم داده کاوی دیده ‌می‌شود. به هر صورت این علم سبب ‌می‌شود که شناسایی رفتار مشتریان به درستی دنبال شود و برخی از ویژگی‌های مشتریان تطابق داده شود. همینطور بخش بندی و قسمت‌بندی بازار نیز موفقیت آمیز باشد.

بخش های مختلف در داده کاوی

فرایند داده کاوی بخش‌های مختلفی دارد و شاید صحبت در مورد آن زمان و حوصله زیادی نیاز داشته باشد اما موضوع از این قرار است که این علم به طور خلاصه سه بخش مهم را در بر ‌می‌گیرد که عبارت هستند از:

الف. بخش اول:

استخراج داده‌ها از بخش‌های مختلف و انتقال آنها در پایگاه‌های داده‌ای که قابلیت چند بعدی داشته باشند و در ذخیره سازی اطلاعات مهمی‌که در آینده مورد استفاده قرار ‌می‌گیرد.

ب. بخش دوم:

انتقال داده‌ها به لایه‌های مختلف از جمله لایه‌های کسب و کار که بر اساس نرم افزار داده کاوی دنبال ‌می‌شود.

ج. بخش سوم:

تحلیل داده‌ها، نمایش نتایج حاصل از تحلیل داده که اغلب به صورت فرم ساده یا در گراف و نمودار ارزیابی ‌می‌شود.

دیتا (DATA) چیست؟

منظور از دیتا در علم داده کاوی ‌می‌تواند یک سری داده‌هایی باشد که توسط مردم و در ارتباطات روزمره کسب شده است، ‌می‌تواند شامل یک سری پیش بینی‌ها و احتمالات باشد و یا داده‌های منطقی باشد که در پایگاه داده‌ها به ذخیره سازی رسیده است.

هر داده‌ای که دریافت شود نیاز به پیش پردازش و پس پردازش دارد و این قدم بسیار مهم است. مشخص است که در نهایت باید داده‌ها به وضعیت پیاده‌سازی برسند و برای پیاده سازی ‌می‌بایست الگوریتم مناسبی استفاده شود که موقعیت داده کاوی را به خوبی ‌می‌سنجد. الگوریتم‌هایی که در این راستا استفاده می‌شوند اغلب شامل کلاس‌بندی، خوشه‌بندی و یا یک سری الگوهای یادگیری تقویتی هستند که ‌می‌توانند ارتباطی که بین داده‌ها وجود دارد، را به طور دقیق ارزیابی کنند.

هر تکنیکی که برای داده کاوی استفاده ‌می‌شود سبب ‌می‌شود تا سرعت انجام محاسبات بیشتر شود و از سوی دیگر فضای مورد نیاز برای حافظه نیز بهبود داشته باشد.

تکنیک های مورد استفاده در داده کاوی

تکنیک اول: طبقه بندی

طبقه بندی که به آن classification گفته ‌می‌شود، یکی از روش‌های مهم داده کاوی محسوب ‌می‌شود. این الگوریتم از روش برچسب زنی داده‌ها استفاده ‌می‌کند. به طوری که هر داده بر اساس ویژگی که برای آن تعریف شده است برچسب گذاری ‌می‌شود و همینطور در کلاس‌های مختلفی قرار ‌می‌گیرد. این الگوریتم‌ها خودآموز هستند یعنی روش‌های جدید برچسب گذاری را یاد ‌می‌گیرند و طبق همین ویژگی می‌توانند یک سری نمونه‌های جدید را برچسب بزنند. این تکنیک از داده کاوی مبتنی بر یادگیری است که یک سری مدل‌های خوب بر روی داده‌های جدید را اعمال ‌می‌کند و پس از آن گروه‌بندی مشتریان به درستی صورت ‌می‌گیرد.

تکنیک دوم: خوشه بندی

خوشه‌بندی یا کلاستر از دیگر تکنیک‌هایی است که در علم داده کاوی اهمیت زیادی دارد. این روش به صورتی است که ذات داده اهمیت زیادی در آن دارد و گروه‌بندی بر اساس ذات داده‌ها صورت ‌می‌گیرد. هر داده‌ای که در یک گروه قرار ‌می‌گیرد با ذات اصلی همه اعضای گروه همخوانی دارد. این تکنیک فروشگاه‌های مختلف اجرا ‌می‌شود، مثلاً یک گروه شامل مشتریانی هستند که علاقه به خرید با قیمت کم اما دفعات زیاد دارند و گروهی دیگر نیز افرادی هستند که کم خرید ‌می‌کنند اما بهترین‌ها را انتخاب ‌می‌کنند.

تکنیک سوم: یادگیری تقویتی

این روش به صورتی دنبال ‌می‌شود که الگوریتم سعی ‌می‌کند اطلاعات و عملیاتی با محیط پیرامون ایجاد نماید و سعی به کشف اطلاعات داشته باشد و به همینطور منظور یادگیری خود را نیز پیوسته‌تر دنبال کند؛ در این روش شبیه‌سازی بسیار دیده ‌می‌شود.