मेन्यू

डाटा माइनिंग प्रोसेस: मॉडल, प्रोसेस स्टेप्स और चुनौतियां शामिल हैं

  • मुख्य
  • अन्य
  • डाटा माइनिंग प्रोसेस: मॉडल, प्रोसेस स्टेप्स और चुनौतियां शामिल हैं

data mining process models

समस्याओं को खत्म करने के लिए हमारे साधन का प्रयास करें

डेटा माइनिंग प्रोसेस पर यह ट्यूटोरियल डेटा एक्सट्रैक्शन प्रक्रिया में शामिल डाटा माइनिंग मॉडल, स्टेप्स और चुनौतियाँ शामिल करता है:

डाटा माइनिंग तकनीक इसमें हमारे पिछले ट्यूटोरियल के बारे में विस्तार से बताया गया सभी के लिए पूरा डाटा माइनिंग प्रशिक्षण । डेटा माइनिंग विज्ञान और प्रौद्योगिकी की दुनिया में एक आशाजनक क्षेत्र है।

डेटा माइनिंग, जिसे डेटाबेस में नॉलेज डिस्कवरी के रूप में भी जाना जाता है, डेटाबेस और डेटा वेयरहाउस में संग्रहीत डेटा की बड़ी मात्रा से उपयोगी जानकारी की खोज करने की एक प्रक्रिया है। यह विश्लेषण कंपनियों में निर्णय लेने की प्रक्रियाओं के लिए किया जाता है।

डेटा माइनिंग को विभिन्न तकनीकों जैसे क्लस्टरिंग, एसोसिएशन और अनुक्रमिक पैटर्न विश्लेषण और निर्णय ट्री का उपयोग करके किया जाता है।

डाटा माइनिंग प्रोसेस

आप क्या सीखेंगे:

डाटा माइनिंग क्या है?

डेटा माइनिंग बड़ी मात्रा में डेटा से दिलचस्प पैटर्न और ज्ञान की खोज करने की एक प्रक्रिया है। डेटा स्रोतों में डेटाबेस, डेटा वेयरहाउस, वेब और अन्य सूचना रिपॉजिटरी या डेटा शामिल हो सकते हैं जो गतिशील रूप से सिस्टम में स्ट्रीम किए जाते हैं।

व्यवसायों को डेटा निष्कर्षण की आवश्यकता क्यों है?

बिग डेटा के आगमन के साथ, डेटा खनन अधिक प्रचलित हो गया है। बिग डेटा डेटा का बहुत बड़ा सेट है जिसका विश्लेषण कंप्यूटर द्वारा कुछ निश्चित पैटर्न, संघों और रुझानों को प्रकट करने के लिए किया जा सकता है, जो मनुष्यों द्वारा समझा जा सकता है। बिग डेटा में विभिन्न प्रकार और विभिन्न सामग्री के बारे में व्यापक जानकारी है।

इस प्रकार इस डेटा के साथ, मैनुअल हस्तक्षेप के साथ सरल आँकड़े काम नहीं करेंगे। यह जरूरत डाटा माइनिंग प्रक्रिया से पूरी होती है। यह सरल डेटा आँकड़ों से जटिल डेटा खनन एल्गोरिदम में परिवर्तन की ओर जाता है।

डेटा माइनिंग प्रक्रिया कच्चे डेटा जैसे लेनदेन, फ़ोटो, वीडियो, फ्लैट फ़ाइलों से प्रासंगिक जानकारी निकालेगी और स्वचालित रूप से कार्रवाई करने के लिए व्यवसायों के लिए उपयोगी रिपोर्ट उत्पन्न करने के लिए जानकारी संसाधित करेगी।

इस प्रकार, डेटा खनन प्रक्रिया व्यवसायों के लिए डेटा में पैटर्न और प्रवृत्तियों की खोज, डेटा का सारांश और प्रासंगिक जानकारी लेने के द्वारा बेहतर निर्णय लेने के लिए महत्वपूर्ण है।

एक प्रक्रिया के रूप में डेटा निष्कर्षण

कोई भी व्यावसायिक समस्या एक मॉडल बनाने के लिए कच्चे डेटा की जांच करेगी जो जानकारी का वर्णन करेगी और व्यवसाय द्वारा उपयोग की जाने वाली रिपोर्टों को सामने लाएगी। डेटा स्रोतों और डेटा प्रारूपों से एक मॉडल का निर्माण एक पुनरावृत्त प्रक्रिया है क्योंकि कच्चे डेटा कई अलग-अलग स्रोतों और कई रूपों में उपलब्ध है।

दिन-प्रतिदिन डेटा बढ़ रहा है, इसलिए जब एक नया डेटा स्रोत पाया जाता है, तो यह परिणामों को बदल सकता है।

नीचे प्रक्रिया की रूपरेखा दी गई है।

डाटा माइनिंग प्रोसेस की रूपरेखा

(छवि स्रोत )

डेटा खनन मॉडल

विनिर्माण, विपणन, रसायन और एयरोस्पेस जैसे कई उद्योग डेटा खनन का लाभ उठा रहे हैं। इस प्रकार मानक और विश्वसनीय डेटा खनन प्रक्रियाओं की मांग में भारी वृद्धि हुई है।

महत्वपूर्ण डेटा खनन मॉडल में शामिल हैं:

# 1) डाटा माइनिंग के लिए क्रॉस-इंडस्ट्री स्टैंडर्ड प्रोसेस (CRISP-DM)

CRISP-DM एक विश्वसनीय डेटा माइनिंग मॉडल है जिसमें छह चरण होते हैं। यह एक चक्रीय प्रक्रिया है जो डेटा माइनिंग प्रक्रिया को एक संरचित दृष्टिकोण प्रदान करती है। छह चरणों को किसी भी क्रम में लागू किया जा सकता है, लेकिन इसे कभी-कभी पिछले चरणों और कार्यों की पुनरावृत्ति की आवश्यकता होगी।

.7z फ़ाइल क्या है?

CRISP-DM के छह चरणों में शामिल हैं:

# 1) बिजनेस अंडरस्टैंडिंग: इस चरण में, व्यवसायों के लक्ष्य निर्धारित किए जाते हैं और महत्वपूर्ण कारक जो लक्ष्य को प्राप्त करने में मदद करेंगे, की खोज की जाती है।

# 2) डेटा अंडरस्टैंडिंग: यह चरण पूरे डेटा को इकट्ठा करेगा और टूल में डेटा को पॉप्युलेट करेगा (यदि किसी टूल का उपयोग कर रहा है)। डेटा को इसके डेटा स्रोत, स्थान के साथ सूचीबद्ध किया गया है, यह कैसे प्राप्त किया जाता है और यदि कोई समस्या सामने आई है। इसकी पूर्णता की जाँच करने के लिए डेटा की कल्पना की जाती है और उसकी पुष्टि की जाती है।

# 3) डेटा तैयारी: इस कदम में उपयुक्त डेटा का चयन करना, सफाई करना, डेटा से विशेषताओं का निर्माण करना, कई डेटाबेस से डेटा को एकीकृत करना शामिल है।

# 4) मॉडलिंग: डेटा खनन तकनीक जैसे निर्णय-पेड़ का चयन, चयनित मॉडल का मूल्यांकन करने के लिए परीक्षण डिज़ाइन तैयार करना, डेटासेट से मॉडल बनाना और परिणाम पर चर्चा करने के लिए विशेषज्ञों के साथ निर्मित मॉडल का आकलन करना इस चरण में किया जाता है।

# 5) मूल्यांकन: यह चरण उस डिग्री को निर्धारित करेगा, जिसके परिणामस्वरूप मॉडल व्यावसायिक आवश्यकताओं को पूरा करता है। वास्तविक अनुप्रयोगों पर मॉडल का परीक्षण करके मूल्यांकन किया जा सकता है। किसी भी गलतियों या चरणों के लिए मॉडल की समीक्षा की जाती है जिसे दोहराया जाना चाहिए।

# 6) तैनाती: इस चरण में एक तैनाती योजना बनाई गई है, इसकी उपयोगिता की जांच के लिए डेटा माइनिंग मॉडल परिणामों की निगरानी और रखरखाव के लिए रणनीति बनाई गई है, अंतिम रिपोर्ट बनाई गई है और किसी भी गलती की जांच करने के लिए पूरी प्रक्रिया की समीक्षा की जाती है और देखें कि क्या कोई कदम दोहराया जाता है ।

CRISP - डीएम मॉडल

(छवि स्रोत )

# 2) SEMMA (नमूना, अन्वेषण, संशोधित, मॉडल, मूल्यांकन)

एसएएसएमए एसएएस संस्थान द्वारा विकसित एक अन्य डेटा माइनिंग पद्धति है। संक्षिप्त SEMMA नमूना के लिए खड़ा है, अन्वेषण, संशोधित, मॉडल, मूल्यांकन।

SEMMA खोजपूर्ण सांख्यिकीय और विज़ुअलाइज़ेशन तकनीकों को लागू करना आसान बनाता है, महत्वपूर्ण पूर्वानुमानित चर का चयन और रूपांतरण करता है, परिणाम के साथ बाहर आने के लिए चर का उपयोग करके एक मॉडल बनाता है, और इसकी सटीकता की जांच करता है। SEMMA भी एक उच्च पुनरावृत्ति चक्र द्वारा संचालित है।

वायरस से छुटकारा पाने के लिए सबसे अच्छा कार्यक्रम

SEMMA

SEMMA में कदम

  1. नमूना: इस चरण में, एक बड़ा डेटासेट निकाला जाता है और एक नमूना जो पूर्ण डेटा का प्रतिनिधित्व करता है उसे बाहर निकाल दिया जाता है। नमूनाकरण से कम्प्यूटेशनल लागत और प्रसंस्करण समय कम हो जाएगा।
  2. अन्वेषण करना: डेटा की बेहतर समझ के लिए किसी भी बाहरी और विसंगतियों के लिए डेटा का पता लगाया जाता है। रुझानों और समूहों का पता लगाने के लिए डेटा को नेत्रहीन रूप से जांचा जाता है।
  3. संशोधित करें: इस चरण में, डेटा के हेरफेर जैसे कि ग्रुपिंग, और सबग्रुपिंग का निर्माण मॉडल को ध्यान में रखकर किया जाता है।
  4. नमूना: अन्वेषण और संशोधनों के आधार पर, डेटा में पैटर्न की व्याख्या करने वाले मॉडल का निर्माण किया जाता है।
  5. आकलन करें: निर्मित मॉडल की उपयोगिता और विश्वसनीयता का आकलन इस चरण में किया जाता है। असली डेटा के खिलाफ मॉडल का परीक्षण यहां किया जाता है।

SEMMA और CRISP दोनों ही नॉलेज डिस्कवरी प्रोसेस के लिए काम करते हैं। एक बार मॉडल बन जाने के बाद, उन्हें व्यवसायों और शोध कार्यों के लिए तैनात किया जाता है।

डेटा खनन प्रक्रिया में कदम

डाटा माइनिंग प्रोसेस को दो भागों में बांटा जाता है यानी डेटा प्रीप्रोसेसिंग और डेटा माइनिंग। डेटा प्रीप्रोसेसिंग में डेटा की सफाई, डेटा एकीकरण, डेटा में कमी और डेटा परिवर्तन शामिल हैं। डेटा माइनिंग पार्ट डेटा माइनिंग, पैटर्न मूल्यांकन और डेटा का ज्ञान प्रतिनिधित्व करता है।

डाटा माइनिंग प्रोसेस - स्टेप्स

डाटा माइनिंग प्रोसेस में विभिन्न चरण

(छवि स्रोत )

हम डेटा को प्रीप्रोसेस क्यों करते हैं?

ऐसे कई कारक हैं जो डेटा की उपयोगिता जैसे सटीकता, पूर्णता, स्थिरता, समयबद्धता निर्धारित करते हैं। यदि इच्छित उद्देश्य को पूरा करता है तो डेटा को गुणवत्ता प्रदान करना है। इस प्रकार डेटा खनन प्रक्रिया में प्रीप्रोसेसिंग महत्वपूर्ण है। डेटा प्रीप्रोसेसिंग में शामिल प्रमुख कदम नीचे दिए गए हैं।

(1) डेटा सफाई

डाटा माइनिंग डाटा माइनिंग का पहला कदम है। यह गंदे डेटा के रूप में महत्व रखता है यदि खनन में सीधे उपयोग किया जाता है, प्रक्रियाओं में भ्रम पैदा कर सकता है और गलत परिणाम दे सकता है।

मूल रूप से, इस कदम में संग्रह से शोर या अपूर्ण डेटा को निकालना शामिल है। आम तौर पर स्वयं द्वारा डेटा को साफ करने वाले कई तरीके उपलब्ध हैं, लेकिन वे मजबूत नहीं हैं।

इस कदम से नियमित सफाई का काम पूरा होता है:

(i) मिसिंग डेटा भरें:

गुम डेटा को तरीकों से भरा जा सकता है:

  • टपल को अनदेखा करना।
  • लापता मान को मैन्युअल रूप से भरना।
  • केंद्रीय प्रवृत्ति, मंझला या के उपाय का उपयोग करें
  • सबसे संभावित मूल्य में भरना।

(ii) शोर डेटा निकालें: रैंडम त्रुटि को शोर डेटा कहा जाता है।

शोर को हटाने के तरीके हैं:

बिनिंग: बिनिंग विधियों को बाल्टी या डिब्बे में मूल्यों को छाँटकर लागू किया जाता है। पड़ोसी मूल्यों से परामर्श करके चौरसाई किया जाता है।

बिनिंग को बिन से चिकना करके किया जाता है यानी प्रत्येक बिन को बिन के माध्यम से बदल दिया जाता है। एक मंझला द्वारा चिकना, जहां प्रत्येक बिन मूल्य को एक बिन माध्य द्वारा प्रतिस्थापित किया जाता है। बिन सीमाओं द्वारा चौरसाई यानी बिन में न्यूनतम और अधिकतम मान बिन सीमाएं हैं और प्रत्येक बिन मूल्य को निकटतम सीमा मूल्य द्वारा प्रतिस्थापित किया जाता है।

  • बाहरी लोगों की पहचान करना
  • विसंगतियों का समाधान

# 2) डेटा एकीकरण

जब कई विषम डेटा स्रोत जैसे डेटाबेस, डेटा क्यूब्स या फ़ाइलों को विश्लेषण के लिए जोड़ दिया जाता है, तो इस प्रक्रिया को डेटा एकीकरण कहा जाता है। यह डेटा माइनिंग प्रक्रिया की सटीकता और गति में सुधार करने में मदद कर सकता है।

अलग-अलग डेटाबेस में डेटाबेस में अतिरेक पैदा करके चर के विभिन्न नामकरण परंपराएं हैं। डेटा की विश्वसनीयता को प्रभावित किए बिना डेटा एकीकरण से अतिरेक और विसंगतियों को दूर करने के लिए अतिरिक्त डेटा क्लीनिंग की जा सकती है।

डेटा माइग्रेशन को डेटा माइग्रेशन टूल जैसे कि Oracle डेटा सर्विस इंटीग्रेटर और Microsoft SQL आदि का उपयोग करके किया जा सकता है।

# 3) डेटा रिडक्शन

यह तकनीक डेटा के संग्रह से विश्लेषण के लिए प्रासंगिक डेटा प्राप्त करने के लिए लागू की जाती है। अखंडता को बनाए रखते हुए प्रतिनिधित्व का आकार मात्रा में बहुत छोटा है। डेटा रिडक्शन को Naive Bayes, Decision Trees, Neural network आदि जैसे तरीकों का उपयोग करके किया जाता है।

डेटा कटौती की कुछ रणनीतियाँ हैं:

मशीन लर्निंग बनाम आर्टिफिशियल इंटेलिजेंस बनाम डेटा माइनिंग
  • आयाम में कमी: डेटासेट में विशेषताओं की संख्या कम करना।
  • संख्या में कमी: डेटा प्रतिनिधित्व के छोटे रूपों द्वारा मूल डेटा वॉल्यूम को प्रतिस्थापित करना।
  • आधार - सामग्री संकोचन: मूल डेटा का संकुचित प्रतिनिधित्व।

# 4) डेटा परिवर्तन

इस प्रक्रिया में, डेटा को डाटा माइनिंग प्रक्रिया के लिए उपयुक्त रूप में रूपांतरित किया जाता है। डेटा को समेकित किया जाता है ताकि खनन प्रक्रिया अधिक कुशल हो और पैटर्न समझने में आसान हो। डेटा ट्रांसफ़ॉर्मेशन में डेटा मैपिंग और कोड जनरेशन प्रक्रिया शामिल है।

डेटा परिवर्तन की रणनीतियाँ हैं:

  • चौरसाई: क्लस्टरिंग, रिग्रेशन तकनीक आदि का उपयोग कर डेटा से शोर को दूर करना।
  • एकत्रीकरण: सारांश संचालन डेटा पर लागू होते हैं।
  • सामान्यीकरण: एक छोटी सीमा के भीतर गिरने के लिए डेटा की स्केलिंग।
  • विवेक: संख्यात्मक डेटा के कच्चे मूल्यों को अंतराल द्वारा प्रतिस्थापित किया जाता है। उदाहरण के लिए, आयु।

# 5) डाटा माइनिंग

डेटा माइनिंग बड़ी मात्रा में डेटा से दिलचस्प पैटर्न और ज्ञान की पहचान करने की एक प्रक्रिया है। इन चरणों में, डेटा पैटर्न निकालने के लिए बुद्धिमान पैटर्न लागू होते हैं। डेटा को पैटर्न के रूप में दर्शाया जाता है और मॉडल को वर्गीकरण और क्लस्टरिंग तकनीकों का उपयोग करके संरचित किया जाता है।

# 6) पैटर्न का मूल्यांकन

इस कदम में दिलचस्प उपायों के आधार पर ज्ञान का प्रतिनिधित्व करने वाले दिलचस्प पैटर्न की पहचान करना शामिल है। उपयोगकर्ता द्वारा डेटा को समझने योग्य बनाने के लिए डेटा सारांश और विज़ुअलाइज़ेशन विधियों का उपयोग किया जाता है।

# 7) ज्ञान का प्रतिनिधित्व

ज्ञान निरूपण एक ऐसा चरण है जहां डेटा दृश्य और ज्ञान प्रतिनिधित्व उपकरण का उपयोग खनन डेटा का प्रतिनिधित्व करने के लिए किया जाता है। रिपोर्ट, टेबल आदि के रूप में डेटा की कल्पना की जाती है।

Oracle DBMS में डाटा माइनिंग प्रोसेस

RDBMS पंक्तियों और स्तंभों के साथ तालिकाओं के रूप में डेटा का प्रतिनिधित्व करता है। डेटाबेस क्वेश्चन लिखकर डेटा एक्सेस किया जा सकता है।

CRISP-DM का उपयोग करके Oracle डेटाबेस जैसे रिलेशनल डेटाबेस मैनेजमेंट सिस्टम डेटा माइनिंग का समर्थन करते हैं। ओरेकल डेटाबेस की सुविधाएं डेटा तैयार करने और समझने में उपयोगी हैं। Oracle जावा इंटरफेस, PL / SQL इंटरफ़ेस, स्वचालित डेटा खनन, SQL फ़ंक्शन और ग्राफ़िकल यूज़र इंटरफेस के माध्यम से डेटा माइनिंग का समर्थन करता है।

डेटावेयर प्रक्रिया डाटावेयरहाउस में

एक डेटा वेयरहाउस एक बहुआयामी डेटा संरचना के लिए मॉडलिंग किया जाता है जिसे डेटा क्यूब कहा जाता है। डेटा क्यूब में प्रत्येक सेल कुछ समग्र उपायों का मूल्य संग्रहीत करता है।

ओएलएपी शैली (ऑनलाइन एनालिटिकल प्रोसेसिंग) में किए गए बहुआयामी अंतरिक्ष में डेटा खनन जहां यह बारीकियों के विभिन्न स्तरों पर आयामों के कई संयोजनों की खोज की अनुमति देता है।

डेटा निष्कर्षण के अनुप्रयोग क्या हैं?

उन क्षेत्रों की सूची जहां डेटा खनन का व्यापक रूप से उपयोग किया जाता है, में शामिल हैं:

# 1) वित्तीय डेटा विश्लेषण: डेटा माइनिंग का व्यापक रूप से बैंकिंग, निवेश, क्रेडिट सेवाओं, बंधक, ऑटोमोबाइल ऋण और बीमा और स्टॉक निवेश सेवाओं में उपयोग किया जाता है। इन स्रोतों से एकत्र किया गया डेटा पूर्ण, विश्वसनीय और उच्च गुणवत्ता का है। यह व्यवस्थित डेटा विश्लेषण और डेटा खनन की सुविधा देता है।

# 2) खुदरा और दूरसंचार उद्योग: खुदरा क्षेत्र बिक्री, ग्राहक खरीदारी इतिहास, माल परिवहन, खपत और सेवा पर भारी मात्रा में डेटा एकत्र करता है। रिटेल डेटा माइनिंग ग्राहक खरीदने के व्यवहार, ग्राहक खरीदारी पैटर्न और रुझानों की पहचान करने में मदद करता है, ग्राहक सेवा की गुणवत्ता में सुधार, बेहतर ग्राहक प्रतिधारण और संतुष्टि।

# 3) विज्ञान और इंजीनियरिंग: डेटा माइनिंग कंप्यूटर साइंस और इंजीनियरिंग सिस्टम की स्थिति पर नजर रखने, सिस्टम के प्रदर्शन को बेहतर बनाने, सॉफ्टवेयर बग्स को अलग करने, सॉफ्टवेयर साहित्यिक चोरी का पता लगाने और सिस्टम की खराबी को पहचानने में मदद कर सकते हैं।

# 4) घुसपैठ का पता लगाने और रोकथाम: घुसपैठ को किसी भी ऐसे क्रियाकलाप के रूप में परिभाषित किया जाता है जो नेटवर्क संसाधनों की अखंडता, गोपनीयता या उपलब्धता को खतरे में डालता है। डेटा माइनिंग मेथड अपने प्रदर्शन को बढ़ाने के लिए घुसपैठ का पता लगाने और रोकथाम प्रणाली में मदद कर सकता है।

# 5) सिफारिश करने वाले सिस्टम: अनुशंसित सिस्टम उपभोक्ताओं की उत्पाद सिफारिशें करके उपभोक्ताओं की मदद करता है जो उपयोगकर्ताओं के लिए रुचि रखते हैं।

डाटा माइनिंग की चुनौतियां

नीचे सूचीबद्ध डेटा माइनिंग में शामिल विभिन्न चुनौतियाँ हैं।

  1. डेटा माइनिंग के लिए बड़े डेटाबेस और डेटा संग्रह की आवश्यकता होती है जिसे प्रबंधित करना मुश्किल होता है।
  2. डेटा माइनिंग प्रक्रिया के लिए ऐसे डोमेन विशेषज्ञों की आवश्यकता होती है जिन्हें ढूंढना फिर से मुश्किल हो।
  3. विषम डेटाबेस से एकीकरण एक जटिल प्रक्रिया है।
  4. डेटा खनन परिणामों का उपयोग करने के लिए संगठनात्मक स्तर की प्रथाओं को संशोधित करने की आवश्यकता है। प्रक्रिया को बहाल करने के लिए प्रयास और लागत की आवश्यकता होती है।

निष्कर्ष

डेटा माइनिंग एक पुनरावृत्त प्रक्रिया है जहाँ खनन प्रक्रिया को परिष्कृत किया जा सकता है, और अधिक कुशल परिणाम प्राप्त करने के लिए नए डेटा को एकीकृत किया जा सकता है। डेटा माइनिंग प्रभावी, मापनीय और लचीले डेटा विश्लेषण की आवश्यकता को पूरा करता है।

इसे सूचना प्रौद्योगिकी का स्वाभाविक मूल्यांकन माना जा सकता है। एक ज्ञान खोज प्रक्रिया के रूप में, डेटा तैयारी और डेटा खनन कार्य डेटा खनन प्रक्रिया को पूरा करते हैं।

डेटा माइनिंग प्रोसेस को किसी भी तरह के डेटा जैसे डेटाबेस डेटा और एडवांस्ड डेटाबेस जैसे टाइम सीरीज़ आदि पर किया जा सकता है। डेटा माइनिंग प्रोसेस अपनी चुनौतियों के साथ ही आता है।

डेटा माइनिंग उदाहरणों के बारे में अधिक जानने के लिए हमारे आगामी ट्यूटोरियल के लिए बने रहें !!

PREV ट्यूटोरियल | अगले ट्यूटोरियल

अनुशंसित पाठ

^