मेन्यू

ETL परीक्षण डेटा वेयरहाउस परीक्षण ट्यूटोरियल (एक पूर्ण गाइड)

etl testing data warehouse testing tutorial

समस्याओं को खत्म करने के लिए हमारे साधन का प्रयास करें

ETL परीक्षण / डेटा वेयरहाउस प्रक्रिया और चुनौतियाँ:

आज मुझे एक पल लेने दो और मेरे परीक्षक मित्रों यानी ईटीएल परीक्षण (एक्स्ट्रेक्ट, ट्रांसफ़ॉर्म, और लोड) के लिए बहुत अधिक मांग और आगामी कौशलों में से एक के बारे में अपने परीक्षण बिरादरी को समझाइए।

यह ट्यूटोरियल आपको ईटीएल परीक्षण के बारे में एक पूर्ण विचार और ईटीएल प्रक्रिया का परीक्षण करने के लिए क्या करता है, प्रस्तुत करेगा।

इस श्रृंखला में संपूर्ण सूची ट्यूटोरियल:

यह देखा गया है कि इंडिपेंडेंट वेरिफिकेशन एंड वैलिडेशन से बाजार की बड़ी संभावनाएं बढ़ रही हैं और कई कंपनियां अब इसे संभावित कारोबारी लाभ के रूप में देख रही हैं।

ETL टेस्टिंग _ डेटा वेयरहाउस टेस्टिंग - टिप्स, तकनीक, प्रक्रिया और चुनौतियाँ

प्रौद्योगिकी, प्रक्रिया और समाधानों के आधार पर कई क्षेत्रों में वितरित किए जाने वाले सेवा प्रसाद के संदर्भ में ग्राहकों को उत्पादों की एक अलग श्रृंखला की पेशकश की गई है। ETL या डेटा वेयरहाउस उन प्रसादों में से एक है जो तेजी से और सफलतापूर्वक विकसित हो रहे हैं।

ईटीएल प्रक्रिया

ईटीएल प्रक्रिया के माध्यम से, डेटा को स्रोत प्रणालियों से प्राप्त किया जाता है, जिसे व्यावसायिक नियमों के अनुसार रूपांतरित किया जाता है और अंत में लक्ष्य प्रणाली (डेटा वेयरहाउस) में लोड किया जाता है। डेटा वेयरहाउस एक एंटरप्राइज़-वाइड स्टोर है जिसमें एकीकृत डेटा होता है जो व्यापार निर्णय लेने की प्रक्रिया में सहायक होता है। यह बिजनेस इंटेलिजेंस का एक हिस्सा है।

आप क्या सीखेंगे:

संगठनों को डेटा वेयरहाउस की आवश्यकता क्यों है?

संगठित आईटी प्रथाओं वाले संगठन अगले स्तर के प्रौद्योगिकी परिवर्तन के लिए तत्पर हैं। वे अब आसान-से-इंटरऑपरेट डेटा के साथ खुद को और अधिक परिचालन करने की कोशिश कर रहे हैं।

यह कहते हुए कि डेटा किसी भी संगठन का सबसे महत्वपूर्ण हिस्सा है, यह रोजमर्रा का डेटा या ऐतिहासिक डेटा हो सकता है। डेटा किसी भी रिपोर्ट की रीढ़ है और रिपोर्ट आधार रेखा है जिस पर सभी महत्वपूर्ण प्रबंधन निर्णय लिए जाते हैं।

अधिकांश कंपनियां वास्तविक डेटा के साथ-साथ ऐतिहासिक डेटा को संग्रहीत और मॉनिटर करने के लिए अपने डेटा वेयरहाउस के निर्माण के लिए एक कदम आगे ले जा रही हैं। एक कुशल डेटा वेयरहाउस को तैयार करना आसान काम नहीं है। कई संगठनों ने वितरित प्रौद्योगिकी पर चलने वाले विभिन्न अनुप्रयोगों के साथ विभागों को वितरित किया है।

विभिन्न विभागों से विभिन्न डेटा स्रोतों के बीच एक निर्दोष एकीकरण करने के लिए ETL टूल कार्यरत है। ईटीएल उपकरण विभिन्न स्रोतों से डेटा निकालने, एक इंटीग्रेटर के रूप में काम करेगा; व्यवसाय परिवर्तन नियमों के आधार पर इसे पसंदीदा प्रारूप में बदलना और इसे ज्ञात DB में समतुल्य लोड करना डेटा वेयरहाउस हैं।

अच्छी तरह से नियोजित, अच्छी तरह से परिभाषित और प्रभावी परीक्षण गुंजाइश चिकनी रूपांतरण की गारंटी देती है उत्पादन के लिए परियोजना की। ईटीएल प्रक्रियाओं को सत्यापित करने और विशेषज्ञों के एक स्वतंत्र समूह द्वारा यह सुनिश्चित करने के बाद कि डेटा वेयरहाउस ठोस और मजबूत है, एक व्यवसाय वास्तविक उछाल प्राप्त करता है।

ETL या डेटा वेयरहाउस टेस्टिंग को चार अलग-अलग कामों में वर्गीकृत किया गया है तकनीक या ईटीएल उपकरणों का उपयोग किए बिना:

  • नया डेटा वेयरहाउस परीक्षण - न्यू डीडब्ल्यू को स्क्रैच से बनाया और सत्यापित किया गया है। डेटा इनपुट को ग्राहकों की आवश्यकताओं और विभिन्न डेटा स्रोतों से लिया जाता है और नए डेटा वेयरहाउस को ETL टूल की मदद से बनाया और सत्यापित किया जाता है।
  • प्रवासन परीक्षण - इस प्रकार के प्रोजेक्ट में ग्राहक के पास मौजूदा DW और ETL का काम होगा, लेकिन दक्षता में सुधार के लिए वे नए टूल को देखना चाहते हैं।
  • अनुरोध बदलो - इस प्रकार के प्रोजेक्ट में अलग-अलग स्रोतों से एक मौजूदा DW में नया डेटा जोड़ा जाता है। इसके अलावा, ऐसी स्थिति हो सकती है जहां ग्राहक को अपने मौजूदा व्यापार नियम को बदलने की आवश्यकता होती है या वे नए नियम को एकीकृत कर सकते हैं।
  • रिपोर्ट परीक्षण - रिपोर्ट किसी भी डाटा वेयरहाउस का अंतिम परिणाम और मूल प्रस्ताव है जिसके लिए DW बनाता है। रिपोर्ट को रिपोर्ट और गणना में लेआउट, डेटा को मान्य करके परीक्षण किया जाना चाहिए।

ईटीएल प्रक्रिया

() ध्यान दें : बढ़े हुए दृश्य के लिए चित्र पर क्लिक करें)

ईटीएल परीक्षण

ईटीएल परीक्षण तकनीक

1) डेटा परिवर्तन परीक्षण : सत्यापित करें कि डेटा को विभिन्न व्यावसायिक आवश्यकताओं और नियमों के अनुसार सही ढंग से रूपांतरित किया गया है।

2) सोर्स टू टारगेट काउंट टेस्टिंग : सुनिश्चित करें कि लक्ष्य में लोड किए गए रिकॉर्ड की गिनती अपेक्षित गणना के साथ मेल खा रही है।

3) सोर्स टू टार्गेट डेटा टेस्टिंग : सुनिश्चित करें कि सभी अनुमानित डेटा बिना किसी डेटा हानि और छंटनी के डेटा वेयरहाउस में लोड किया गया है।

4) डेटा गुणवत्ता परीक्षण : सुनिश्चित करें कि ETL एप्लिकेशन उचित रूप से अस्वीकार करता है, डिफ़ॉल्ट मानों के साथ बदलता है और अमान्य डेटा रिपोर्ट करता है।

5) प्रदर्शन परीक्षण : सुनिश्चित करें कि डेटा बेहतर प्रदर्शन और मापनीयता की पुष्टि करने के लिए निर्धारित और अपेक्षित समय सीमा के भीतर डेटा वेयरहाउस में लोड किया गया है।

सेलेनियम जावा साक्षात्कार सवाल और जवाब

6) उत्पादन सत्यापन परीक्षण: उत्पादन प्रणाली में डेटा को सत्यापित करें और स्रोत डेटा के खिलाफ तुलना करें।

7) डेटा एकीकरण परीक्षण : सुनिश्चित करें कि विभिन्न स्रोतों से डेटा लक्ष्य प्रणाली में ठीक से लोड किया गया है और सभी थ्रेशोल्ड मानों की जांच की जाती है।

8) आवेदन प्रवासन परीक्षण : इस परीक्षण में, यह सुनिश्चित किया जाता है कि ETL एप्लिकेशन एक नए बॉक्स या प्लेटफॉर्म पर जाने पर ठीक काम कर रहा है।

9) डेटा और बाधा की जाँच करें : इस मामले में डेटाटाइप, लंबाई, सूचकांक, बाधाओं आदि का परीक्षण किया जाता है।

10) डुप्लीकेट डेटा की जाँच : यदि लक्ष्य प्रणाली में कोई डुप्लिकेट डेटा मौजूद है तो परीक्षण करें। डुप्लिकेट डेटा से गलत विश्लेषणात्मक रिपोर्ट हो सकती है।

उपरोक्त ईटीएल परीक्षण विधियों के अलावा, सिस्टम एकीकरण परीक्षण, उपयोगकर्ता स्वीकृति परीक्षण, वृद्धिशील परीक्षण, प्रतिगमन परीक्षण, रिटायरिंग और नेविगेशन परीक्षण जैसे अन्य परीक्षण तरीके भी सुनिश्चित करने के लिए किए जाते हैं कि सब कुछ सुचारू और विश्वसनीय है।

ETL / डेटा वेयरहाउस परीक्षण प्रक्रिया

स्वतंत्र सत्यापन और सत्यापन के अंतर्गत आने वाले किसी भी अन्य परीक्षण के समान, ETL भी उसी चरण से गुजरता है।

  • आवश्यकता समझ
  • सत्यापित किया जा रहा
  • परीक्षण का अनुमान कई तालिकाओं के आधार पर, नियमों की जटिलता, डेटा की मात्रा और नौकरी का प्रदर्शन।
  • परीक्षण योजना परीक्षण अनुमान और व्यावसायिक आवश्यकता से प्राप्त इनपुट के आधार पर। हमें यहां यह पहचानने की आवश्यकता है कि क्या कार्यक्षेत्र है और क्या कार्यक्षेत्र है। हम इस चरण में निर्भरता, जोखिम और शमन योजनाओं की भी तलाश करते हैं।
  • डिजाइनिंग परीक्षण के मामले और सभी उपलब्ध इनपुट से परिदृश्यों का परीक्षण करें। हमें मैपिंग दस्तावेज़ और एसक्यूएल स्क्रिप्ट भी डिजाइन करने की आवश्यकता है।
  • एक बार जब सभी परीक्षण मामले तैयार हो जाते हैं और अनुमोदित हो जाते हैं, तो परीक्षण टीम पूर्व-निष्पादन जांच और करने के लिए आगे बढ़ती है परीक्षण डेटा की तैयारी परीक्षण के लिए
  • अंत में, निष्पादन मानदंडों से पूरा होने तक निष्पादन किया जाता है। इसलिए, निष्पादन चरण में ईटीएल जॉब्स, मॉनिटरिंग जॉब रन, एसक्यूएल स्क्रिप्ट निष्पादन, दोष लॉगिंग, दोष निवृत्ति और प्रतिगमन परीक्षण शामिल हैं।
  • सफल समापन पर, एक सारांश रिपोर्ट तैयार की जाती है और समापन प्रक्रिया की जाती है। इस चरण में, अगले चरण में नौकरी या कोड को बढ़ावा देने के लिए साइन ऑफ किया जाता है।

पहले दो चरणों यानी आवश्यकता समझ और सत्यापन को ईटीएल परीक्षण प्रक्रिया के पूर्व चरणों के रूप में माना जा सकता है।

तो, मुख्य प्रक्रिया को निम्नानुसार दर्शाया जा सकता है:

मुख्य प्रक्रिया

परीक्षण रणनीति को परिभाषित करना आवश्यक है जिसे वास्तविक परीक्षण शुरू करने से पहले हितधारकों द्वारा पारस्परिक रूप से स्वीकार किया जाना चाहिए। एक अच्छी तरह से परिभाषित परीक्षण रणनीति यह सुनिश्चित करेगी कि परीक्षण की आकांक्षा को पूरा करने के लिए सही दृष्टिकोण का पालन किया गया है।

ETL / डेटा वेयरहाउस परीक्षण में परीक्षण टीम द्वारा बड़े पैमाने पर SQL बयान लिखने की आवश्यकता हो सकती है या शायद विकास टीम द्वारा प्रदान की गई SQL को सिलाई कर सकता है। किसी भी मामले में, एक परीक्षण टीम को उन परिणामों के बारे में पता होना चाहिए जो वे उन एसक्यूएल बयानों का उपयोग करने की कोशिश कर रहे हैं।

डेटाबेस और डेटा वेयरहाउस टेस्टिंग के बीच अंतर

एक गलतफहमी है कि डेटाबेस परीक्षण और डेटा वेयरहाउस यह समान है जबकि तथ्य यह है कि दोनों परीक्षण में अलग दिशा रखते हैं।

  • डेटाबेस टेस्टिंग डेटाबेस के प्रकार के सामान्य रूप से ओएलटीपी (ऑनलाइन ट्रांजेक्शन प्रोसेसिंग) के साथ डेटा के एक छोटे पैमाने का उपयोग करके किया जाता है, जबकि ओएलएपी (ऑनलाइन एनालिटिकल प्रोसेसिंग) डेटाबेस से डेटा के साथ बड़ी मात्रा में डेटा वेयरहाउस टेस्टिंग की जाती है।
  • डेटाबेस टेस्टिंग में आम तौर पर डेटा को समान स्रोतों से लगातार इंजेक्ट किया जाता है जबकि डेटा वेयरहाउस टेस्टिंग में अधिकांश डेटा विभिन्न प्रकार के डेटा स्रोतों से आता है जो क्रमिक रूप से असंगत होते हैं।
  • हम आम तौर पर डेटाबेस परीक्षण में केवल CRUD (क्रिएट, रीड, अपडेट और डिलीट) ऑपरेशन करते हैं जबकि डेटा वेयरहाउस टेस्टिंग में हम रीड-ओनली (सिलेक्ट) ऑपरेशन का उपयोग करते हैं।
  • डीबी परीक्षण में सामान्यीकृत डेटाबेस का उपयोग किया जाता है, जबकि डेटा वेयरहाउस परीक्षण में डीमोरलाइज्ड डीबी का उपयोग किया जाता है।

कई तरह के सार्वभौमिक सत्यापन हैं जिन्हें किसी भी प्रकार के डेटा वेयरहाउस परीक्षण के लिए किया जाना है।

नीचे उन वस्तुओं की सूची दी गई है जिन्हें इस परीक्षण में सत्यापन के लिए आवश्यक माना गया है:

  • सत्यापित करें कि स्रोत से गंतव्य तक डेटा परिवर्तन अपेक्षित रूप से काम करता है
  • सत्यापित करें कि अपेक्षित डेटा लक्ष्य प्रणाली में जोड़ा गया है
  • सत्यापित करें कि सभी DB फ़ील्ड्स और फ़ील्ड डेटा बिना किसी ट्रंकेशन के लोड किए गए हैं
  • रिकॉर्ड गणना मैच के लिए डेटा चेकसम सत्यापित करें
  • सत्यापित करें कि अस्वीकृत डेटा के लिए सभी विवरणों के साथ उचित त्रुटि लॉग उत्पन्न होते हैं
  • NULL मान फ़ील्ड की जाँच करें
  • सत्यापित करें कि डुप्लिकेट डेटा लोड नहीं है
  • डेटा अखंडता की पुष्टि करें

=> जानिए ETL / डेटा वेयरहाउस टेस्टिंग और डेटाबेस टेस्टिंग के बीच अंतर ।

ईटीएल परीक्षण चुनौतियां

यह परीक्षण पारंपरिक परीक्षण से काफी अलग है। डेटा वेयरहाउस टेस्टिंग करते समय हमें कई चुनौतियों का सामना करना पड़ता है।

यहाँ कुछ चुनौतियाँ हैं जिनका मैंने अपने प्रोजेक्ट पर अनुभव किया है:

  • असंगत और डुप्लिकेट डेटा
  • ETL प्रक्रिया के दौरान डेटा की हानि
  • समावेशी परीक्षण की अनुपलब्धता
  • ईटीएल नौकरियों को अपने दम पर निष्पादित करने के लिए परीक्षकों के पास कोई विशेषाधिकार नहीं है
  • डेटा की मात्रा और जटिलता बहुत विशाल है
  • व्यापार प्रक्रिया और प्रक्रियाओं में दोष
  • परीक्षण डेटा प्राप्त करने और बनाने में परेशानी
  • अस्थिर परीक्षण वातावरण
  • गुम व्यापार की जानकारी

डेटा महत्वपूर्ण व्यवसाय निर्णय लेने के लिए व्यवसायों के लिए महत्वपूर्ण है। ETL परीक्षण एक महत्वपूर्ण भूमिका निभाता है जो यह सुनिश्चित करता है कि व्यवसाय की जानकारी सटीक, सुसंगत और विश्वसनीय है। इसके अलावा, यह उत्पादन में डेटा हानि के खतरे को कम करता है।

आशा है कि ये युक्तियां यह सुनिश्चित करने में मदद करेंगी कि आपकी ईटीएल प्रक्रिया सही है और इसके द्वारा निर्मित डेटा वेयरहाउस आपके व्यवसाय के लिए एक प्रतिस्पर्धात्मक लाभ है।

ETL परीक्षण ट्यूटोरियल की पूरी सूची:

यह विशाल छपीपी की एक अतिथि पोस्ट है जो एक MNC में एक परीक्षण प्रबंधन भूमिका में काम कर रहा है। उन्हें बहु-प्रौद्योगिकी क्यूए परियोजनाओं, प्रक्रियाओं और टीमों के प्रबंधन में व्यापक अनुभव है।

क्या आपने ईटीएल परीक्षण पर काम किया है? कृपया नीचे अपना ईटीएल / डीडब्ल्यू परीक्षण सुझाव और चुनौतियां साझा करें।

अनुशंसित पाठ

^