न्यूरल नेटवर्क लर्निंग रूल्स - परसेप्ट्रान और हेब्बियन लर्निंग

neural network learning rules perceptron hebbian learning

न्यूरल नेटवर्क लर्निंग नियमों पर यह गहराई से ट्यूटोरियल उदाहरणों के साथ हेबियन सीखने और Perceptron लर्निंग एल्गोरिदम की व्याख्या करता है:

हमारे पिछले ट्यूटोरियल में हमने चर्चा की कृत्रिम तंत्रिका नेटवर्क जो न्यूरॉन्स नामक एक बड़ी संख्या में परस्पर जुड़े हुए तत्वों की वास्तुकला है।

ये न्यूरॉन्स वांछित आउटपुट देने के लिए प्राप्त इनपुट को संसाधित करते हैं। नोड्स या न्यूरॉन्स इनपुट्स, कनेक्शन वेट्स और एक्टिवेशन फ़ंक्शंस द्वारा जुड़े हुए हैं।

तंत्रिका नेटवर्क की मुख्य विशेषता इसकी सीखने की क्षमता है। तंत्रिका नेटवर्क खुद को ज्ञात उदाहरणों के साथ प्रशिक्षित करते हैं। एक बार जब नेटवर्क प्रशिक्षित हो जाता है, तो इसका उपयोग समस्या के अज्ञात मूल्यों को हल करने के लिए किया जा सकता है।

=> कम्प्लीट मशीन लर्निंग ट्रेनिंग सीरीज़ के माध्यम से पढ़ें

तंत्रिका नेटवर्क विभिन्न शिक्षण योजनाओं के माध्यम से सीखता है जिन्हें पर्यवेक्षित या अनुपयोगी शिक्षा के रूप में वर्गीकृत किया जाता है।

पर्यवेक्षित शिक्षण एल्गोरिदम में, लक्ष्य मान नेटवर्क के लिए जाने जाते हैं। यह वांछित आउटपुट (लक्ष्य) और इष्टतम प्रदर्शन के लिए वास्तविक आउटपुट के बीच त्रुटि को कम करने की कोशिश करता है। अनियोजित शिक्षण एल्गोरिदम में, लक्ष्य मान अज्ञात होते हैं और नेटवर्क स्वयं में गुच्छों को बनाकर इनपुट में छिपे हुए पैटर्न की पहचान करके सीखता है।

एक ANN में 3 भाग होते हैं यानी इनपुट, हिडन लेयर, और आउटपुट लेयर। एक एकल इनपुट परत और आउटपुट परत है जबकि कोई छिपी हुई परत या 1 या अधिक छिपी परतें नहीं हो सकती हैं जो नेटवर्क में मौजूद हो सकती हैं। इस संरचना के आधार पर एएनएन को एकल परत, बहुपरत, फीड-फॉरवर्ड या आवर्तक नेटवर्क में वर्गीकृत किया गया है।

आप क्या सीखेंगे:

• महत्वपूर्ण ANN शब्दावली
• तंत्रिका नेटवर्क लर्निंग नियमों की तुलना
  • पर्यवेक्षित शिक्षण एल्गोरिदम का वर्गीकरण
    • (1) ग्रेडिएंट डिसेंट लर्निंग
    • # 2) स्टोचैस्टिक लर्निंग
  • Unsupervised Learning Algorithms का वर्गीकरण
    • (१) हेब्बियन लर्निंग
    • # 2) प्रतिस्पर्धी लर्निंग
  • मैक कुलोच-पिट्स न्यूरॉन
  • हेब्बियन लर्निंग एलगोरिदम
    • हेब्बियन लर्निंग नियम का उदाहरण
  • परसेप्ट्रॉन लर्निंग एल्गोरिथम
    • परसेप्ट्रॉन लर्निंग नियम का उदाहरण
  • विधवा हॉफ लर्निंग एल्गोरिथम
• निष्कर्ष
  • अनुशंसित पाठ

महत्वपूर्ण ANN शब्दावली

एएनएन में विभिन्न शिक्षण नियमों को वर्गीकृत करने से पहले, आइए हम एएनएन से संबंधित कुछ महत्वपूर्ण शब्दावली को समझें।

(1) वजन: एएनएन में, प्रत्येक न्यूरॉन कनेक्शन लिंक के माध्यम से अन्य न्यूरॉन्स से जुड़ा होता है। ये लिंक एक वजन उठाते हैं। वजन में न्यूरॉन को इनपुट सिग्नल के बारे में जानकारी होती है। वज़न और इनपुट सिग्नल का उपयोग आउटपुट प्राप्त करने के लिए किया जाता है। वेट को एक मैट्रिक्स रूप में दर्शाया जा सकता है जिसे कनेक्शन मैट्रिक्स भी कहा जाता है।

प्रत्येक न्यूरॉन कनेक्शन वेट के माध्यम से अगली परत के हर दूसरे न्यूरॉन से जुड़ा होता है। इसलिए, यदि 'एन' नोड्स हैं और प्रत्येक नोड में 'एम' वजन है, तो वजन मैट्रिक्स होगा:

W1 नोड 1 से शुरू होने वाले वेट वेक्टर का प्रतिनिधित्व करता है। W11 1 से वेट वेक्टर का प्रतिनिधित्व करता है^{अनुसूचित जनजाति}पूर्ववर्ती परत का नोड 1^{अनुसूचित जनजाति}अगली परत का नोड। इसी तरह, विज, 'आइथ' प्रसंस्करण तत्व (न्यूरॉन) से अगली परत के 'जेठ' प्रसंस्करण तत्व तक वजन वेक्टर का प्रतिनिधित्व करता है।

# 2) बायस : इनपुट वेक्टर x (b) = 1 को इनपुट वेक्टर में जोड़कर पूर्वाग्रह को नेटवर्क में जोड़ा जाता है। पूर्वाग्रह भी w (b) द्वारा निरूपित भार वहन करता है।

पूर्वाग्रह न्यूरॉन के उत्पादन की गणना में एक महत्वपूर्ण भूमिका निभाता है। पूर्वाग्रह या तो सकारात्मक या नकारात्मक हो सकता है। एक सकारात्मक पूर्वाग्रह शुद्ध इनपुट वजन को बढ़ाता है जबकि नकारात्मक पूर्वाग्रह शुद्ध इनपुट को कम करता है।

# 3) थ्रेसहोल्ड: सक्रियण फ़ंक्शन में थ्रेशोल्ड मान का उपयोग किया जाता है। आउटपुट प्राप्त करने के लिए नेट इनपुट की तुलना थ्रेशोल्ड के साथ की जाती है। एनएन में, सक्रियण फ़ंक्शन को सीमा मूल्य के आधार पर परिभाषित किया गया है और आउटपुट की गणना की जाती है।

सीमा मूल्य है:

# 4) सीखने की दर : यह अल्फा द्वारा निरूपित किया गया है? सीखने की दर 0 से 1 तक होती है। इसका उपयोग एनएन की सीखने की प्रक्रिया के दौरान वजन समायोजन के लिए किया जाता है।

# 5) मोमेंटम फैक्टर : यह परिणामों के तेजी से अभिसरण के लिए जोड़ा जाता है। गति कारक को वजन में जोड़ा जाता है और आमतौर पर बैकप्रोपैजेशन नेटवर्क में उपयोग किया जाता है।

तंत्रिका नेटवर्क लर्निंग नियमों की तुलना

विभिन्न प्रकार के ANN के वर्गीकरण को नीचे दिखाया गया है।

पर्यवेक्षित शिक्षण एल्गोरिदम का वर्गीकरण

1. ढतला हुआ वंश
2. स्टोकेस्टिक

(1) ग्रेडिएंट डिसेंट लर्निंग

इस प्रकार के सीखने में, त्रुटि में कमी वजन और नेटवर्क के सक्रियण कार्य की सहायता से होती है। सक्रियण समारोह अलग होना चाहिए।

वज़न का समायोजन इस सीखने में त्रुटि ढाल E पर निर्भर करता है। Backpropagation नियम इस प्रकार की सीख का एक उदाहरण है। इस प्रकार वजन समायोजन के रूप में परिभाषित किया गया है

# 2) स्टोचैस्टिक लर्निंग

इस सीखने में, वज़न को एक संभावित फैशन में समायोजित किया जाता है।

Unsupervised Learning Algorithms का वर्गीकरण

1. हेब्बियान
2. प्रतियोगी

(१) हेब्बियन लर्निंग

यह सीख 1949 में हेब्ब द्वारा प्रस्तावित की गई थी। यह वजन के सहसंबंधीय समायोजन पर आधारित है। इनपुट और आउटपुट पैटर्न जोड़े एक वजन मैट्रिक्स, डब्ल्यू के साथ जुड़े हुए हैं।

आउटपुट का स्थान भार समायोजन के लिए लिया जाता है।

# 2) प्रतिस्पर्धी लर्निंग

यह एक विजेता है जो सभी रणनीति लेता है। इस प्रकार के सीखने में, जब एक इनपुट पैटर्न नेटवर्क पर भेजा जाता है, तो परत में सभी न्यूरॉन्स प्रतिस्पर्धा करते हैं और केवल जीतने वाले न्यूरॉन्स का वजन समायोजन होता है।

मैक कुलोच-पिट्स न्यूरॉन

एम-पी न्यूरॉन के रूप में भी जाना जाता है, यह सबसे पुराना तंत्रिका नेटवर्क है जिसे 1943 में खोजा गया था। इस मॉडल में, न्यूरॉन्स को कनेक्शन वेट द्वारा जोड़ा जाता है, और सक्रियण फ़ंक्शन का उपयोग बाइनरी में किया जाता है। दहलीज का उपयोग यह निर्धारित करने के लिए किया जाता है कि न्यूरॉन आग लगाएगा या नहीं।

एम-पी न्यूरॉन का कार्य है:

हेब्बियन लर्निंग एलगोरिदम

हेब्ब नेटवर्क डोनाल्ड हेब्ब द्वारा 1949 में कहा गया था। हेब्ब के नियम के अनुसार, वज़न इनपुट और आउटपुट के उत्पाद के अनुपात में पाया जाता है। इसका मतलब है कि हेब्ब नेटवर्क में अगर दो न्यूरॉन्स आपस में जुड़े हुए हैं तो इन न्यूरॉन्स से जुड़े वज़न को सिनैप्टिक गैप में बदलाव करके बढ़ाया जा सकता है।

यह नेटवर्क द्विध्रुवी डेटा के लिए उपयुक्त है। हेबियन सीखने का नियम आमतौर पर लॉजिक गेट्स पर लागू होता है।

वजन के रूप में अद्यतन किया जाता है:

W (नया) = w (पुराना) + x * y

हेबियन सीखने के नियम के लिए प्रशिक्षण एल्गोरिथ्म

एल्गोरिथ्म के प्रशिक्षण चरण निम्नानुसार हैं:

• प्रारंभ में, वज़न शून्य पर सेट किया जाता है, अर्थात सभी इनपुटों के लिए w = 0 से n = 1 और n इनपुट इनपुट न्यूरॉन्स की कुल संख्या है।
• आउटपुट होने दो। आदानों के लिए सक्रियण फ़ंक्शन आम तौर पर एक पहचान फ़ंक्शन के रूप में सेट किया जाता है।
• आउटपुट के लिए सक्रियण फ़ंक्शन भी y = t पर सेट है।
• वजन समायोजन और पूर्वाग्रह को समायोजित किया जाता है:

• प्रत्येक इनपुट वेक्टर और आउटपुट के लिए चरण 2 से 4 को दोहराया जाता है।

हेब्बियन लर्निंग नियम का उदाहरण

आइए हम हेब्बियन लर्निंग का उपयोग करके द्विध्रुवी इनपुट के साथ तार्किक और फ़ंक्शन को लागू करें

एक्स 1 और एक्स 2 इनपुट हैं, बी 1 के रूप में लिया गया पूर्वाग्रह है, लक्ष्य मान इनपुट पर तार्किक और ऑपरेशन का आउटपुट है।

# 1) प्रारंभ में, वज़न शून्य पर सेट होता है और पूर्वाग्रह को भी शून्य के रूप में सेट किया जाता है।

डब्ल्यू 1 = डब्ल्यू 2 = बी = 0

#दो) पहले इनपुट वेक्टर को (X1 x2 b) = (1 1 1) और लक्ष्य मान 1 के रूप में लिया जाता है।

नए वजन होंगे:

# 3) ऊपर दिए गए वेट अंतिम नए वज़न हैं। जब दूसरा इनपुट पास किया जाता है, तो ये प्रारंभिक भार बन जाते हैं।

# 4) दूसरा इनपुट लेना = (१ -1 १)। लक्ष्य -1 है।

# 5) इसी तरह, दूसरे इनपुट और वज़न की गणना की जाती है।

नीचे दी गई तालिका सभी इनपुट दिखाती है:

हेब नेट फॉर एंड फंक्शन

परसेप्ट्रॉन लर्निंग एल्गोरिथम

Perceptron Networks सिंगल-लेयर फीड-फ़ॉरवर्ड नेटवर्क हैं। इन्हें सिंगल परसेप्ट्रॉन नेटवर्क भी कहा जाता है। परसेप्ट्रॉन में एक इनपुट परत, एक छिपी परत और आउटपुट परत होती है।

इनपुट परत वज़न के माध्यम से छिपी हुई परत से जुड़ी होती है जो निरोधात्मक या उत्तेजना या शून्य (-1, +1 या 0) हो सकती है। सक्रियण फ़ंक्शन का उपयोग इनपुट परत और छिपी हुई परत के लिए एक बाइनरी स्टेप फ़ंक्शन है।

आउटपुट है

Y = f (y)

सक्रियण समारोह है:

वेट अपडेशन छिपी हुई परत और आउटपुट लेयर के बीच टारगेट आउटपुट से मैच करने के लिए होता है। त्रुटि की गणना वास्तविक आउटपुट और वांछित आउटपुट के आधार पर की जाती है।

यदि आउटपुट लक्ष्य से मेल खाता है तो कोई वेट अपडेशन नहीं होता है। वजन को शुरू में 0 या 1 पर सेट किया जाता है और एक इष्टतम समाधान मिलने तक क्रमिक रूप से समायोजित किया जाता है।

नेटवर्क में शुरू में वजन किसी भी मूल्य पर सेट किया जा सकता है। पेरिसेप्टन लर्निंग वेट वेक्टर में परिवर्तित हो जाएगा जो सभी इनपुट प्रशिक्षण पैटर्न के लिए सही आउटपुट देता है और यह शिक्षण कई चरणों में होता है।

बाइनरी और द्विध्रुवी इनपुट दोनों के लिए पेरेसेट्रॉन नियम का उपयोग किया जा सकता है।

एकल आउटपुट अवधारणात्मक के लिए नियम सीखना

# 1) चलो 'एन' प्रशिक्षण इनपुट वैक्टर और एक्स (एन) और टी (एन) लक्ष्य मूल्यों के साथ जुड़े हुए हैं।

#दो) वजन और पूर्वाग्रह को शुरू करें। आसान गणना के लिए उन्हें शून्य पर सेट करें।

# 3) सीखने की दर 1 होने दें।

# 4) इनपुट लेयर की पहचान सक्रियण फ़ंक्शन है इसलिए x (i) = s (i)।

# 5) नेटवर्क के आउटपुट की गणना करने के लिए:

# 6) सक्रियण फ़ंक्शन आउटपुट प्राप्त करने के लिए नेट इनपुट पर लागू होता है।

# 7) अब आउटपुट के आधार पर, वांछित लक्ष्य मान (टी) और वास्तविक आउटपुट की तुलना करें।

# 8) तब तक पुनरावृत्ति जारी रखें जब तक कि कोई वजन परिवर्तन न हो। एक बार इस स्थिति को प्राप्त करने के बाद रुकें।

मल्टीपल आउटपुट परसेप्ट्रॉन के लिए सीखना नियम

# 1) चलो 'एन' प्रशिक्षण इनपुट वैक्टर और एक्स (एन) और टी (एन) लक्ष्य मूल्यों के साथ जुड़े हुए हैं।

#दो) वजन और पूर्वाग्रह को शुरू करें। आसान गणना के लिए उन्हें शून्य पर सेट करें।

# 3) सीखने की दर 1 होने दें।

# 4) इनपुट लेयर की पहचान सक्रियण फ़ंक्शन है इसलिए x (i) = s (i)।

# 5) J = 1 से m तक प्रत्येक आउटपुट वेक्टर के आउटपुट की गणना करने के लिए, शुद्ध इनपुट है:

# 6) सक्रियण फ़ंक्शन आउटपुट प्राप्त करने के लिए नेट इनपुट पर लागू होता है।

कैसे जावा में कार्य करने के लिए सरणी पास करने के लिए

# 7) अब आउटपुट के आधार पर, वांछित लक्ष्य मान (टी) और वास्तविक आउटपुट की तुलना करें और वजन समायोजन करें।

w ith इनपुट और jth आउटपुट न्यूरॉन के बीच कनेक्शन लिंक का वेट वेक्टर है और t आउटपुट यूनिट j के लिए लक्ष्य आउटपुट है।

# 8) तब तक पुनरावृत्ति जारी रखें जब तक कि कोई वजन परिवर्तन न हो। एक बार इस स्थिति को प्राप्त करने के बाद रुकें।

परसेप्ट्रॉन लर्निंग नियम का उदाहरण

द्विध्रुवी आदानों और आउटपुट के लिए एक अवधारणात्मक नेटवर्क का उपयोग करके AND फ़ंक्शन का कार्यान्वयन।

इनपुट पैटर्न X1, x2 और bias b होगा। प्रारंभिक वजन 0 और पूर्वाग्रह 0. मान लें कि सीमा शून्य पर सेट है और सीखने की दर 1 है।

और गेट

# 1) X1 = 1, X2 = 1 और लक्ष्य आउटपुट = 1
डब्ल्यू 1 = डब्ल्यू 2 = डब्ल्यूबी = 0 और एक्स 1 = एक्स 2 = बी = 1, टी = 1
नेट इनपुट = y = b + X1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0

चूंकि सीमा शून्य है इसलिए:

यहाँ से हम प्राप्त करते हैं, आउटपुट = 0. अब जाँच करें कि क्या आउटपुट (y) = लक्ष्य (t)।

y = 0 लेकिन t = 1 जिसका अर्थ है कि ये समान नहीं हैं, इसलिए वेट अपडेशन होता है।

पहला इनपुट वेक्टर प्रस्तुत करने के बाद नया वज़न 1, 1 और 1 है।

#दो) X1 = 1 X2 = -1, b = 1 और लक्ष्य = -1, W1 = 1, W2 = 2, Wb = 1
नेट इनपुट = y = b + X1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
इनपुट = 1 के लिए शुद्ध आउटपुट 1 से होगा:

इसलिए फिर से, लक्ष्य -1 वास्तविक उत्पादन = 1 से मेल नहीं खाता है। वेट अपडेट होते रहते हैं।

अब नए वज़न w1 = 0 w2 = 2 और wb = 0 हैं

इसी तरह, इनपुट के अगले सेट के साथ जारी रखते हुए, हमें निम्न तालिका मिलती है:

जब तक कोई वजन परिवर्तन की आवश्यकता नहीं होती है, तब तक सिस्टम में फीड किए गए इनपुट पैटर्न का चक्र चलता है और पुनरावृत्ति रुक ​​जाती है।

विधवा हॉफ लर्निंग एल्गोरिथम

के रूप में भी जाना जाता है डेल्टा नियम , यह रेखीय प्रतिगमन के लिए ढाल वंश नियम का पालन करता है।

यह लक्ष्य और आउटपुट मान के बीच अंतर के साथ कनेक्शन वज़न को अद्यतन करता है। यह पर्यवेक्षित शिक्षण एल्गोरिथ्म की श्रेणी के अंतर्गत आने वाला कम से कम माध्य वर्ग अधिगम एल्गोरिथ्म है।

इस नियम का पालन ADALINE (Adaptive Linear Neural Networks) और MADALINE करता है। परसेप्ट्रॉन के विपरीत, एडलीन नेटवर्क का पुनरावृत्ति नहीं रुकता है, लेकिन यह कम से कम औसत वर्ग त्रुटि को कम करके परिवर्तित करता है। MADALINE एक से अधिक ADALINE का नेटवर्क है।

डेल्टा लर्निंग नियम का उद्देश्य आउटपुट और लक्ष्य वेक्टर के बीच त्रुटि को कम करना है।

ADALINE नेटवर्क में वेट को इसके द्वारा अद्यतन किया जाता है:

कम से कम वर्ग त्रुटि = (t- y_में)^दो, ADALINE अभिसरण करता है जब कम से कम चौकोर त्रुटि होती है।

निष्कर्ष

इस ट्यूटोरियल में, हमने दो एल्गोरिदम यानी हेब्बियन लर्निंग रूल और परसेप्ट्रॉन लर्निंग रूल पर चर्चा की है। हेब्बियन नियम इस नियम पर आधारित है कि वेट वेक्टर इनपुट और लर्निंग सिग्नल यानी आउटपुट के लिए आनुपातिक रूप से बढ़ता है। पुराने वजन में इनपुट और आउटपुट के उत्पाद को जोड़कर वजन बढ़ाया जाता है।

W (नया) = w (पुराना) + x * y

हेब्ब नियम का अनुप्रयोग पैटर्न एसोसिएशन, वर्गीकरण और वर्गीकरण समस्याओं में निहित है।

परसेप्ट्रॉन लर्निंग नियम को एकल आउटपुट और कई आउटपुट क्लास नेटवर्क पर लागू किया जा सकता है। परसेप्ट्रॉन नेटवर्क का लक्ष्य इनपुट पैटर्न को एक विशेष सदस्य वर्ग में वर्गीकृत करना है। इनपुट न्यूरॉन्स और आउटपुट न्यूरॉन वजन वाले लिंक के माध्यम से जुड़े हुए हैं।

वज़न को लक्ष्य मान के साथ वास्तविक आउटपुट से मिलान करने के लिए समायोजित किया गया है। सीखने की दर 0 से 1 तक निर्धारित है और यह वजन की मापनीयता को निर्धारित करता है।

वजन के अनुसार अद्यतन किया जाता है:

इन सीखने के नियमों के अलावा, मशीन लर्निंग एल्गोरिदम कई अन्य तरीकों के माध्यम से सीखते हैं यानी पर्यवेक्षित, अनसुप्राइज़्ड, रिनफोर्समेंट। अन्य आम एमएल एल्गोरिदम में से कुछ हैं बैक प्रोपगेशन, एआरटी, कोहेनन सेल्फ ऑर्गनाइजिंग मैप्स आदि।

हमें उम्मीद है कि आपको इस मशीन लर्निंग सीरीज़ से सभी ट्यूटोरियल पसंद आए होंगे !!

=> एक्सक्लूसिव मशीन लर्निंग सीरीज के लिए यहां जाएं

अनुशंसित पाठ

• मशीन लर्निंग में कृत्रिम तंत्रिका नेटवर्क के लिए एक पूर्ण गाइड
• मशीन लर्निंग के प्रकार: सुपरवाइज्ड Vs अनसुप्रवाइज्ड लर्निंग
• डाटा माइनिंग बनाम मशीन लर्निंग बनाम आर्टिफिशियल इंटेलिजेंस बनाम डीप लर्निंग
• नेटवर्क सुरक्षा परीक्षण और सर्वश्रेष्ठ नेटवर्क सुरक्षा उपकरण
• 2021 में 11 सबसे लोकप्रिय मशीन लर्निंग सॉफ्टवेयर टूल्स
• मशीन लर्निंग ट्यूटोरियल: एमएल और इसके अनुप्रयोगों का परिचय
• 2021 के 15 सर्वश्रेष्ठ नेटवर्क स्कैनिंग उपकरण (नेटवर्क और आईपी स्कैनर)
• शीर्ष 30 नेटवर्क परीक्षण उपकरण (नेटवर्क प्रदर्शन नैदानिक ​​उपकरण)