Modern Hopfield network
আধুনিক হপফিল্ড নেটওয়ার্ক (ডেন্স অ্যাসোসিয়েটিভ মেমোরিজ নামেও পরিচিত) হল ধ্রুপদী হপফিল্ড নেটওয়ার্কগুলির সাধারণীকরণ যা ইনপুট বৈশিষ্ট্যের সংখ্যা এবং সংরক্ষিত স্মৃতির সংখ্যার মধ্যে রৈখিক স্কেলিং সম্পর্ককে ভেঙে দেয়। এটি শক্তিশালী অ-রৈখিকতা (শক্তি ফাংশন বা নিউরনের সক্রিয়করণ ফাংশনে) প্রবর্তনের মাধ্যমে অর্জন করা হয় যা বৈশিষ্ট্যযুক্ত নিউরনের সংখ্যার একটি ফাংশন হিসাবে অতি-রৈখিক (এমনকি একটি সূচকীয়) মেমরি সঞ্চয় ক্ষমতার দিকে পরিচালিত করে। নেটওয়ার্কে এখনও পর্যাপ্ত সংখ্যক লুকানো নিউরনের প্রয়োজন হয়। আধুনিক হপফিল্ড নেটওয়ার্কগুলির পিছনে মূল তাত্ত্বিক ধারণাটি হল একটি শক্তি ফাংশন এবং একটি আপডেট নিয়ম ব্যবহার করা যা ধ্রুপদী হপফিল্ড নেটওয়ার্কের তুলনায় নিউরনের কনফিগারেশনের জায়গায় সঞ্চিত স্মৃতির চারপাশে আরও তীব্রভাবে শীর্ষে থাকে। ধ্রুপদী হপফিল্ড নেটওয়ার্ক হ 'ল পুনরাবৃত্ত স্নায়বিক নেটওয়ার্ক যার গতিশীল গতিপথগুলি নির্দিষ্ট বিন্দু আকর্ষণীয় অবস্থায় রূপান্তরিত হয় এবং একটি শক্তি ফাংশন দ্বারা বর্ণনা করা হয়। প্রতিটি মডেল নিউরনের অবস্থা একটি সময়-নির্ভর চলক দ্বারা সংজ্ঞায়িত করা হয়, যা বিচ্ছিন্ন বা অবিচ্ছিন্ন হতে বেছে নেওয়া যেতে পারে। একটি সম্পূর্ণ মডেল গণিত বর্ণনা করে যে কীভাবে প্রতিটি স্নায়ুকোষের ক্রিয়াকলাপের ভবিষ্যতের অবস্থা সমস্ত স্নায়ুকোষের বর্তমান বা পূর্ববর্তী ক্রিয়াকলাপের উপর নির্ভর করে। সহযোগী স্মৃতির মূল হপফিল্ড মডেলে, ভেরিয়েবলগুলি বাইনারি ছিল এবং গতিবিদ্যা নিউরনের অবস্থার এক-এ-এক-সময়ের আপডেট দ্বারা বর্ণনা করা হয়েছিল। একটি শক্তি ফাংশন দ্বিঘাত সংজ্ঞায়িত করা হয়েছিল, এবং গতিবিদ্যা শুধুমাত্র প্রতিটি একক নিউরনের ক্রিয়াকলাপ পরিবর্তন করে যদি এটি করার ফলে সিস্টেমের মোট শক্তি হ্রাস পায়। এই একই ধারণাটি নিউরনের আউটপুট প্রতিনিধিত্বকারী একটি অবিচ্ছিন্ন পরিবর্তনশীল এবং একটি ইনপুট কারেন্টের একঘেয়ে ফাংশন হওয়ার ক্ষেত্রে প্রসারিত হয়েছিল। গতিবিদ্যা প্রথম-ক্রমের ডিফারেনশিয়াল সমীকরণের একটি সেট হিসাবে প্রকাশ করা হয় যার জন্য সিস্টেমের "শক্তি" সর্বদা হ্রাস পায়। অবিচ্ছিন্ন ক্ষেত্রে শক্তির একটি পদ রয়েছে যা (বাইনারি মডেলের মতো) দ্বিঘাত, এবং দ্বিতীয় পদ যা লাভ ক্রিয়ার (নিউরনের সক্রিয়করণ ক্রিয়া) উপর নির্ভর করে। সহযোগী স্মৃতির অনেক কাঙ্ক্ষিত বৈশিষ্ট্য থাকা সত্ত্বেও, এই দুটি ধ্রুপদী ব্যবস্থাই একটি ছোট মেমরি সঞ্চয় ক্ষমতা ভোগ করে, যা ইনপুট বৈশিষ্ট্যের সংখ্যার সাথে রৈখিকভাবে স্কেল করে। আধুনিক হপফিল্ড নেটওয়ার্কের একটি সহজ উদাহরণ বাইনারি ভেরিয়েবলের পরিপ্রেক্ষিতে লেখা যেতে পারে যা মডেল নিউরনের সক্রিয় এবং নিষ্ক্রিয় অবস্থার প্রতিনিধিত্ব করে। এই সূত্রে ওজন মেমরি ভেক্টরের ম্যাট্রিক্সকে উপস্থাপন করে (সূচক বিভিন্ন স্মৃতি গণনা করে এবং সূচক-তম বৈশিষ্ট্য নিউরনের সাথে সম্পর্কিত প্রতিটি স্মৃতির বিষয়বস্তু গণনা করে), এবং ফাংশনটি দ্রুত বর্ধনশীল অ-রৈখিক ফাংশন। পৃথক নিউরনের জন্য আপডেট নিয়মটি (অ্যাসিঙ্ক্রোনাস ক্ষেত্রে) নিম্নলিখিত আকারে লেখা যেতে পারে যা বলে যে-তম নিউরনের আপডেট অবস্থা গণনা করার জন্য নেটওয়ার্ক দুটি শক্তির তুলনা করেঃ চালু অবস্থায়-তম নিউরনের সাথে নেটওয়ার্কের শক্তি এবং অবশিষ্ট নিউরনের অবস্থার পরিপ্রেক্ষিতে বন্ধ অবস্থায়-তম নিউরনের সাথে নেটওয়ার্কের শক্তি। - তম স্নায়ুকোষের হালনাগাদ অবস্থা দুটি শক্তির মধ্যে সর্বনিম্ন অবস্থাকে নির্বাচন করে। সীমাবদ্ধ ক্ষেত্রে যখন অ-রৈখিক শক্তি ফাংশনটি দ্বিঘাত হয় তখন এই সমীকরণগুলি পরিচিত শক্তি ফাংশন এবং শাস্ত্রীয় বাইনারি হপফিল্ড নেটওয়ার্কের জন্য আপডেট নিয়মে হ্রাস পায়। এই নেটওয়ার্কগুলির মেমরি সঞ্চয় ক্ষমতা এলোমেলো বাইনারি প্যাটার্নের জন্য গণনা করা যেতে পারে। পাওয়ার এনার্জি ফাংশনের জন্য এই নেটওয়ার্ক থেকে ত্রুটি ছাড়াই সংরক্ষণ এবং পুনরুদ্ধার করা যেতে পারে এমন স্মৃতির সর্বাধিক সংখ্যা দ্বারা দেওয়া হয় একটি সূচকীয় শক্তি ফাংশনের জন্য মেমরি সঞ্চয় ক্ষমতা বৈশিষ্ট্য নিউরনগুলির সংখ্যায় সূচকীয় ক্রমাগত পরিবর্তনশীল আধুনিক হপফিল্ড নেটওয়ার্ক বা ঘন সহযোগী স্মৃতিগুলি অবিচ্ছিন্ন পরিবর্তনশীল এবং অবিচ্ছিন্ন সময়ে সর্বোত্তমভাবে বোঝা যায়। Fig.1-এ দেখানো নেটওয়ার্ক স্থাপত্য এবং নিউরনের অবস্থার বিবর্তনের সমীকরণগুলি বিবেচনা করুন যেখানে বৈশিষ্ট্যযুক্ত নিউরনের স্রোতগুলি দ্বারা চিহ্নিত করা হয় এবং মেমরি নিউরনের স্রোতগুলি দ্বারা চিহ্নিত করা হয় (লুকানো নিউরনের জন্য দাঁড়িয়েছে)। বৈশিষ্ট্য নিউরন বা মেমরি নিউরনের মধ্যে কোনও সিনাপটিক সংযোগ নেই। একটি ম্যাট্রিক্স একটি বৈশিষ্ট্যযুক্ত স্নায়ুকোষ থেকে স্মৃতি স্নায়ুকোষে সিনাপ্সের শক্তিকে নির্দেশ করে। সিনাপ্সগুলি প্রতিসম বলে ধরে নেওয়া হয়, যাতে একই মান মেমরি নিউরন থেকে বৈশিষ্ট্য নিউরনে একটি ভিন্ন শারীরিক সিনাপ্সকে চিহ্নিত করে। মেমোরি নিউরন এবং বৈশিষ্ট্যযুক্ত নিউরনগুলির আউটপুটগুলি এবং দ্বারা চিহ্নিত করা হয়, যা সংশ্লিষ্ট স্রোতের অ-রৈখিক ফাংশন। সাধারণভাবে এই আউটপুটগুলি সেই স্তরের সমস্ত নিউরনের স্রোতের উপর নির্ভর করতে পারে যাতে এবং। এই অ্যাক্টিভেশন ফাংশনকে নিউরনের দুটি গ্রুপের জন্য ল্যাগ্রাঞ্জিয়ান ফাংশনের ডেরিভেটিভ হিসাবে সংজ্ঞায়িত করা সুবিধাজনক এইভাবে নিউরনের অবস্থার জন্য সমীকরণের নির্দিষ্ট রূপটি সম্পূর্ণরূপে সংজ্ঞায়িত করা হয় একবার ল্যাগ্রাঞ্জিয়ান ফাংশন নির্দিষ্ট করা হয়। পরিশেষে, নিউরনের দুটি গ্রুপের সময় ধ্রুবক দ্বারা চিহ্নিত করা হয় এবং, হল নেটওয়ার্কের ইনপুট কারেন্ট যা উপস্থাপিত তথ্য দ্বারা চালিত হতে পারে। অ-রৈখিক ডিফারেনশিয়াল সমীকরণের সাধারণ ব্যবস্থায় অনেক জটিল আচরণ থাকতে পারে যা অ-রৈখিকতার পছন্দ এবং প্রাথমিক অবস্থার উপর নির্ভর করতে পারে। হপফিল্ড নেটওয়ার্কগুলির ক্ষেত্রে অবশ্য এমনটা হয় না-গতিশীল গতিপথগুলি সর্বদা একটি নির্দিষ্ট বিন্দু আকর্ষণীয় অবস্থায় একত্রিত হয়। এই বৈশিষ্ট্যটি অর্জন করা হয়েছে কারণ এই সমীকরণগুলি বিশেষভাবে ইঞ্জিনিয়ার করা হয়েছে যাতে তাদের একটি অন্তর্নিহিত শক্তি ফাংশন থাকে বর্গাকার বন্ধনীতে গোষ্ঠীভুক্ত পদগুলি নিউরনের অবস্থার সাপেক্ষে ল্যাগ্রাঞ্জিয়ান ফাংশনের একটি কিংবদন্তি রূপান্তরকে উপস্থাপন করে। যদি ল্যাগ্রাঞ্জিয়ান ফাংশনের হেসিয়ান ম্যাট্রিক্সগুলি ধনাত্মক আধা-নির্দিষ্ট হয়, তবে গতিশীল গতিপথে শক্তির কার্যকারিতা হ্রাস পাওয়ার নিশ্চয়তা দেওয়া হয় এই বৈশিষ্ট্যটি প্রমাণ করা সম্ভব করে তোলে যে স্নায়ুকোষের ক্রিয়াকলাপগুলির সাময়িক বিবর্তন বর্ণনাকারী গতিশীল সমীকরণের ব্যবস্থা অবশেষে একটি নির্দিষ্ট বিন্দু আকর্ষণীয় অবস্থায় পৌঁছাবে। নির্দিষ্ট কিছু পরিস্থিতিতে কেউ ধরে নিতে পারে যে, লুকানো নিউরনের গতিবিদ্যা বৈশিষ্ট্যযুক্ত নিউরনের তুলনায় অনেক দ্রুত সময়ের স্কেলে ভারসাম্য বজায় রাখে। এই ক্ষেত্রে সিস্টেমে দ্বিতীয় সমীকরণের স্থির অবস্থার সমাধান () বৈশিষ্ট্য নিউরনের আউটপুটগুলির মাধ্যমে লুকানো ইউনিটগুলির স্রোত প্রকাশ করতে ব্যবহার করা যেতে পারে। এটি সাধারণ তত্ত্বকে () শুধুমাত্র বৈশিষ্ট্য নিউরনের জন্য একটি কার্যকর তত্ত্বে পরিণত করা সম্ভব করে তোলে। ফলস্বরূপ কার্যকর আপডেট নিয়ম এবং ল্যাগ্রাঞ্জিয়ান ফাংশনের বিভিন্ন সাধারণ পছন্দের জন্য শক্তি Fig.2-এ দেখানো হয়েছে। লগ-সাম-এক্সপোনেনশিয়াল ল্যাগ্রাঞ্জিয়ান ফাংশনের ক্ষেত্রে বৈশিষ্ট্য নিউরনগুলির অবস্থার জন্য আপডেট নিয়ম (যদি একবার প্রয়োগ করা হয়) সাধারণত অনেক আধুনিক এআই সিস্টেমে ব্যবহৃত মনোযোগ প্রক্রিয়া (রেফ দেখুন। অবিচ্ছিন্ন সময় গঠন থেকে এই ফলাফলের উৎপত্তির জন্য)। অবিচ্ছিন্ন চলকের সঙ্গে ধ্রুপদী হপফিল্ড নেটওয়ার্কের সম্পর্ক অবিচ্ছিন্ন হপফিল্ড নেটওয়ার্কের ধ্রুপদী গঠনকে একটি গোপন স্তর সহ আধুনিক হপফিল্ড নেটওয়ার্কের একটি বিশেষ সীমাবদ্ধ কেস হিসাবে বোঝা যেতে পারে। শ্রেণীবদ্ধ প্রতিক্রিয়া সহ নিউরনগুলির জন্য অবিচ্ছিন্ন হপফিল্ড নেটওয়ার্কগুলি সাধারণত গতিশীল সমীকরণ এবং শক্তি ফাংশন দ্বারা বর্ণনা করা হয় যেখানে, এবং সক্রিয়করণ ফাংশনের বিপরীত। এই মডেলটি মডেলের শ্রেণীর একটি বিশেষ সীমা যাকে মডেল এ বলা হয়, ল্যাগ্রেঞ্জিয়ান ফাংশনের নিম্নলিখিত পছন্দের সাথে যা, সংজ্ঞা () অনুসারে, সক্রিয়করণ ফাংশনের দিকে পরিচালিত করে যদি আমরা লুকানো নিউরনগুলিকে সংহত করি তবে সমীকরণের ব্যবস্থা () বৈশিষ্ট্যযুক্ত নিউরনগুলির সমীকরণগুলিতে () হ্রাস পায় এবং শক্তির সাধারণ অভিব্যক্তি () কার্যকর শক্তিতে হ্রাস পায়। সমীকরণে () এটি বৈশিষ্ট্য নিউরনগুলির জন্য ল্যাগ্রাঞ্জিয়ানের একটি লেজেন্ড্রে রূপান্তর, যেখানে () তৃতীয় পদটি বিপরীত সক্রিয়করণ ফাংশনের একটি অবিচ্ছেদ্য অংশ। তা সত্ত্বেও, এই দুটি অভিব্যক্তি প্রকৃতপক্ষে সমতুল্য, কারণ একটি ফাংশনের ডেরিভেটিভ এবং তার লেজেন্ড্রে ট্রান্সফর্ম একে অপরের বিপরীত ফাংশন। এই দুটি পদ স্পষ্টভাবে সমান কিনা তা দেখার সবচেয়ে সহজ উপায় হল প্রত্যেকটিকে এর সাপেক্ষে আলাদা করা। উভয় অভিব্যক্তির জন্য এই পার্থক্যের ফলাফল সমান। সুতরাং, দুটি অভিব্যক্তি একটি যোগাত্মক ধ্রুবক পর্যন্ত সমান। এটি এই প্রমাণটি সম্পূর্ণ করে যে অবিচ্ছিন্ন অবস্থা সহ ধ্রুপদী হপফিল্ড নেটওয়ার্কটি শক্তি () সহ আধুনিক হপফিল্ড নেটওয়ার্কের () একটি বিশেষ সীমাবদ্ধ কেস। আধুনিক হপফিল্ড নেটওয়ার্কের সাধারণ গঠনে জৈবিক স্নায়ুতন্ত্রের বিভিন্ন ধরনের কোষের ক্ষেত্রে প্রচুর পরিমাণে বৈচিত্র্য রয়েছে। এই বিভাগটি একটি সম্পূর্ণরূপে সংযুক্ত আধুনিক হপফিল্ড নেটওয়ার্কের একটি গাণিতিক মডেল বর্ণনা করে যা বৈচিত্র্যের চরম মাত্রা ধরে নেয়ঃ প্রতিটি নিউরন আলাদা। বিশেষত, একটি শক্তি ফাংশন এবং সংশ্লিষ্ট গতিশীল সমীকরণগুলি বর্ণনা করা হয় এই ধরে নিয়ে যে প্রতিটি স্নায়ুকোষের নিজস্ব সক্রিয়করণ ফাংশন এবং গতিময় সময় স্কেল রয়েছে। নেটওয়ার্কটি সম্পূর্ণরূপে সংযুক্ত বলে মনে করা হয়, যাতে প্রতিটি নিউরন ওজন, সূচকগুলির একটি প্রতিসম ম্যাট্রিক্স ব্যবহার করে প্রতিটি অন্যান্য নিউরনের সাথে সংযুক্ত থাকে এবং নেটওয়ার্কে বিভিন্ন নিউরন গণনা করে, Fig.3 দেখুন। গাণিতিকভাবে এই সমস্যাটি তৈরি করার সবচেয়ে সহজ উপায় হল একটি ল্যাগ্রাঞ্জিয়ান ফাংশনের মাধ্যমে স্থাপত্যকে সংজ্ঞায়িত করা যা নেটওয়ার্কের সমস্ত নিউরনের ক্রিয়াকলাপের উপর নির্ভর করে। প্রতিটি স্নায়ুকোষের সক্রিয়করণ ক্রিয়াকে সেই স্নায়ুকোষের ক্রিয়াকলাপের ক্ষেত্রে ল্যাগ্রাঞ্জিয়ানের আংশিক ব্যুৎপত্তি হিসাবে সংজ্ঞায়িত করা হয় জৈবিক দৃষ্টিকোণ থেকে কেউ স্নায়ুকোষের অ্যাক্সোনাল আউটপুট হিসাবে ভাবতে পারে। সহজতম ক্ষেত্রে, যখন ল্যাগ্রাঞ্জিয়ান বিভিন্ন নিউরনের জন্য যোগাত্মক হয়, তখন এই সংজ্ঞাটির ফলে সক্রিয়করণ হয় যা সেই নিউরনের ক্রিয়াকলাপের একটি অ-রৈখিক ফাংশন। অ-সংযোজনশীল ল্যাগ্রেঞ্জিয়ানদের জন্য এই সক্রিয়করণ ফাংশন নিউরনের একটি গোষ্ঠীর ক্রিয়াকলাপের উপর নির্ভর করতে পারে। উদাহরণস্বরূপ, এতে বৈপরীত্য (সফ্টম্যাক্স) বা বিভাজনমূলক স্বাভাবিকীকরণ থাকতে পারে। প্রদত্ত স্নায়ুকোষের সাময়িক বিবর্তন বর্ণনাকারী গতিশীল সমীকরণগুলি দ্বারা দেওয়া হয় এই সমীকরণটি স্নায়ুবিজ্ঞানে ফায়ারিং রেট মডেল নামে পরিচিত মডেলের শ্রেণীর অন্তর্গত। প্রতিটি নিউরন সমস্ত নিউরন থেকে অ্যাক্সোনাল আউটপুট সংগ্রহ করে, তাদের সিনাপটিক সহগ দিয়ে ওজন করে এবং নিজস্ব সময়-নির্ভর ক্রিয়াকলাপ তৈরি করে। সাময়িক বিবর্তনের একটি সময় ধ্রুবক রয়েছে, যা সাধারণভাবে প্রতিটি স্নায়ুকোষের জন্য ভিন্ন হতে পারে। এই নেটওয়ার্কের একটি বৈশ্বিক শক্তি ফাংশন রয়েছে যেখানে প্রথম দুটি পদ নিউরনের স্রোতের সাপেক্ষে ল্যাগ্রাঞ্জিয়ান ফাংশনের কিংবদন্তি রূপান্তরকে উপস্থাপন করে। এই শক্তি ফাংশনের সাময়িক ব্যুৎপত্তিটি গতিশীল গতিপথের উপর গণনা করা যেতে পারে (বিস্তারিত দেখুন) শেষ অসমতা চিহ্নটি ধরে রাখে যে ম্যাট্রিক্স (বা এর প্রতিসম অংশ) ধনাত্মক আধা-নির্দিষ্ট। যদি, এর পাশাপাশি, শক্তি ফাংশনটি অ-রৈখিক গতিশীল সমীকরণগুলির নীচে থেকে সীমাবদ্ধ থাকে তবে একটি নির্দিষ্ট বিন্দু আকর্ষণীয় অবস্থায় একত্রিত হওয়ার নিশ্চয়তা দেওয়া হয়। ল্যাগ্রাঞ্জিয়ান ফাংশনের পরিপ্রেক্ষিতে এই নেটওয়ার্ক গঠনের সুবিধা হল এটি সক্রিয়করণ ফাংশনের বিভিন্ন পছন্দ এবং নিউরনের বিভিন্ন স্থাপত্য বিন্যাসের সাথে সহজেই পরীক্ষা করা সম্ভব করে তোলে। এই সমস্ত নমনীয় পছন্দগুলির জন্য অভিসারের শর্তগুলি ম্যাট্রিক্সের বৈশিষ্ট্য এবং শক্তি ফাংশনের উপর নিম্ন সীমার অস্তিত্ব দ্বারা নির্ধারিত হয়। হায়ারার্কিক্যাল অ্যাসোসিয়েটিভ মেমোরি নেটওয়ার্ক নিউরনগুলিকে স্তরগুলিতে সংগঠিত করা যেতে পারে যাতে একটি নির্দিষ্ট স্তরের প্রতিটি নিউরনের একই সক্রিয়করণ ফাংশন এবং একই গতিশীল সময় স্কেল থাকে। যদি আমরা ধরে নিই যে স্তরের মধ্যে নিউরনগুলির মধ্যে কোনও অনুভূমিক সংযোগ নেই (পার্শ্বীয় সংযোগ) এবং কোনও স্কিপ-স্তর সংযোগ নেই, তবে সাধারণ সম্পূর্ণ সংযুক্ত নেটওয়ার্ক (), () Fig.4-এ দেখানো কাঠামোতে হ্রাস পায়। এটিতে ক্রমাগত পরিবর্তনশীল এবং সক্রিয়করণ ফাংশন দ্বারা বর্ণিত অবস্থার সাথে পুনরাবৃত্তভাবে সংযুক্ত নিউরনগুলির স্তর রয়েছে, সূচকটি নেটওয়ার্কের স্তরগুলি গণনা করে এবং সূচকটি সেই স্তরে পৃথক পৃথক নিউরন গণনা করে। সক্রিয়করণ ফাংশনগুলি স্তরের সমস্ত নিউরনের ক্রিয়াকলাপের উপর নির্ভর করতে পারে। প্রতিটি স্তরে ভিন্ন সংখ্যক নিউরন থাকতে পারে। এই নিউরনগুলি পূর্ববর্তী এবং পরবর্তী স্তরগুলির নিউরনগুলির সাথে বারবার সংযুক্ত থাকে। ওজনের ম্যাট্রিক্সগুলি যা স্তরগুলিতে নিউরনগুলিকে সংযুক্ত করে এবং দ্বারা চিহ্নিত করা হয় (ওজনের জন্য উপরের সূচকগুলির ক্রম নিম্ন সূচকগুলির ক্রমের মতোই, উপরের উদাহরণে এর অর্থ হল যে সূচকটি স্তরে নিউরনগুলিকে গণনা করে এবং সূচকটি স্তরে নিউরনগুলিকে গণনা করে)। ফিড ফরওয়ার্ড ওজন এবং ফিডব্যাক ওজন সমান। স্নায়ুকোষের অবস্থার জন্য গতিশীল সমীকরণগুলি সীমানা শর্ত হিসাবে লেখা যেতে পারে প্রচলিত ফিড ফরওয়ার্ড নেটওয়ার্কগুলির থেকে এই সমীকরণগুলির প্রধান পার্থক্য হল দ্বিতীয় পদের উপস্থিতি, যা উচ্চতর স্তরগুলির প্রতিক্রিয়ার জন্য দায়ী। এই টপ-ডাউন সংকেতগুলি নীচের স্তরগুলির নিউরনগুলিকে উপস্থাপিত উদ্দীপনার প্রতি তাদের প্রতিক্রিয়া নির্ধারণ করতে সহায়তা করে। সাধারণ রেসিপি অনুসরণ করে-তম লুকানো স্তরের জন্য একটি ল্যাগ্রাঞ্জিয়ান ফাংশন প্রবর্তন করা সুবিধাজনক, যা সেই স্তরের সমস্ত নিউরনের ক্রিয়াকলাপের উপর নির্ভর করে। এই সংজ্ঞাগুলির সাথে শক্তি (লিয়াপুনভ) ফাংশনটি দ্বারা সংজ্ঞায়িত করা যেতে পারে যদি ল্যাগ্রাঞ্জিয়ান ফাংশনগুলি, বা সমতুল্যভাবে অ্যাক্টিভেশন ফাংশনগুলি এমনভাবে বেছে নেওয়া হয় যে প্রতিটি স্তরের জন্য হেসিয়ানরা ধনাত্মক আধা-নির্দিষ্ট হয় এবং সামগ্রিক শক্তি নীচে থেকে আবদ্ধ হয়, এই সিস্টেমটি একটি নির্দিষ্ট বিন্দু আকর্ষণীয় অবস্থায় একত্রিত হওয়ার নিশ্চয়তা দেয়। এই শক্তি ফাংশনের সাময়িক ব্যুৎপত্তি দ্বারা দেওয়া হয় সুতরাং, শ্রেণিবদ্ধ স্তরযুক্ত নেটওয়ার্ক প্রকৃতপক্ষে বৈশ্বিক শক্তি ফাংশনের সাথে একটি আকর্ষণীয় নেটওয়ার্ক। এই নেটওয়ার্কটি সিনাপটিক ওজনের একটি শ্রেণিবদ্ধ সেট দ্বারা বর্ণনা করা হয় যা প্রতিটি নির্দিষ্ট সমস্যার জন্য শেখা যেতে পারে। তথ্যসূত্র স্নায়বিক নেটওয়ার্ক