এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
স্টেপ ডিকে
পূর্বনির্ধারিত এপোক ইন্টারভেলে গুণনীয়ক দ্বারা লার্নিং রেট হ্রাস করে এমন একটি শিডিউলিং পদ্ধতি। এই সহজ কিন্তু কার্যকর পদ্ধতি মডেলকে ধীরে ধীরে পরিমার্জন করার জন্য লার্নিং রেটে আকস্মিক হ্রাসের অনুমতি দেয়।
এক্সপোনেনশিয়াল ডিকে
একটি কৌশল যেখানে লার্নিং রেট একটি পূর্বনির্ধারিত গাণিতিক সূত্র অনুসারে সময় বা পুনরাবৃত্তির সংখ্যার সাথে সূচকীয়ভাবে হ্রাস পায়। এই পদ্ধতি ট্রেনিং জুড়ে লার্নিং রেটের অবিচ্ছিন্ন এবং ধারাবাহিক হ্রাস নিশ্চিত করে।
ওয়ার্মআপ
প্রাথমিক ট্রেনিং পর্যায় যেখানে লার্নিং রেট একটি নিম্ন মান থেকে ধীরে ধীরে তার লক্ষ্য মান পর্যন্ত বৃদ্ধি পায়। এই কৌশল শেখার প্রাথমিক পদক্ষেপগুলিকে স্থিতিশীল করে এবং গভীর আর্কিটেকচারে মডেলের বিচ্যুতি রোধ করে।
সাইক্লিক লার্নিং রেট
একটি দোলন কৌশল যেখানে লার্নিং রেট সংজ্ঞায়িত নিম্ন এবং উচ্চ সীমার মধ্যে চক্রাকারে পরিবর্তিত হয়। এই পদ্ধতি প্যারামিটার স্পেসের বিভিন্ন অঞ্চল অন্বেষণ করতে দেয় এবং কনভারজেন্স ত্বরান্বিত করতে পারে।
ওয়ান-সাইকেল পলিসি
একটি শিডিউলিং নীতি যা লার্নিং রেট একটি সর্বোচ্চ পর্যন্ত বৃদ্ধি করে তারপর একটি চূড়ান্ত মান পর্যন্ত হ্রাস করে, প্রায়শই বিপরীতভাবে সমানুপাতিক মোমেন্টাম পরিবর্তনের সাথে সংযুক্ত থাকে। এই পদ্ধতি নিউরাল নেটওয়ার্কের দ্রুত ট্রেনিংয়ের জন্য উচ্চতর কর্মক্ষমতা প্রদর্শন করেছে।
রিডিউসএলআরঅনপ্ল্যাটো
একটি অভিযোজিত প্রক্রিয়া যা একটি নির্দিষ্ট সংখ্যক এপোকের জন্য পারফরম্যান্স মেট্রিক উন্নতি বন্ধ হয়ে গেলে লার্নিং রেট হ্রাস করে। এই কৌশল মডেলের প্রকৃত পারফরম্যান্সের উপর ভিত্তি করে গতিশীলভাবে লার্নিং রেট সামঞ্জস্য করে।
লার্নিং রেট ফাইন্ডার
লার্নিং রেটের সূচকীয় বৃদ্ধি পর্যবেক্ষণ করে মডেলের লসের উপর ভিত্তি করে একটি সর্বোত্তম লার্নিং রেট পরিসীমা নির্ধারণের জন্য একটি অভিজ্ঞতামূলক কৌশল। এই পদ্ধতি মডেলের বিচ্যুতির আগে সর্বোচ্চ কার্যকর মান সনাক্ত করে।
এসজিডিআর
স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট উইথ রিস্টার্টস, এসজিডির একটি বৈকল্পিক যা কোসাইন অ্যানিলিং নীতির অধীনে লার্নিং রেটের পর্যায়ক্রমিক রিস্টার্ট সংহত করে। এই কৌশল স্থানীয় মিনিমা থেকে বেরিয়ে আসতে এবং সাধারণীকরণ উন্নত করতে সক্ষম করে।
লার্নিং রেট ওয়ার্ম রিস্টার্টস
প্রতিটি চক্রে ধাপে ধাপে ওয়ার্মআপ ফেজের সাথে পর্যায়ক্রমিক লার্নিং রেট রিস্টার্ট সংমিশ্রিত করার একটি শিডিউলিং নীতি। এই হাইব্রিড পদ্ধতি প্যারামিটার স্পেসে এক্সপ্লোরেশন এবং এক্সপ্লয়িটেশন অপ্টিমাইজ করে।
পলিনোমিয়াল ডিকে
প্রশিক্ষণের সময় বা ধাপ সংখ্যার একটি বহুপদী ফাংশন অনুসারে লার্নিং রেট হ্রাস করার কৌশল। এই পদ্ধতি পাওয়ার প্যারামিটারের মাধ্যমে ক্ষয়ের গতিতে সূক্ষ্ম নিয়ন্ত্রণ প্রদান করে।
ইনভার্স টাইম ডিকে
একটি শিডিউলিং পদ্ধতি যেখানে লার্নিং রেট সময় বা পুনরাবৃত্তির সংখ্যার সাথে বিপরীতভাবে হ্রাস পায়, আলফা/(1 + ডিকে_রেট * ধাপ) টাইপের একটি ফাংশন অনুসরণ করে। এই পদ্ধতি সূচকীয় ক্ষয়ের চেয়ে কম আক্রমণাত্মক হ্রাস নিশ্চিত করে।
লার্নিং রেট রেঞ্জ টেস্ট
একটি ডায়াগনস্টিক পদ্ধতি যা একটি বিস্তৃত লগারিদমিক রেঞ্জে লার্নিং রেট পরিবর্তন করার সময় মডেলটিকে শুধুমাত্র একটি ইপক প্রশিক্ষণ দেয়। ফলাফলটি সাইক্লিক লার্নিং রেট কৌশলগুলির জন্য সর্বোত্তম সীমানা চিহ্নিত করতে সহায়তা করে।
লার্নিং রেট মোমেন্টাম
কনভার্জেন্স অপ্টিমাইজ করার জন্য লার্নিং রেট শিডিউলিং এবং মোমেন্টাম প্যারামিটার সামঞ্জস্যের মধ্যে সমন্বয়। এই সিঙ্ক্রোনাইজড পদ্ধতি প্রশিক্ষণের স্থিতিশীলতা এবং গতি উল্লেখযোগ্যভাবে উন্নত করতে পারে।