এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
লো-র্যাঙ্ক ফাইন-টিউনিং (LoRA)
প্রশিক্ষিত ওজনগুলি হিমায়িত করে এবং ছোট র্যাঙ্ক-হ্রাসকৃত বিয়োজিত ম্যাট্রিক্স ইনজেক্ট করে মডেল অভিযোজনের একটি পদ্ধতি, যা খুব কম প্রশিক্ষণযোগ্য প্যারামিটার দিয়ে একটি LLM কে নতুন কাজের জন্য দক্ষতার সাথে অভিযোজিত করতে সক্ষম করে।
প্যারামিটার দক্ষতা প্রশিক্ষণ (PEFT)
প্রশিক্ষণের একটি প্যারাডাইম যা একটি বড় পূর্ব-প্রশিক্ষিত মডেলের একটি ক্ষুদ্র অংশ প্যারামিটার সামঞ্জস্য করে, ভোক্তা-গ্রেড হার্ডওয়্যারে ফাইন-টিউনিং অ্যাক্সেসযোগ্য করে তোলে এবং একই সাথে বেস মডেলের জ্ঞান সংরক্ষণ করে।
স্ট্রাকচার্ড প্রুনিং
মডেল প্রুনিং কৌশল যা পৃথক ওজনের পরিবর্তে সম্পূর্ণ এবং সামঞ্জস্যপূর্ণ উপাদান (অ্যাটেনশন হেড, নিউরন, লেয়ার) সরিয়ে দেয়, গণনীয় আকার হ্রাস করার সময় হার্ডওয়্যার এক্সিলারেটরের সাথে সামঞ্জস্যপূর্ণ আর্কিটেকচার বজায় রাখে।
প্রগ্রেসিভ লেয়ার ট্রেনিং
প্রশিক্ষণ কৌশল যেখানে মডেলের লেয়ারগুলি ক্রমান্বয়ে চালু করা হয়, একটি অগভীর নেটওয়ার্ক দিয়ে শুরু হয় এবং ধীরে ধীরে গভীরতা যোগ করে শিক্ষণকে স্থিতিশীল করে এবং প্রাথমিক সম্পদ প্রয়োজনীয়তা হ্রাস করে।
মেমরি-দক্ষ অপ্টিমাইজার
অপ্টিমাইজারের একটি বৈকল্পিক (যেমন Adafactor বা 8-bit Adam) যা অপ্টিমাইজার স্টেটের মেমরি ফুটপ্রিন্ট হ্রাস করে, সমস্ত প্যারামিটারের জন্য মোমেন্ট সংরক্ষণ এড়িয়ে, যা সীমিত GPU-তে বড় মডেল প্রশিক্ষণের জন্য গুরুত্বপূর্ণ।
গ্রেডিয়েন্ট চেকপয়েন্টিং
গণনা-মেমরি ট্রেড-অফ কৌশল যা ফরওয়ার্ড পাসের সময় মধ্যবর্তী অ্যাক্টিভেশন সংরক্ষণ বাদ দেয়, ব্যাকওয়ার্ড পাসের সময় সেগুলি পুনরায় গণনা করার জন্য, এইভাবে বর্ধিত গণনা সময়ের বিনিময়ে GPU মেমরি ব্যবহার ব্যাপকভাবে হ্রাস করে।
কাঁচা কর্পাসে স্ব-তত্ত্বাবধানে শিক্ষণ
প্রাক-প্রশিক্ষণ পদ্ধতি যা অভ্যন্তরীণ পূর্বাভাস কাজ (যেমন শব্দ মাস্কিং) তৈরি করে লেবেলবিহীন টেক্সট ডেটার বিশাল পরিমাণের সুবিধা নেয়, ব্যয়বহুল টীকাযুক্ত ডেটার উপর নির্ভর না করে মডেল ভিত্তি গঠন করতে সক্ষম করে।
জোড়া দ্বারা নির্দেশ টিউনিং
ফাইন-টিউনিং পদ্ধতি যা মডেলকে বিভিন্ন কাজের সাথে সারিবদ্ধ করতে জোড়া উদাহরণ (নির্দেশ, কাঙ্ক্ষিত আউটপুট) ব্যবহার করে, সীমিত সংখ্যক প্রদর্শনমূলক ডেটা ব্যবহার করে নির্দেশাবলী অনুসরণ করার ক্ষমতা উন্নত করে।
অ্যাটেনশন হেড প্রুনিং
প্রুনিং-এর একটি বিশেষায়িত রূপ যা ট্রান্সফরমার মেকানিজমে এমন অ্যাটেনশন হেড চিহ্নিত ও সরিয়ে দেয় যেগুলো মডেলের পারফরম্যান্সে সবচেয়ে কম অবদান রাখে, ফলে স্ব-অ্যাটেনশন লেয়ারের গণনামূলক জটিলতা হ্রাস পায়।
মাল্টি-টাস্ক নলেজ ডিস্টিলেশন
ডিস্টিলেশনের একটি প্রকরণ যেখানে একটি একক ছাত্র মডেল বিভিন্ন কাজে বিশেষজ্ঞ একাধিক শিক্ষক মডেলের আউটপুট অনুকরণ করতে শেখে, ফলে কম গণনামূলক খরচে বহুমুখীতা অর্জন করে।
সিন্থেটিক ডেটা ট্রেনিং
একটি কৌশল যেখানে একটি শক্তিশালী LLM ব্যবহার করে প্রশিক্ষণের জন্য প্রচুর পরিমাণে কৃত্রিম ডেটা (টেক্সট, প্রশ্ন-উত্তর জোড়া) তৈরি করা হয়, তারপর একটি ছোট মডেলকে প্রশিক্ষণ বা ফাইন-টিউন করা হয়, ফলে বাস্তব ডেটার উপর নির্ভরতা হ্রাস পায়।
অ্যাক্টিভেশন অফলোডিং মেমরি অপ্টিমাইজেশন
একটি কৌশল যা প্রশিক্ষণের সময় মধ্যবর্তী অ্যাক্টিভেশনগুলি দ্রুত GPU মেমরি থেকে ধীর CPU মেমরিতে (বা ডিস্কে) স্থানান্তর করে, সাধারণত GPU-এর ক্ষমতার চেয়ে বড় মডেল চালানো সম্ভব করে।
প্রিফিক্স-টিউনিং
একটি PEFT পদ্ধতি যেখানে শুধুমাত্র একটি ছোট প্রিফিক্স টোকেন ভেক্টর প্রি-ট্রেন করা হয় যা ট্রান্সফরমারের প্রতিটি লেয়ারের ইনপুটে যোগ করা হয়, নগণ্য খরচে একটি নির্দিষ্ট কাজের জন্য হিমায়িত মডেলের আচরণ পরিচালনা করে।
গ্রেডিয়েন্ট অ্যাকুমুলেশন ট্রেনিং
একটি প্রক্রিয়া যা ছোট ব্যাচ সহ একাধিক ফরওয়ার্ড পাসে গ্রেডিয়েন্ট জমা করে একটি বড় ব্যাচ সাইজ সিমুলেট করে, ওয়েট আপডেটের একটি একক ধাপ সম্পাদনের আগে, ফলে GPU মেমরি সীমাবদ্ধতা এড়ানো যায়।
ভোকাবুলারি কম্প্রেশন
একটি কৌশল যা বিরল বা শব্দার্থগতভাবে কাছাকাছি টোকেনগুলিকে একত্রিত করে এমবেডিং লেয়ারের আকার হ্রাস করে, ফলে মডেলের শব্দ উপস্থাপনা সংরক্ষণের জন্য প্রয়োজনীয় প্যারামিটার সংখ্যা এবং মেমরি হ্রাস পায়।
অ্যাডভারসারিয়াল টিউনিং
একটি পদ্ধতি যা কঠিন উদাহরণ বা আক্রমণ তৈরি করতে একটি প্রতিপক্ষ মডেল ব্যবহার করে, যাতে কম ডেটা নিয়ে একটি ছাত্র মডেলকে আরও শক্তিশালী এবং কার্যকরী করে তোলা যায় এবং এজ কেসগুলিতে ফোকাস করা যায়।