এআই গ্লসারি

📖

শব্দ

দক্ষ ট্রান্সফরমার

ট্রান্সফরমার আর্কিটেকচারের একটি বিভাগ যা দীর্ঘতর সিকোয়েন্স প্রক্রিয়াকরণের জন্য লিনিয়ার, স্পার্স বা লো-র্যাঙ্ক অ্যাটেনশন এর মতো কৌশল ব্যবহার করে অ্যাটেনশনের দ্বিঘাত জটিলতা কাটিয়ে উঠতে ডিজাইন করা হয়েছে।

📖

শব্দ

ফ্ল্যাশঅ্যাটেনশন

একটি সঠিক কিন্তু মেমরি ও সময়ে দ্রুততর অ্যাটেনশন অ্যালগরিদম যা GPU মেমরিতে বড় ইন্টারমিডিয়েট অ্যাটেনশন ম্যাট্রিক্স তৈরি এড়াতে টাইলিং এবং রিকম্পুটেশন ব্যবহার করে।

📖

শব্দ

নিস্ট্রোমফরমার

একটি মডেল যা সম্পূর্ণ অ্যাটেনশন ম্যাট্রিক্স আনুমানিক করতে নিস্ট্রোম পদ্ধতি ব্যবহার করে, অল্প সংখ্যক ল্যান্ডমার্ক পয়েন্ট স্যাম্পলিং করে, O(n²) থেকে O(n*m) এ জটিলতা হ্রাস করে যেখানে m << n।