এআই গ্লসারি

📖

শব্দ

মাল্টি-হেড সেলফ-অ্যাটেনশন

একটি অ্যাটেনশন মেকানিজম যা একই সাথে একাধিক অ্যাটেনশন ফাংশন সমান্তরালভাবে চালায় যাতে টোকেনগুলির মধ্যে বিভিন্ন সেমান্টিক সম্পর্কের দিকগুলো ধরা যায়। মডেলকে ইনপুট সিকোয়েন্সের বিভিন্ন অবস্থানে একই সাথে ফোকাস করতে দেয়।

📖

শব্দ

মাল্টি-হেড অ্যাটেনশন আউটপুট প্রজেকশন

চূড়ান্ত লিনিয়ার লেয়ার যা সমস্ত অ্যাটেনশন হেডের আউটপুটগুলোকে একটি একীভূত ম্যাট্রিক্সে একত্রিত করে। অ্যাটেনশন হেডগুলোর কনক্যাটেনেশনকে পরবর্তী লেয়ারগুলোর সাথে সামঞ্জস্যপূর্ণ ডাইমেনশনে রূপান্তরিত করে।