Sparse Attention

মেমরি-ভিত্তিক অ্যাটেনশন

অতীত টোকেনগুলির প্রাসঙ্গিক তথ্য সংরক্ষণ করতে একটি সংকুচিত বাহ্যিক মেমরি ব্যবহার করে আর্কিটেকচার, যা নির্বিচারে দীর্ঘ সিকোয়েন্সে অ্যাটেনশন সম্ভব করে।

← ফিরে যান