एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
वफादारी स्कोर
प्रदान किए गए संदर्भ के संबंध में उत्पन्न प्रतिक्रिया की निष्ठा की डिग्री का मूल्यांकन करने वाला मीट्रिक, यह मापता है कि क्या दावे पुनर्प्राप्त स्रोतों द्वारा तथ्यात्मक रूप से समर्थित हैं।
संदर्भ प्रासंगिकता
प्रारंभिक क्वेरी के संबंध में पुनर्प्राप्त दस्तावेजों या अंशों की प्रासंगिकता को मात्रात्मक रूप से दर्शाने वाला संकेतक, RAG पुनर्प्राप्ति घटक की गुणवत्ता का मूल्यांकन करने के लिए आवश्यक।
उत्तर प्रासंगिकता
स्कोर जो मापता है कि उत्पन्न प्रतिक्रिया सीधे और पूरी तरह से पूछे गए प्रश्न का कितना जवाब देती है, तथ्यात्मक सत्यता से स्वतंत्र।
पुनर्प्राप्ति परिशुद्धता
सभी पुनर्प्राप्त दस्तावेजों में प्रासंगिक दस्तावेजों का अनुपात, केवल उपयोगी जानकारी वापस लौटाने में सिस्टम की प्रभावशीलता का मूल्यांकन करता है।
पुनर्प्राप्ति रिकॉल
ज्ञान आधार में उपलब्ध प्रासंगिक दस्तावेजों की कुल संख्या के संबंध में पुनर्प्राप्त प्रासंगिक दस्तावेजों का अनुपात।
ज्ञान F1 स्कोर
पुनर्प्राप्त ज्ञान की परिशुद्धता और रिकॉल के बीच हार्मोनिक माध्य, RAG सिस्टम के समग्र प्रदर्शन का संतुलित माप प्रदान करता है।
संदर्भ उपयोग दर
पुनर्प्राप्त संदर्भ की प्रासंगिक जानकारी का प्रतिशत जो अंतिम उत्तर में वास्तव में उपयोग किया जाता है, स्रोतों के उपयोग की प्रभावशीलता को मापता है।
मतिभ्रम दर
आवृत्ति जिस पर मॉडल प्रदान किए गए संदर्भ द्वारा समर्थित नहीं की गई जानकारी उत्पन्न करता है, RAG सिस्टम की विश्वसनीयता का महत्वपूर्ण संकेतक।
सिमेंटिक समानता स्कोर
जनरेट की गई प्रतिक्रिया और संदर्भ प्रतिक्रिया के बीच अर्थपूर्ण समानता का माप, जो अर्थ संबंधी बारीकियों को पकड़ने के लिए एम्बेडिंग का उपयोग करता है।
उत्तर पूर्णता
जनरेट की गई प्रतिक्रिया में प्रश्न के सभी प्रासंगिक पहलुओं के कवरेज का मूल्यांकन, एक संपूर्ण प्रतिक्रिया सुनिश्चित करना।
रिट्रीवल विलंबता
ज्ञान आधार से प्रासंगिक दस्तावेज़ों को पुनर्प्राप्त करने के लिए आवश्यक समय, उत्पादन में उपयोगकर्ता अनुभव के लिए महत्वपूर्ण मानदंड।
टोकन दक्षता अनुपात
उपयोग किए गए प्रासंगिक टोकन की संख्या और जनरेट किए गए कुल टोकन के बीच का अनुपात, RAG प्रणाली की आर्थिक दक्षता को मापता है।
ग्राउंडेडनेस स्कोर
मीट्रिक जो मूल्यांकन करती है कि प्रतिक्रिया में प्रत्येक दावा पुनर्प्राप्त स्रोतों में स्पष्ट साक्ष्य द्वारा कितना समर्थित है।
स्रोत अट्रिब्यूशन सटीकता
सटीकता जिसके साथ सिस्टम प्रतिक्रिया के प्रत्येक भाग को पुनर्प्राप्त संदर्भ में उसके उचित दस्तावेज़ी स्रोत से सही ढंग से जोड़ता है।
प्रतिक्रिया स्थिरता
जनरेट की गई प्रतिक्रिया की आंतरिक स्थिरता का माप, प्रतिक्रिया के विभिन्न भागों के बीच विरोधाभासों की अनुपस्थिति का मूल्यांकन करता है।
क्वेरी अस्पष्टता समाधान
सबसे प्रासंगिक जानकारी पुनर्प्राप्त करने के लिए उपयोगकर्ता क्वेरी में अस्पष्टताओं की व्याख्या और समाधान करने की RAG प्रणाली की क्षमता।
सूचना ओवरलैप स्कोर
पुनर्प्राप्त संदर्भ में उपलब्ध जानकारी और प्रतिक्रिया में मौजूद जानकारी के बीच ओवरलैप का माप, अनावश्यक पुनरावृत्ति से बचना।
उत्तर सटीकता
प्रतिक्रिया की तथ्यात्मक सत्यता का मूल्यांकन जमीनी सच्चाई या सत्यापित संदर्भ स्रोतों के सापेक्ष।
पुनर्प्राप्ति कवरेज
पुनर्प्राप्ति प्रणाली द्वारा वास्तव में पहुँच योग्य ज्ञान आधार की सीमा, जो विविध प्रश्नों के उत्तर देने की क्षमता को प्रभावित करती है।
प्रतिक्रिया सुसंगतता
उत्पन्न प्रतिक्रिया की तार्किक संरचना और कथा प्रवाह की गुणवत्ता, जो जानकारी की स्पष्ट और समझने योग्य प्रस्तुति सुनिश्चित करती है।