Glossário IA
O dicionário completo da Inteligência Artificial
Pontuação de Fidelidade
Métrica que avalia o grau de fidelidade da resposta gerada em relação ao contexto fornecido, medindo se as afirmações são factualmente suportadas pelas fontes recuperadas.
Relevância do Contexto
Indicador que quantifica a relevância dos documentos ou passagens recuperados em relação à consulta inicial, essencial para avaliar a qualidade do componente de recuperação RAG.
Relevância da Resposta
Pontuação que mede até que ponto a resposta gerada responde direta e completamente à pergunta feita, independentemente da veracidade factual.
Precisão de Recuperação
Proporção de documentos relevantes entre todos os documentos recuperados, avaliando a eficácia do sistema em retornar apenas informações úteis.
Revocação de Recuperação
Razão entre documentos relevantes recuperados e o número total de documentos relevantes disponíveis na base de conhecimento.
Pontuação F1 do Conhecimento
Média harmônica entre a precisão e a revocação do conhecimento recuperado, oferecendo uma medida equilibrada do desempenho geral do sistema RAG.
Taxa de Utilização do Contexto
Percentual de informações relevantes do contexto recuperado que são efetivamente utilizadas na resposta final, medindo a eficácia de utilização das fontes.
Taxa de Alucinação
Frequência com que o modelo gera informações não suportadas pelo contexto fornecido, indicador crítico da confiabilidade do sistema RAG.
Pontuação de Similaridade Semântica
Medida de similaridade semântica entre a resposta gerada e uma resposta de referência, usando embeddings para capturar nuances de significado.
Completude da Resposta
Avaliação da cobertura de todos os aspectos relevantes da pergunta na resposta gerada, garantindo uma resposta exaustiva.
Latência de Recuperação
Tempo necessário para recuperar os documentos relevantes da base de conhecimento, critério crucial para a experiência do usuário em produção.
Razão de Eficiência de Tokens
Razão entre o número de tokens relevantes utilizados e o número total de tokens gerados, medindo a eficiência econômica do sistema RAG.
Pontuação de Fundamentação
Métrica que avalia até que ponto cada afirmação na resposta é sustentada por evidências explícitas nas fontes recuperadas.
Precisão de Atribuição de Fontes
Precisão com a qual o sistema atribui corretamente cada parte da resposta à sua fonte documental apropriada no contexto recuperado.
Consistência da Resposta
Medida da consistência interna da resposta gerada, avaliando a ausência de contradições entre diferentes partes da resposta.
Resolução de Ambiguidade de Consulta
Capacidade do sistema RAG de interpretar e resolver ambiguidades na consulta do usuário para recuperar as informações mais relevantes.
Pontuação de Sobreposição de Informação
Medida da sobreposição entre as informações presentes na resposta e aquelas disponíveis no contexto recuperado, evitando redundâncias.
Precisão da Resposta
Avaliação da veracidade factual da resposta gerada em relação a uma verdade fundamental ou às fontes de referência validadas.
Cobertura de Recuperação
Extensão da base de conhecimento efetivamente acessível pelo sistema de recuperação, impactando a capacidade de responder a perguntas diversificadas.
Coerência da Resposta
Qualidade da estrutura lógica e do fluxo narrativo da resposta gerada, assegurando uma apresentação clara e compreensível das informações.