Faithfulness : answer 는 검색된 context 에 기반해야한다. : 이를 위해 answer 에서 statement 를 뽑아 각 statement가 context 로부터 추론되었는지 binary 로 점수를 매기고, 평균을 낸다. answer relevance : 생성된 answer 가 질문을 해결할 수 있어야 한다. : 이를 위해 LLM 이 생성한 답변에서 질문을 역생성하고 그 질문와 오리지널 질문을 서로 임베딩 유사도를 구한다. context precision : 여러 개 청크에서 ground truth 답변과 관련된 context 가 상위에 있는지 평가한다. context recall : 검색된 context 가 gt 답변과 얼마나 일치하는지 평가한다. ..
ragas
https://arxiv.org/pdf/2309.15217 위 논문은 RAG (Retrival Augmented Generation) 을 평가하는 방법에 대한 논문이다.오늘은 이에 대해 포스팅해보려고 한다.** 시작은 창대하나 끝은 미약한 글이 될 거 같다. method 까지만 정리했기 떄문이다. evaluation 이나 experiment 부분을 보려면 논문을 더 확인하기 바란다. AbstractRAG 를 evaluation 하는 것은retrieval system 이 관련있는 context 를 찾아내는 능력이나 LLM 이 이러한 passage 를 적절하게 사용하는 능력을 평가하는 것이 어렵다는 점,또한 생성된 문장을 평가하는 것 자체가 어렵다는 점 때문에 문제가 있다.RAGAS 에서는 human ann..
