post-retrieval-modules

Post Retrieval

검색된 Document를 LLM이 생성에 잘 사용할 수 있도록 변환 시킨다.

  • 검색된 정보 내의 노이즈와 중복을 줄이기 위해 사용됨
  • Lost-in-the-middle를 해결하기 위해, 문서의 순위를 다시 매긴다.
    • Lost-in-the-middle: 모델이 컨텍스트의 앞부분과 뒷부분은 잘 기억하지만, 중간 정보를 놓치는 형상
  • 컨택스트 길이 제한을 해결하기 위해, 관련 없거나 중복된 문서를 제거한다.
    • 각 문서의 내용을 압축하여 핵심 정보의 밀도를 높인다.