[RAG] 경진대회 5 - 0.6568으로 증가(GEMMA)

Llama 대신 GEMMA 9b를 쓰니 정확도가 늘어났다.

 

원래 0.5666->0.6243으로 향상

 

거기에 ensemble retriever를 적용했을 때 0.6545 으로 증가

거기에 kiwi retriever를 적용햇을 때 0.6568로 증가했다.

 

아마 여기까지가 일반적인 LLM이나 retriever 방법론의 끝일듯 싶고, 이 다음부터는 파인튜닝이나 multi query, self-query 같은 기법이 작용해야 할 것 같다.

 

아니면 RAPTOR 같은 기법을 적용하던가.

 

어쨌든 간에 리더보드 스코어가 20위 권 안에 들어간 건 좋은 일이다.

 

현재 0.67이 10위권이니, 정말 잘 한다면 10위권도 노려볼 수 있음직 하다.

 

0.7까지만 향상시키면 실전에서도 꽤나 좋게 쓸 수 있다는 증거도 된다.

 

그렇기에 다시 달려야겠다.