Alpaca는 Facebook에서 공개한 LLama 모델을 스탠포드에서 개량한 것입니다.
Alpaca에 한국어 학습데이터를 추가한 것이 KoAlpaca입니다.
GPT API가 과금 문제가 있고 제차 빌드를 하려면 비용이 많이 들기 때문에 KoAlpaca의 공개된 엔진을 사용해서 어설픈 챗봇을 만들기로 했었습니다.
하지만 아래와 같은 이유로 포기했습니다.
포기 이유
- GPU 없이 모델을 로딩해서 인퍼런스(문장완성이나 답변)을 뽑는 것이 너무 느림
- GPU를 사용하려면 3080ti 같은 PC급 GPU로는 가장 가벼운 모델도 로딩하기 어려움
- 원할한 서빙을 위해서 A100 이상의 GPU로 서빙을 해야 하는데 비용이 높음
- KoAlpaca의 품질이 GPT 3.5에 비해서도 확인히 떨어짐. 한국어는 매우 심함
현실적으로 챗봇의 품질을 확보하려면 GPT API를 사용하거나 Azure를 사용하는 것이 가장 품질과 비용을 고려한 솔루션이 될 것 같습니다.
KoAlpaca는 누군가 모델을 더 개선할 때까지 기다려야 할지 모르겠네요.
