[월:] 2024년 04월

DPO는 LLM에서 사용하는 튜닝 방법입니다. GPT는 Pretrained 단계를 거쳐 Fine-tuning에서 RLHF라는 사람의 피드백에 의한 강화학습을 합니다. PPO라는…

LlamaIndex라는 RAG 프레임워크입니다. https://github.com/run-llama/llama_index 아직 사용해보지 않았지만 비교적 오래된 프로젝트이고 기능이 괜찮은 것 같아 시도를 해볼 생각입니다….

제목이 좀 기네요. 데이터브릭스 이벤트행사에 다녀왔습니다. 이 이벤트는 컨퍼런스 형식입니다.모든 세션을 다 듣지 못했지만 들은 세션의 내용을…

라마의 변천사를 보여주는 인포그래픽스입니다. 불과 1년만에 이런 규모가 된 것은 놀랍습니다. 글쓰는 시점에 405B는 아직 나오지 않았지만…

iPhone에서 Llama3 8B 모델을 구동시키는데 성공했다는 뉴스가 나오자마자 인터넷 곳곳에서 따라하기에 성공사례가 연달아 나오고 있습니다. 정리하자면 애플…

스펙과 성능에 대한 비교표입니다. 전반적으로 GPT-4가 가장 성능은 뛰어난 것으로 평가 받고 있습니다.비용효율과 사용성 측면을 고려하면 성능을…

VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time 놀라운 모델이 또 발표되었습니다. 마이크로소프트가 사진 한장만 있으면 사진속…

할루시네이션은 언어 AI 모델(LLM)이 사실이 아닌 엉뚱한 소리를 사실 처럼 확증적으로 말하는 것을 말합니다. 할루시네이션(Hallucination)은 거짓말과는 다른데…

메타(Meta, 페이스북)의 LLaMa3 가 공개되었습니다. 앤드류 응 교수는 출시되지 마자 다음과 같은 멘트를 했습니다.Meta released Llama 3…

MMLU: 대규모 멀티태스크 언어 이해력 평가 https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu 인공지능의 평가 및 비교를 볼 때 MMLU라는 지표를 자주 보게…

OpenAI Assistant API는 openapi에서 모델을 활용해서 개발하게 하는 API인데 2023 말에 Beta V1을 발표했습니다. 하지만 몇가지 단점과…

데이터 사이언스에 대한 좋은 도표가 있어 공유합니다. 그림처럼 Python만 써야 하는 것은 아닙니다. Python은 데이터과학을 하는데 필요한…

답부터 말하면 안 괜찮습니다. 사실 비율 보다는 샘플의 크기가 중요하지만 어쨌든 95%대 5%로는 A/B테스트는 문제를 만듭니다. A/B테스트…