LlamaIndex라는 RAG 프레임워크입니다.
https://github.com/run-llama/llama_index
아직 사용해보지 않았지만 비교적 오래된 프로젝트이고 기능이 괜찮은 것 같아 시도를 해볼 생각입니다.
원래는 이름이 GPT index였지만 이름을 LlamaIndex로 바꿨습니다.
Meta에서 만든 것은 아니고 Llama와 관련도 없습니다.
RAG LlamaIndex
데이터브릭스 데이터 인텔리전스 데이 서울 2024
제목이 좀 기네요.
데이터브릭스 이벤트행사에 다녀왔습니다. 이 이벤트는 컨퍼런스 형식입니다.
모든 세션을 다 듣지 못했지만 들은 세션의 내용을 가지고 종합하면
좋았던 점
- 궁금한 것에 대해서 뭘 하고 있는지 어떻게 대응하고 있는지 잘 설명해줬다.
- 내용이 알찼고 섬세했다.
- 사용자의 LLM의 생성과 튜닝에 대해 준비가 어떻게 되어 있는지 잘 알려주고 있다.
- LLM을 응용한 여러가지 편의 기능과 최적화 기능 들은 인상적이었다.
아쉬운 점
- 설명할 내용이 많았는지 스피커들의 스피치속도가 빨라서 정식 없었다.
- 성공사례 발표가 많지 않았고 와닿지 않았다. 이건 다른 컨퍼런스도 마찬가지이지만 이게 아쉽네요.
- 협찬업체가 적어서 경품 부쓰가 적었다.
이렇습니다.
느낌은
무료 컨퍼런스임에도 매우 알차고 괜찮어서 만족스러웠습니다.
데이터브릭스 직원분들 능력이 좋은 것 같습니다.
사람이 많아서 많이 정신 없고 피곤했습니다. 인기 실감
라마(Llama)의 변천사 인포그래픽스
라마의 변천사를 보여주는 인포그래픽스입니다. 불과 1년만에 이런 규모가 된 것은 놀랍습니다.
글쓰는 시점에 405B는 아직 나오지 않았지만 정말 기대됩니다.
Iphone에서 MLX로 Llama3 로딩 성공
iPhone에서 Llama3 8B 모델을 구동시키는데 성공했다는 뉴스가 나오자마자 인터넷 곳곳에서 따라하기에 성공사례가 연달아 나오고 있습니다.
정리하자면
애플 실리콘은 애플이 독자적으로 만든 반도체입니다. 그래서 인텔, AMD의 프로세서와 Nvidia GPU용으로 만들어진 모델이 그냥 작동하지 않습니다. Llama3도 마찬가지입니다. 돌아간다고 하더라도 효율이 문제인데 그래서 애플은 애플 실리콘에서 작동하는 자체 고속행렬연산 프레임워크인 MLX라는 것을 만들었습니다.
Llama3를 애플의 아이폰, 아이패드에서 돌리려면 MLX에서 돌도록 해야 제대로 되는데 그걸 매우 쉽게 했다는 것입니다.
아이폰 다음 모델에는 거의 온디비이스 AI 탑재될 것이 분명합니다.
온디바이스AI는 디바이스내에서 외부 통신없이 자체 능력만으로도 AI 프로세싱을 처리할 수 있는 것을 말합니다.
세상이 바뀌는 순간이 매우 빠르게 오고 있다는 느낌이 듭니다.
다음은 Llama3 8B를 iPhone 15 Pro Max에 설치하는 방법입니다. 편의상 영문 그대로 올립니다.
UPDATE: Successfully ran Llama3 8B Instruct on iPhone 15 Pro Max
Steps:
1. Install LLM Farm
2. Download Llama3 8B Instruct GGUF from Huggingface
3. Import & Run the model in LLM Farm
LLM Farm: https://llmfarm.site
Model File: https://huggingface.co/FaradayDotDev/llama-3-8b-Instruct-GGUF… Detailed steps coming soon!
Llama3의 성능 비교표
스펙과 성능에 대한 비교표입니다.
전반적으로 GPT-4가 가장 성능은 뛰어난 것으로 평가 받고 있습니다.
비용효율과 사용성 측면을 고려하면 성능을 조금 포기하고 모델의 크기와 같은 하드웨어적 특징을 고민해야 하기때문에 용도에 맞는 것을 선택해야 하겠습니다.
아무리 GPT가 성능이 좋아도 오픈소스경량 LLM인 Llama3의 매력을 무시하기는 어려울 것 같습니다.
