1. Tauri란 무엇인가?

Tauri는 데스크탑 애플리케이션을 개발할 수 있는 가볍고 안전한 오픈 소스 프레임워크입니다. Tauri를 사용하면 웹 기술을 이용해 Windows, macOS, Linux에서 실행 가능한 네이티브 애플리케이션을 만들 수 있습니다. 주로 Rust와 **웹 기술(HTML, CSS, JavaScript)**을 결합하여 제작되며, 성능과 보안 측면에서 매우 강력한 특징을 갖고 있습니다.

2. 왜 Tauri인가?

Tauri는 Electron이나 다른 데스크탑 앱 프레임워크에 비해 매우 경량입니다. 기존의 Electron 앱은 크롬과 같은 브라우저 엔진을 내장하여 용량이 큰 경우가 많습니다. 하지만 Tauri는 시스템의 네이티브 웹뷰를 사용하기 때문에 앱의 크기가 훨씬 작습니다.

주요 장점:

• 가벼움: 앱 크기가 매우 작고, 시스템 리소스를 적게 사용합니다.
• 보안성: Tauri는 보안을 최우선으로 하며, 웹 기술을 기반으로 하면서도 로컬 파일 시스템 접근을 최소화합니다.
• 다중 플랫폼 지원: Windows, macOS, Linux 모두에서 동일한 코드베이스로 빌드가 가능합니다.
• Rust의 성능: Tauri는 백엔드에서 고성능 언어인 Rust를 활용하여 더 빠른 실행 속도를 제공합니다.

3. Tauri와 Electron 비교

4. Tauri의 특징

1. 작은 크기: Tauri로 만든 애플리케이션은 1MB에서 10MB 정도의 크기를 가집니다. 작은 애플리케이션 크기는 다운로드 시간과 설치 시간을 크게 줄여줍니다.
2. Rust로 백엔드 작성: Rust의 고성능과 안전성을 활용할 수 있습니다. Rust는 메모리 안전성을 보장하며, 시스템 리소스를 효율적으로 사용합니다.
3. 웹 개발자의 쉬운 접근성: 이미 HTML, CSS, JavaScript를 알고 있는 웹 개발자라면 Tauri를 이용해 데스크탑 애플리케이션을 빠르게 개발할 수 있습니다.
4. 보안성 강화: Tauri는 애플리케이션과 로컬 시스템 간의 상호작용을 엄격히 제한합니다. 보안에 민감한 앱 개발 시 매우 유용합니다.

5. Tauri로 개발을 시작하려면?

Tauri를 시작하려면 아래의 개발 환경이 필요합니다:

• Rust 설치: Tauri는 Rust를 백엔드로 사용하므로, 먼저 Rust를 설치해야 합니다.
• Node.js 및 패키지 관리자 설치: JavaScript 및 패키지 관리를 위해 Node.js와 npm/yarn을 설치합니다.
• Tauri CLI 설치: 프로젝트를 생성하고 빌드하는 데 필요한 CLI 도구입니다.

bash코드 복사# Rust 설치
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Node.js 및 패키지 관리자 설치 (Node.js 웹사이트에서 다운로드)
npm install -g tauri-cli

6. 결론

Tauri는 기존의 데스크탑 애플리케이션 개발 프레임워크보다 경량화된 솔루션을 제공합니다. Rust의 성능을 바탕으로 웹 기술과 결합하여 데스크탑 앱을 쉽게 개발할 수 있고, 작은 앱 크기와 높은 보안성 덕분에 사용자 경험도 우수합니다. Electron이 제공하는 풍부한 기능이 필요하지 않거나, 더 가벼운 대안을 찾고 있다면 Tauri가 훌륭한 선택이 될 수 있습니다.

데이터 엔지니어(Data Engineer)와 데이터 사이언티스트(Data scientist, 데이터 과학자)에 대한 차이에 대한 포스트입니다.

GPT나 Claude에게 물어보면 잘 대답해 주겠지만 그냥 설명하기 쉽게 표로 만들어 봤습니다.

세션ID, 쿠키ID

쿠키에서 넣어놓는 세션ID(사용자ID)를 속칭 쿠키ID라고 합니다.

웹사이트나 포털사이트에 비로그인 접속자들을 추적하기 위해서 사용합니다.

구글, 네이버, 온라인광고, 이커머스 등의 사이트에서 사용자의 행적을 추적할 때 가장 많이 사용합니다.

이 비식별 키를 기준으로 사람들의 행동을 쌓아놓은 로그데이터인 행적데이터(로그 데이터)가 빅데이터에서 말하는 대량 데이터의 핵심 중 하나입니다. 이 로그를 분석하면 인사이트가 나옵니다.

로그인하지 않는 경우에는 추천시스템도 이 데이터를 기본으로 만들며 세그멘테이션, 데이터 교환 같은 것도 다 이것을 기준으로 합니다.

생성 방법

예전에는 백엔드서버에서 생성을 해서 쿠키로 생성해주는 방식을 많이 썼지만 NginX에 userid라는 모듈이 있어서 이 일을 대신해주니 편리합니다. NginX 없이 바로 웹서비스를 하는 경우에는 구현이 필요합니다.

보통 랜덤값을 생성해서 16바이트 또는 32바이트 16진수값을 문자열로 바꿔서 넣습니다.

사용자의 IP나 특별한 정보를 넣기도합니다만 쓸모가 없어서 요즘은 잘 하지 않습니다.

userid on;
userid_name uid;
userid_domain example.com;
userid_path /;
userid_expires 365d;
userid_p3p 'policyref="/w3c/p3p.xml", CP="CUR ADM OUR NOR STA NID"';

만료기간은 기본 1년으로 되어 있지만 넉넉하게 5년쯤으로 넣어 놓으면 됩니다.

Python

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

options = Options()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

# user-agent를 일반적인 브라우저와 비슷하게 설정
options.add_argument('--disable-blink-features=AutomationControlled')

# 크롬 드라이버 경로 설정
service = Service(executable_path="path_to_chromedriver")

driver = webdriver.Chrome(service=service, options=options)

# 필요한 작업 수행
driver.get('https://www.example.com')

# 작업 종료 후 드라이버 종료
driver.quit()

LlamaIndex라는 RAG 프레임워크입니다.

https://github.com/run-llama/llama_index

아직 사용해보지 않았지만 비교적 오래된 프로젝트이고 기능이 괜찮은 것 같아 시도를 해볼 생각입니다.

원래는 이름이 GPT index였지만 이름을 LlamaIndex로 바꿨습니다.

Meta에서 만든 것은 아니고 Llama와 관련도 없습니다.

제목이 좀 기네요.

데이터브릭스 이벤트행사에 다녀왔습니다. 이 이벤트는 컨퍼런스 형식입니다.
모든 세션을 다 듣지 못했지만 들은 세션의 내용을 가지고 종합하면

좋았던 점

1. 궁금한 것에 대해서 뭘 하고 있는지 어떻게 대응하고 있는지 잘 설명해줬다.
2. 내용이 알찼고 섬세했다.
3. 사용자의 LLM의 생성과 튜닝에 대해 준비가 어떻게 되어 있는지 잘 알려주고 있다.
4. LLM을 응용한 여러가지 편의 기능과 최적화 기능 들은 인상적이었다.

아쉬운 점

1. 설명할 내용이 많았는지 스피커들의 스피치속도가 빨라서 정식 없었다.
2. 성공사례 발표가 많지 않았고 와닿지 않았다. 이건 다른 컨퍼런스도 마찬가지이지만 이게 아쉽네요.
3. 협찬업체가 적어서 경품 부쓰가 적었다.

이렇습니다.

느낌은
무료 컨퍼런스임에도 매우 알차고 괜찮어서 만족스러웠습니다.
데이터브릭스 직원분들 능력이 좋은 것 같습니다.
사람이 많아서 많이 정신 없고 피곤했습니다. 인기 실감

라마의 변천사를 보여주는 인포그래픽스입니다. 불과 1년만에 이런 규모가 된 것은 놀랍습니다.

글쓰는 시점에 405B는 아직 나오지 않았지만 정말 기대됩니다.

iPhone에서 Llama3 8B 모델을 구동시키는데 성공했다는 뉴스가 나오자마자 인터넷 곳곳에서 따라하기에 성공사례가 연달아 나오고 있습니다.

정리하자면

애플 실리콘은 애플이 독자적으로 만든 반도체입니다. 그래서 인텔, AMD의 프로세서와 Nvidia GPU용으로 만들어진 모델이 그냥 작동하지 않습니다. Llama3도 마찬가지입니다. 돌아간다고 하더라도 효율이 문제인데 그래서 애플은 애플 실리콘에서 작동하는 자체 고속행렬연산 프레임워크인 MLX라는 것을 만들었습니다.

Llama3를 애플의 아이폰, 아이패드에서 돌리려면 MLX에서 돌도록 해야 제대로 되는데 그걸 매우 쉽게 했다는 것입니다.

아이폰 다음 모델에는 거의 온디비이스 AI 탑재될 것이 분명합니다.

온디바이스AI는 디바이스내에서 외부 통신없이 자체 능력만으로도 AI 프로세싱을 처리할 수 있는 것을 말합니다.

세상이 바뀌는 순간이 매우 빠르게 오고 있다는 느낌이 듭니다.

다음은 Llama3 8B를 iPhone 15 Pro Max에 설치하는 방법입니다. 편의상 영문 그대로 올립니다.

UPDATE: Successfully ran Llama3 8B Instruct on iPhone 15 Pro Max

Steps:

1. Install LLM Farm

2. Download Llama3 8B Instruct GGUF from Huggingface

3. Import & Run the model in LLM Farm

LLM Farm: https://llmfarm.site

Model File: https://huggingface.co/FaradayDotDev/llama-3-8b-Instruct-GGUF… Detailed steps coming soon!

스펙과 성능에 대한 비교표입니다.

전반적으로 GPT-4가 가장 성능은 뛰어난 것으로 평가 받고 있습니다.
비용효율과 사용성 측면을 고려하면 성능을 조금 포기하고 모델의 크기와 같은 하드웨어적 특징을 고민해야 하기때문에 용도에 맞는 것을 선택해야 하겠습니다.

아무리 GPT가 성능이 좋아도 오픈소스경량 LLM인 Llama3의 매력을 무시하기는 어려울 것 같습니다.

VASA-1: Lifelike Audio-Driven Talking Faces
Generated in Real Time

놀라운 모델이 또 발표되었습니다.

마이크로소프트가 사진 한장만 있으면 사진속 인물이 말을 하거나 노래를 부르는 영상으로 만들어주는 AI모델을 발표했습니다.

아래 링크에 들어가서 데모를 보시면 됩니다.

VASA-1 자료

할루시네이션은 언어 AI 모델(LLM)이 사실이 아닌 엉뚱한 소리를 사실 처럼 확증적으로 말하는 것을 말합니다.

할루시네이션(Hallucination)은 거짓말과는 다른데 거짓말은 의도적으로 진실을 말하지 않고 다르게 말하는 것인지만 AI는 진실과 거짓을 구별하지 못하고 의식이 없기 때문에 의도라는 것 자체도 없습니다.

그래서 틀린 사실도 매우 당연하다는 듯이 사실처럼 생성하기도 합니다. 그런데 AI가 생성한 텍스트가 진실인지 아닌지 알아차릴 수 있는 지식이 없다면 AI의 거짓을 착각해서 믿게 됩니다.

LLM은 할루시네이션 극복을 하기 힘들다

LLM 의 구조적인 특징으로 인해 할루시네이션은 AI모델 자체로는 완벽하게 극복이 안됩니다. 나중에 개선된 모델이나 다른 방법이 나온다면 가능하겠지만 지금은 아닙니다.

LLM의 작동방식은 확률적으로 입력한 단어의 다음 단어가 나올 것을 예측하고 그것을 매우 긴 단어의 연결에 대해 연속적으로 행하는 모델이기 때문입니다. 깊은 고찰이나 인과적 사실 검증, 사실 의심 같은 인간의 고급 사고 능력이 LLM에게 없기때문입니다.
그리고 인간도 할루시네이션이 있습니다. 잘못 알고 있는 것을 잘 알고 있다고 착각하고 우기는 것 말입니다. 하지만 인간은 자신이 틀렸을지도 모른다는 의심 또한 하기 때문에 현명한 사람들은 할루시네이션이 거의 없습니다.

학습량을 마구 늘리면 할루시네이션이 극복되지만 얼마까지 늘려야 눈치채지 못할 만큼 줄어드는지는 알 수 없습니다.

RAG (Retrieval Augmented Generation)

현재 LLM의 할루시네이션을 극복하는 거의 유일한 방법은 RAG (Retrieval Augmented Generation)을 사용하는 것입니다.

RAG는 AI가 대답할 때 질문과 관련이 있는 자료를 찾아서 참고해서 대답하게 만드는 방법입니다.

간단하게 말하면 AI가 대답하기 전에 벡터데이터베이스를 뒤져서 자료를 찾은 다음에 대답할 때 참고하도록 합니다. 당연히 벡터DB에는 사실만 저장되어 있어야 합니다.

RAG는 AI모델에 검색 엔진을 결합한 것

RAG에서 사용하는 DB또는 검색엔진 꼭 벡터 기반일 필요는 없습니다. 텍스트기반의 검색엔진인 엘라스틱 등을 사용해도 되고 DB를 사용해도 됩니다. 벡터 기반을 사용하는 이유는 벡터기반이 렉시컬 기반이 아닌 컨텍스트 기반으로 매치가 가능하기 때문입니다. 전통적인 검색엔진이나 DB는 단어들이 얼마나 일치하는지를 찾는 방법으로 쓰지만 벡터 기반은 의미가 비슷한지를 확인하는 구조로 되어 있습니다.

ASI모델을 사용할 때 RAG로 해결해야 하는 문제는 프롬프트와 관련이 있는 또는 챗봇의 경우 사용자가 질의한 것가 관련이 있는 것만 잘 추출해서 지시어로 넣어주어야 한다는 것입니다.
잘못된 검색 결과는 의미가 일치하지 않는 콘텐츠를 지시어로 넣어주면 할루시네이션이 생기거나 조금 엉성하고 엉뚱한 답을 하게 됩니다.

RAG가 정말 할루시네이션을 해결 해주는가?

다른 구조의 모델이 나오거나 파인튜닝을 엄청나게 많이 하지 않으면 RAG외에는 할루시네이션을 없애는 방법은 없습니다.

RAG를 위해서 필요한 것

• 벡터검색엔진
• 벡터검색엔진에 넣을 콘텐츠
• RAG가 적용되어 빌드된 모델
• 좋은 청킹 방법

여기서 가장 중요한 것은 2번입니다. RAG가 적용된 모델은 없어도 지시어로 충분히 해결할 수 있지만 있다면 더 매끄러운 결과를 보여줍니다.

청킹은 매우 중요한 기술인데 콘텐츠를 어떻게 잘라서 검색엔진에 추가할지에 대한 방법입니다. RAG에서 가장 중요한 노하우라고 할 수 있습니다.

좋은 방법은 잘 알려지지 않고 각 기업의 내부에서만 사용되고 있습니다. OpenAI도 RAG를 지원하지만 어떤 방법으로 청킹을 하는지에 대해서는 오픈하고 있지 않습니다.

RAG의 미래는?

AI모델을 실시간으로 빌드할 수 있는 방법은 없습니다. 모델을 만드는데 계산양이 매우 많기 때문입니다. 최신 지식을 인간처럼 곧바로 업데이트하지 못합니다.

유일한 방법은 어디선가 사실을 가져와서 모델내에 실시간으로 넣어주는 방법뿐입니다.

그래서 당분간은 RAG가 중요하게 쓰일 수 밖에 없습니다.

메타(Meta, 페이스북)의 LLaMa3 가 공개되었습니다.

앤드류 응 교수는 출시되지 마자 다음과 같은 멘트를 했습니다.
Meta released Llama 3 on my birthday! 🎂 Best present ever, thanks Meta! 😀

생일인데 Llama3이 발되었다고 좋은 선물이라고 하는데, 조금 오버입니다만 오버를 할 정도로 대단한 뉴스라는 것을 알 수 있습니다.

다른 많은 엔지니어들도 코멘트를 남겼으며 벌써 테스트를 해본 사람까지 있었습니다.

현재까지의 평가는 작은 사이즈에 비해 기존 모델과 비슷한 품질을 보여줘서 상당히 고무적이라는 평가입니다.
특히 Llama3의 가장 작은 모델은 8B모델은 LLama2의 7OB모델보다 MMLU 점수가 더 높았습니다.

MMLU는 언어모델의 지식 범위와 깊이를 측정하는 기준입니다.

LLama3에 대한 간단한 요약입니다.

1. 24000개 H100 GPU가 붙은 클러스터 2개를 이용해서 모델 빌드
2. 기존과 구조는 바꾼것 없이 데이터만 더 넣어서 성능 개선
3. 제공 모델 크기는 8B, 70B, 400B+ (400B+은 아직 학습 중)
4. 동급에 가장 리더보드 스코어가 높음
5. 학습량 15T 토큰량. 5% 정도의 30개국어. 구글의 전세계 색인 문서의 1/4 수준
6. 인스트럭션 러닝에도 많은 투자가 있었음. 즉 지시에 잘 따르고 말 잘듣게 학습시킴
7. Azure에서 API, 웹페이지에서 모델 다운로드 가능
8. 한국어 능력은 LLaMA2에 비해 크게 나아지지 않음. 다국어 학습량이 매우 부족해서 추가 필요
9. 튜닝 후 배포할 땐 llama3- 라고 꼭 적어야함

아직 한국어는 좋지 않지만 조만간 튜닝이 된 파생 모델이 쏟아져 나올 것입니다.

이제 LLM은 ChatGPT가 출시된 첫번째 격동기에서 두번째 격동기에 접어들었습니다.

MMLU: 대규모 멀티태스크 언어 이해력 평가

https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu

인공지능의 평가 및 비교를 볼 때 MMLU라는 지표를 자주 보게 됩니다.

MMLU(Massive Multitask Language Understanding)는 인공지능 모델의 지식 습득 능력을 종합적으로 평가하기 위한 벤치마크 중 하나입니다. 이 평가는 인공지능이 어느 정도까지 다양한 지식 영역을 이해하고 있는지를 측정하기 위해 고안되었습니다.

즉, 인공지능이 얼마나 다양한 지식을 가지고 있는지 평가하는 지표입니다.

MMLU의 특징

• 다양한 주제 범위: MMLU는 STEM(과학, 기술, 공학, 수학), 인문학, 사회과학 등 약 57가지의 다양한 주제에 대한 이해를 평가합니다.
• 다지선다 형식의 문제: 평가는 주로 다지선다 형식의 문제를 사용하여, 모델이 주어진 정보를 바탕으로 가장 적절한 답을 선택하도록 요구합니다.
• zero-shot 및 few-shot 학습 환경: 이 벤치마크는 특히 모델이 사전에 해당 주제에 대한 특정한 학습 없이도 얼마나 잘 수행할 수 있는지(zero-shot), 또는 매우 제한된 데이터로 학습한 후의 성능(few-shot)을 평가합니다.

현재 성과와 리더보드

최신 인공지능 모델들의 성능은 Papers with Code 웹사이트의 MMLU 벤치마크 섹션에서 확인할 수 있습니다. 현재 GPT-4가 86.4%의 높은 정확도로 최고 성능을 기록하고 있습니다.

자료 및 리소스

• 공식 GitHub: MMLU의 구현과 관련된 자세한 정보, 데이터셋 접근 및 사용 방법 등은 GitHub 페이지에서 확인할 수 있습니다. 이 페이지에는 또한 연구자들이 자신의 모델을 벤치마크에 적용해 볼 수 있는 지침과 도구들이 제공됩니다.

MMLU의 중요성

MMLU는 단순히 특정한 지식 영역에서의 모델 성능을 측정하는 것을 넘어, AI 모델이 얼마나 광범위하고 다양한 주제를 이해하고 있는지를 평가함으로써, 인공지능 기술의 종합적인 이해력과 다재다능성을 테스트합니다.

요약하면

MMLU는 현재 AGI를 만들어가는데 중요한 평가지표입니다.

OpenAI Assistant API는 openapi에서 모델을 활용해서 개발하게 하는 API인데 2023 말에 Beta V1을 발표했습니다.

하지만 몇가지 단점과 한계, 버그가 있었는데 새 버전 2가 발표되었습니다.

간략한 요약은 다음과 같습니다.

2024년 4월 발표. OpenAI Assistants API의 기본 버전에 새로운 기능과 개선 사항을 넣어 OpenAI-Beta: assistants=v2 릴리즈로 만듦

• 파일 검색 도구 개선: ‘file_search’ 도구는 이전보다 500배 많은 최대 10,000개 파일을 처리할 수 있습니다. 이 도구는 검색 속도가 빠르고, 멀티 스레드 검색을 통한 병렬 쿼리를 지원하며, 향상된 재정렬 및 쿼리 재작성 기능을 제공합니다. 기능 개선 및 신규 지원
• 벡터 스토어 객체 도입: 파일이 벡터 스토어에 추가되면 자동으로 파싱, 청킹, 임베딩되어 검색 준비가 완료됩니다. 벡터 스토어는 여러 보조기와 스레드에 걸쳐 사용할 수 있어 파일 관리와 결제가 간소화됩니다. 신규 지원
• 토큰 사용 최대치 제어: 실행할 때 사용하는 최대 토큰 수를 제어할 수 있어 토큰 사용 비용을 관리할 수 있습니다. 또한, 각 실행에서 사용되는 이전/최근 메시지의 수에 대한 제한을 설정할 수 있습니다. 신규 지원
• 도구 선택 매개변수 지원: 특정 실행에서 특정 도구(예: file_search, code_interpreter 등)의 사용을 강제할 수 있는 ‘tool_choice’ 매개변수를 추가했습니다. 신규 지원
• 역할이 보조인 메시지 생성 가능: Threads에서 사용자 정의 대화 이력을 생성할 수 있습니다.
• 보조 및 실행 객체의 모델 구성 매개변수 지원: 인기 있는 모델 구성 매개변수(온도, 응답 형식(JSON 모드), top_p 등)를 지원합니다. 신규 지원
• 미세 조정 모델 사용 가능: 현재는 gpt-3.5-turbo-0125의 미세 조정 버전만 지원됩니다. 신규 지원
• 스트리밍 지원: Assistants API가 이제 스트리밍을 지원합니다. 신규 지원
• 스트리밍 및 폴링 도우미 추가: Node 및 Python SDK에 여러 스트리밍 및 폴링 도우미를 추가했습니다. 신규 지원
• 마이그레이션 가이드 제공: 최신 버전의 Assistants API로 도구 사용을 마이그레이션하는 방법에 대해 자세히 알아볼 수 있습니다. 신규 지원

데이터 사이언스에 대한 좋은 도표가 있어 공유합니다.

그림처럼 Python만 써야 하는 것은 아닙니다. Python은 데이터과학을 하는데 필요한 컴퓨터 기술을 통칭한다고 생각하면 됩니다.

데이터분석과 데이터과학을 구별하지 못할 때가 많은데 차이점은 도메인 날리지(업무 지식)

이 이야기는 데이터과학이라는 용어가 생겼을 때부터 데이터과학의 정의에 항상 설명되어 있는 내용입니다.

데이터과학은 모든 기술을 업무 문제를 해결하는데 집중합니다.

반면 데이터분석은 현재 데이터의 상태를 확인하고 검증하는 것으로 끝냅니다.

현실의 문제를 해결하려는 목적없이 기계학습 모델만 만들고 싶어하면 단순한 ML엔지니어이고 통계적 분석만 한다면 단순한 분석가가 되는 것입니다.

하지만 복잡하고 풀기 곤란한 현실의 비즈니스 문제에 개입하고 싶지 않으려는 사람들이 많은데 그 사람들은 도메인 날리지를 제외하고 나머지 부분만을 데이터과학이라고 주장합니다.

MBC에서 제공하는 2024 총선 시각화 페이지의 링크

전달력이 있는 잘 구성된 시각화의 예라고 할 수 있습니다.
여론M의 데이터 저널리즘관련 콘텐츠는 꽤 잘되어 있는 편입니다.

https://poll-mbc.co.kr/poll2024/

CTR은 Click Through Rate 입니다.
클릭수/노출수x100으로 계산하는데
짧게 말하면 노출대비 클릭수의 비율이라고 할 수 있습니다.
검색결과 또는 추천시스템의 성과를 확인하기 위한 가장 기본적인 지표로 많이 쓰입니다.

본론으로 들어가서
광고 노출, 검색 결과를 잘 조절해서 CTR을 획기적으로 올리는 방법은
별로 없습니다.

보통 제안하는 상품이나 검색 결과가 오디언스(사용자 또는 고객)의 관심을 끌지 못하면 CTR은 떨어집니다. 관심이 없으면 클릭을 하지 않기 때문입니다.

이커머스에서도 CTR은 매우 중요합니다. 이커머스에서는 추천상품 모듈이 있어서 검색이나 특정 상품을 볼 때 다른 추천 상품을 제안해서 구매를 유도합니다. 그 외에 검색해서 나오는 상품들도 사실상 추천이라고 할 수 있습니다. 검색 결과도 원칙적으로는 추천입니다.

추천시스템(Recommendation system)을 업그레이드 해서 개선에 성공한다면, 그리고 CTR을 올리면 과연 매출이 올라가느냐?라는 의문을 가질 수 있습니다.
이게 정말 그러냐는 것인데

답: 그럴 수도 있지만 아닌 경우가 더 많습니다.

우선 개발자 또는 ML엔지니어가 가장 많이 착각하는 것이 “CTR을 올리면 당연히 매출도 올라가겠지” 라고 단정해서 짐작하는 것입니다.
하지만 이 짐작은 그 자체로는 과학적 근거가 없습니다.
게다가 CTR은 비즈니스 업종, 제품 카테고리(품목), 시즌에 따라서 각기 다른 양상을 보입니다.
매우 복잡하지요.

더 구체적으로 설명하면

상품 노출 후 구매까지의 단계는
추천 상품 노출 -> 클릭 -> 구매
로 됩니다.

그리고 클릭율과 전환율의 정의를 보면

노출 -> 클릭으로 가는 비율을 계산한 것이 CTR (클릭율)
클릭 -> 구매로 가는 비율을 계산한 것이 CVR (전환율)

다시 원래의 질문으로 돌아가서 CTR을 높이면 매출이 정말 올라가느냐?가 맞으려면 CTR을 올리고 CVR이 그대로 이거나 증가해야 합니다.

CTR이 많이 올라갔으면 CVR은 오히려 조금 떨어져도 됩니다. 높은 CTR이 CVR의 감소를 만회해 줍니다.

하지만

모델을 개선해서 CTR을 올렸는데 CVR이 줄어드는 경우가 꽤 많이 생깁니다.
CVR과 CTR이 음의 상관관계를 가지는 경우가 많기 때문입니다.
이것 때문에 분명 CTR은 높아졌는데 정작 매출이 늘지 않게 됩니다.

그래서 이것이 클릭예측모델(클릭 모델)을 만든 후에 구매예측모델을 만드는 발단이 되기도 합니다. 구매예측모델은 더 만들기 어렵고 잘 안됩니다. 이것은 나중에 따로 얘기하기로 합니다.

마케팅과 행동과학 측면에서 생각하는 것을 고려해야 합니다.

CTR이 오른다는 것은 사람들이 추천한 제품에 관심을 많이 보였다는 것입니다.
그런데
사람들에게 많은 관심을 받는 제품이 반드시 잘 팔리는 제품은 아닙니다.
예를 들어
“휘어지는 4K 200인치 TV” 같은 것은 많은 사람들에게 관심을 갖도록 할 수 있지만
구매하는 사람은 많지 않습니다.
“생글생글 생수” 이런 생수는 사람들의 관심을 끄는 제품이 아니라서 CTR은 낮지만
CVR은 매우 높은 제품입니다.

TV는 고관여제품이고 생수는 저관여제품입니다.

고관여제품: 사는데 고민을 많이 하고 비싼 제품. 구매 후 실패하면 위험 부담이 큰 제품
저관여제품: 사는데 고민을 적거 하고 싼제품. 구매 후 실패를 걱정하지 않는 제품

사람들은 생수에 대해서 잘 알고 있고 동일한 제폼이나 유사한 제품을 반복해서 구매합니다.
그래서 이런 저관여제품의 구매는 망설임이 없이 구매합니다.

이외에도 여러 문제가 있다.
그래서 추천시스템의 성과를 단순히 CTR로 측정해서는 안되고 추천해서 사람들이 클릭한 것만으로 모델의 가치평가를 하게 되면 모델을 론칭하고 나서 비즈니스에서는 실제 개선이 없는 상황을 맞이 하게 됩니다.

추천시스템의 모델링에 집착해서 기계학습 모델의 개선에만 몰두하는 곳이 매우 많은데
위와 같이 실제 비용효율이 나지 않는 경우를 많이 보았습니다.
대부분의 모델을 새 알고리즘으로 교체하거나 피처 엔지니어링을 통해 개선하고 나면 아주 적은 CTR의 개선을 볼 수 있겠지만 전체 매출에는 통계적으로 무의미한 미미한 증가만 얻게 됩니다.

비용효율이 안나오게 되고 이런 일이 반복되면 비즈니스 담당자로부터 모델과 기술자는 신뢰를 잃게 됩니다.

무작정 CTR을 올리는 모델을 잘 만들기만 하면 비즈니스는 대박이 나고 나는 스타가 될 수 있을꺼야 라고 생각하는 MLE나 데이터과학자가 많습니다.

해보면 알겠지만
세상은 그렇게 만만하지 않습니다.

Docker를 사용하는 것이 이미 일반화되었지만 가끔 코맨드의 기능을 명확하게 기억하지 못할때가 있다.

stop과 down의 차이인데 다음과 같다.

• stop 은 컨테이너를 잠시 멈추는 것뿐이다.
• down 은 컨테이너와 컨테이너에 연결된 네트워크를 멈추고 삭제까지 한다.

도커이미지를 구성할 때 down 명령을 사용할 경우를 대비해서 설명에 네트워크 설정에 대한 것도 문서에 자세히 기록할 필요가 있다. 익숙하다고 방심하면 빠뜨려서 문제를 만드는 경우가 많아진다.

LLM은

기술통계와 같은 설명기반의 분석은 할 수 있습니다.
연과분석과 같은 원인을 파악하고 통찰을 얻는 것은 할 수 없습니다.

즉 LLM은 데이터분석을 할 수 없다고 할 수 있습니다.
데이터분석가들이 말하는 능동적인 고급데이터 분석에 대한 것을 말한다면 그렇습니다.

데이터분석은 결과물에 따라 2가지로 나눌 수 있는데

• 데이터 그 자체에 대해 설명하는 탐색적데이터분석
• 데이터로부터 알고자 하는 사실을 확인하고 인과, 요인 분석을 통해 어떤 결정을 하는데 필요한 근거 자료를 찾는 것

LLM은 인과분석과 같은 논리적 사고를 할 수 있게 고안된 것이 내부에 없습니다.
대형 뉴럴네트워크에서 대량의 학습이 되면 마치 인과추론과 사고를 하는 것 처럼 만들 수 있는데
그것은 하는 것 처럼 보이는 것이지 진짜 하는 것이 아닙니다.
아직 LLM이 사고를 하고 데이터분석을 한다는 것이 증명된 적도 없습니다.

그래서 LLM은 데이터를 넣어주는 것 만으로는 인과분석과 같은 고급데이터 분석을 하지 못합니다.
다만 프롬프트를 단계적으로 입력하거나 절차형으로 넣어서 (CoT) 비슷하게 할 수는 있지만
인간과 같은 깊은 고찰에서 나오는 결론과 답을 내주지는 않습니다.

ChatGPT의 코드인터프리터와 같은 별도의 모듈을 이용하면 하는 것처럼 보이도록 하는게 가능하지만 근본적으로 데이터 분석을 하는 것은 아닙니다.

LLM은 아직 스스로 고뇌하고 고민하는 사고를 하지 못합니다.
데이터분석의 결과물은 인간의 깊은 고민과 사고의 결과물입니다.

mysqldump를 하면 DB에 lock를 걸게 된다. 기본 설정이 그렇게 되어 있다.
서비스 운영중인 데이터베이스에 그런 것을 하면 큰 문제가 생긴다.
mysqldump를 할 때 lock을 걸지 않도록 하는 옵션을 해야 한다.

mysqldump를 할 때 자주하는 것이 아니라서 실수하기 쉬운데 다음과 같이 옵션을 주고 처리할 수 있다.

mysqldump --skip-add-locks --skip-lock-tables db table > dump.sql

덤프하는 중에도 다른 세션에서 insert, update, delete 가능하다.

mysqldump --single-transaction  db table > dump.sql

덤프하는 중에도 다른 세션에서 insert, update, delete 가능하다.

mysqldump --lock-tables  db table > dump.sql

덤프하는 중에 다른 세션에서 insert, update, delete 불가능하다.

LLM이 스스로 사고를 하는지에 대한 것은 이제 더 이상하지 않는 조금 지난 주제입니다.

아직까지 그런 생각을 하는 분들이 있어서 포스트를 올려둡니다.

현재의 LLM은 구글의 트랜스포머 AI 아키텍쳐를 계승받은 AI모델 중에 초대량의 학습데이터와 파라미터를 가진 모델들을 말합니다.

그 중 대표적인 것이 트랜스포머에서 생성형 부분만 따로 분리해서 만든 모델인 GPT입니다. 그 외에 구글의 Palm이나 메타의 LLamma가 있지만 구조는 차이가 별로 없습니다.

LLM은 Large Language Model의 약어입니다. 이름이 내포하듯이 LLM은 언어처리를 위한 인공지능 모델입니다. 언어처리와 관련된 것 외의 것을 하도록 설계된 것은 구조만 볼때는 거의 없습니다.

LLM은 사고를 하지 못합니다.
혹시 LLM은 의식을 가지고 있거나 사고를 할 수 있는것이 아닐까하는 의심에
빅테크 회사와 많은 과학자들이 테스트를 했지만 그 증거가 있다는 발표나 연과결과는 없습니다.

오히려 관련이 없다는 연구결과만 있습니다.

LLM은 의식이 없습니다.

영혼이 없습니다. 사고를 하지 못하연 영혼도 없고, 의식이 없으면 자아도 없습니다.

이 역시 의식이 있는지 테스트한 연구가 있었지만 의식이 있다는 결론이 난 것은 없습니다.

LLM은 계산을 하지 못합니다.

LLM은 단순한 사칙연산도 수리적으로는 하지 못합니다.
1 + 2 = 3이라는 대답을 LLM이 한다고 계서 계산을 했다고 생각해서는 안됩니다.
문제에 대한 답을 외웠다고 생각해야 합니다.

트랜스포머의 구조에 대해서 이해하고 있다면 이런 것들이 당연히 되지 않는 다는 것을 알게되는데 이해가 부족하게 되면 그와 같은 주장을 하게됩니다.

그럴만도 한데 LLM에 프롬프트를 주면 마치 생각을 하는 것 처렁 대답하기 때문입니다.
하지만 그것은 명백한 착각입니다.

아직까지 LLM이 사고를 가지고 있거나 의식이 있다는 것을 증명한 사람은 없으며
실제로 그런 결과를 LLM이 내놓는 경우도 없습니다.

그러니 그런 착각으로 LLM의 가능성에 접근하게 되면 큰 낭패를 보게 됩니다.

더닝크루거 현상이라는 유명한 신드롬에 대한 용어가 있습니다.
아는 만큼 보이고 어설픈 지식이 얼마나 큰 착각과 오해를 불러일으키는지에 대한 용어입니다.

R언어에서 T-test와 Chi-square 검정을 하는 간단한 스니펫입니다.
간단한 것이지만 자주 쓰지 않으면 너무 기본이라서 오히려 기억이 잘 나지 않기 마련입니다.

t.test와 chisq.test 함수 모두 list(object)를 리턴하게 되고 멤버 변수인 p.value에 접근해서 P값을 알아낼 수 있습니다.

# T-test two vectors
a <- c(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
b <- c(2, 3, 4, 5, 6, 7, 8, 9, 10, 11)

t.test(a, b)

# 결과에 대한 자세한 설명을 화면에 출력해봐
t.test(a, b)$p.value
t.test(a, b)$statistic
t.test(a, b)$conf.int
t.test(a, b)$estimate
t.test(a, b)$null.value
t.test(a, b)$alternative
t.test(a, b)$method
t.test(a, b)$data.name
t.test(a, b)$conf.int[1]
t.test(a, b)$conf.int[2]

# chi-square test for two vectors

a <- c(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
b <- c(2, 3, 4, 5, 6, 7, 8, 9, 10, 11)
chisq.test(a, b)
if (chisq.test(a, b)$p.value < 0.05) {
  print("귀무가설 기각")
} else {
  print("귀무가설 채택")
}

Microsoft가 제공하는 무료강좌입니다. Github에 있습니다.
아직 다 보진 않았습니다.
보게 되면 간단한 리뷰를 나중에 업데이트하겠습니다.

https://microsoft.github.io/generative-ai-for-beginners/?fbclid=IwAR035hTm3dqqUzSeH1bjlPbeOtzVrRK1SEADWFH8i224fnydTD_X4UE4EYI#/

GPTs 앱의 유출된 프롬프트가 있는 깃헙 레파지토리입니다.

https://github.com/friuns2/Leaked-GPTs

Github에 공개된 좋은 LLM 강좌를 소개합니다.

아래의 링크에 가시면 꽤 많은 것들이 있습니다.

https://github.com/mlabonne/llm-course

2023년 11월 17일부로 Azure Openai에서 GPT4-Turbo를 지원하는 리전 목록입니다.

GPT-4 Turbo 모델을 Azure에서 사용하기 위해서 계속 기다렸지만 소식이 없어서 조사해봤더니 토쿄를 제외한 다른 리전에서는 지원을 하고 있었네요.

한국에서는 거리가 가까운 도쿄 리전을 사용하기 마련인데 도쿄는 아직까지도 GPT4-Turbo 모델을 지원하지 않고 있네요.

Azure에서 GPT4 Turbo를 쓰려면 리전을 사용이 가능한쪽으로 옮겨야 할 것 같습니다

참고: https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/azure-openai-service-launches-gpt-4-turbo-and-gpt-3-5-turbo-1106/ba-p/3985962

베타분포는 시행에 따른 성공결과에 대한 분포로 베이지안의 기본이 되며 여러가지로 사용이 많이 되는 분포입니다.

강화학습이나 Multi Armed Bandit 에서도 나옵니다.
베타분포를 이해하려면 플롯을 그려보면 도움이 많이 됩니다.

베타분포를 플롯팅하는 R코드입니다.

# Install required package (if not already installed)
install.packages("ggplot2")
# Load the required library
library(ggplot2)
plot_beta_dist <- function(success_count, fail_count) {    # Generate a sequence of x-values
    x <- seq(0, 1, length.out = 1000)
 
    # Calculate the probability density function values
    pdf_values <- dbeta(x, success_count, fail_count)
 
    # Create a data frame with x and pdf values
    data <- data.frame(x = x, pdf = pdf_values)
 
    # Plot the Beta distribution
    ggplot(data, aes(x)) +
    geom_line(aes(y = pdf), color = "blue", size = 1) +
    xlab("x") +
    ylab("Probability Density") +
    ggtitle("Beta Distribution") +
    theme_minimal()
}
 
plot_beta_dist(10, 10)
plot_beta_dist(100, 100)
plot_beta_dist(1000, 1000)

openai 1.0.0 이상의 버전에서는 openai.ChatCompletion으로 completion을 생성할 수 없고

먼저 client를 생성한 후 client에서 completion을 받도록 변경되었습니다.

그와 관련된 오류메세지입니다.

구버전의 openai client 용 코드를 1.0.0보다 높은 버전의 openai client에서 사용하고 있다는 메시지입니다.

아래 링크의 문서를 확인해 보시고

https://github.com/openai/openai-python

다음과 같은 방식으로 기존 코드를 수정해 주어야 합니다.

from openai import OpenAI

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key="My API Key",
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Say this is a test",
        }
    ],
    model="gpt-3.5-turbo",
)

Pyperclip을 사용할 때 다음과 같은 에러가 발생할 때가 있다.

Pyperclip could not find a copy/paste mechanism for your system.

필요한 패키지가 리눅스에 설치되어 있지 않아서 그렇다.
필요한 패키지를 설치해주자.

sudo apt-get install xsel
sudo apt-get install xclip
pip install gtk
pip install PyQt4

이 패키지는 지저분한 패키지를 같이 설치한다.
그래서 꼭 써야하는 것이 아니라면 안쓰는 것이 좋다.

참조: https://pyperclip.readthedocs.io/en/latest/

OpenAI GPT API로 assistant file을 업로드하다 오류가 발생하면 아래와 같이 매우 장황한 설명을 합니다.

오류의 대부분은 다음과 같은 이유가 대부분입니다.

• PDF형식이 이상해서 텍스트를 추출하지 못함
• 파일이 깨짐
• 파일 요량 초과

메세지는 기록을 위해서 여기에 저장해 둡니다.

It appears that the content extracted from the PDF file is not meaningful text, but rather a mix of symbols and characters, which likely means that the text within the PDF is either stored in a non-standard format, such as images or custom encoding, or the file may contain primarily images rather than text.

Unfortunately, without a more sophisticated PDF analysis tool that can handle optical character recognition (OCR) to interpret any images as text, or specific knowledge of the file’s encoding, we might not be able to extract readable content from the PDF in this environment.

Nonetheless, if the PDF file contains information on how to create an account and register app information with “xxxxxxxxx,” you would typically follow the instructions provided within the document, which usually involve navigating to a specific URL and filling out forms with the necessary information.

If you have a specific tool or method in mind for attempting to parse the PDF content further, or if the file should be used in a particular context, please let me know and I’ll do my best to assist you further.

*****************************************************************************

The hexadecimal representation of the first few bytes of the file is `’25504446’`, which corresponds to the magic number for a PDF (Portable Document Format) file. The magic number `0x25504446` stands for `%PDF` in ASCII, which is the signature for PDF files.

Now that we know it’s a PDF file, we can attempt to extract its text content (if it contains any) using a PDF reading library. Let’s try that next.

*****************************************************************************

The file does not have an extension, making it challenging to determine its type based on the name alone. Since I wasn’t able to open it as a text file directly due to an encoding issue, I will now attempt to use a different method to read the file as binary data and then analyze the first few bytes to infer the file type. This is often referred to as checking the “magic number” of the file, which can give us clues about the file format. Let’s proceed with this method.

*****************************************************************************

My apologies for the confusion, it seems that the python-magic module I intended to use to detect the file type is not available in this environment. Let me try another approach to determine the file type. I will first attempt to check the file extension and then try a different way to check the content type if necessary.

*****************************************************************************

It looks like the file may not be a text file or it might not be encoded in UTF-8. The next step is to try to infer the file type or encoding. Let’s start by attempting to detect the file type based on its content.

I will now attempt to analyze the file to identify its type and then proceed accordingly. If it is a binary file, such as an image or an executable, we won’t be able to directly view its content as text. If it’s an archive or a document, we might need to take additional steps to extract and view the content. Let’s determine the file type first.

아래의 순서로 하면됩니다.

# Create the file repository configuration:
sudo sh -c 'echo "deb https://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

# Import the repository signing key:
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

# Update the package lists:
sudo apt-get update

# Install the latest version of PostgreSQL.
# If you want a specific version, use 'postgresql-12' or similar instead of 'postgresql':
sudo apt-get -y install postgresql

자세한 내용은 아래 원문을 참고하세요.

https://www.postgresql.org/download/linux/ubuntu/

Rstudio 2023년 9월 28일 릴리즈 버전 이후부터는 Github copilot을 정식지원합니다.

neovim의 plugin을 이용해서 연동한 것인데 깔끔하게 잘 작동합니다.

Rstduio desktop을 설치하면 옵션에서 설정하고 로그인만한 하면 그냥 잘 작동하는데 Rstudio server는 옵션을 활성화하려고 하면 어드민이 허용을 해주지 않았다는 메세지가 나옵니다.

그래서 추가 설정이 필요합니다.

리눅스 서버에 ssh로 접속해서 /etc/rstudion/rsession.conf을 열어줍니다.

이 파일을 Rstudio server가 사용자별로 세션을 새로 로딩할 때 초기화하기 위해 사용하는 파일입니다.

sudo vim /etc/rstudio/rsession.conf

그리고 다음 줄을 추가해줍니다.

copilot-enabled=1

옵션에서 github copilot을 활성화하고 로그인을 합니다.

아래와 같이 나오면 된 것입니다.

GPT API중 completion 결과 중에 hate, self_harm, sexual, violence 이 4가지에 대한 민검정보 필터링에 대환 결과 여부와 등급이 보이는 것을 볼 수 있습니다.

이 정보를 활용하면 민감한 정보에 대한 답 자체를 보여주지 않거나 할 수 있습니다.

{
    "index": 0,
    "finish_reason": "stop",
    "message": {
        "role": "assistant",
        "content": "...",
    },
    "content_filter_results": {
        "hate": {"filtered": false, "severity": "safe"},
        "self_harm": {"filtered": false, "severity": "safe"},
        "sexual": {"filtered": false, "severity": "safe"},
        "violence": {"filtered": false, "severity": "safe"},
    },
}

새로운 한국어 형태소분석기 바른입니다. 이런 한국어 NLP툴킷의 공개는 상업적이던 비상업적이던 늘 환영할 만한 것입니다. 우리나라의 NLP에 대한 기술은 국제적으로 매우 뒤쳐저 있기 때문입니다.

바른형태소분석기는 바른팀(바이칼에이아이, 한국언론진흥재단 공동)에서 제작한 것이라고 되어 있습니다.

간단하게 테스트해 보니 은전한닢(MeCabKR, 메카부 한국어 버전)과 비슷한 성능으로 보입니다.

사용성이 좋아 보여서 다음번에 테스트를 더 해본 후에 사용할 일이 있으면 해보려고 합니다.

하지만 요즘 LLM의 발전속도가 너무 빨라서 쓸일이 없을 것 같기도 합니다만.

https://bareun.ai/

블로그에 애드센스를 붙이긴 했지만 수입이 거의 없기 때문에 접속을 자주 안합니다.

오랜만에 접속했더니 아래와 같은 경고 메세지가 보입니다.

내용은 아래에 있습니다.

2024년 1월 16일부터 EEA 및 영국 사용자에게 광고를 게재하는 모든 게시자는 Google에서 인증한 동의 관리 플랫폼(CMP)을 사용해야 합니다. Google의 자체 동의 관리 솔루션을 포함하여 Google에서 인증한 CMP 이면 어떤 것이든 이 목적으로 사용할 수 있습니다. Google의 동의 관리 솔루션을 사용하는 데 관심이 있으면 먼저 GDPR 메시지를 설정하세요.

GDPR 메시지 만들기를 진형하면 생성 화면과 함께 메세지 만들기에 들어가는데 이 작업을 하고 나면 이제 GDPR 메세지가 접속자에게 보이게 됩니다.

GDPR을 준수하면 개인을 추적할 수 없습니다.
GDPR을 준수하지 않으면 애드센스의 리타겟팅 추적 광고는 보이지 않게 됩니다.
GDPR메세지가 보이면 접속자는 자신을 추적하게 허용할지 아닐지를 결정할 수 있고 추적을 허용하지 않게 하면 사이트에서 강제로 이탈되거나 정보의 일부만 볼 수도 있습니다.

그리고 개인을 추적하지 않아도 광고는 계속 내보냅니다.
아무 광고나 보이게 된다는 점의 차이만 있을 뿐입니다.

Azure cloud (애저 클라우드, 이하 Azure)에서 지원하는 OpenAI API로 GPT를 사용하는 방법입니다.

OpenAI에서 제공하는 Python 클라이언트 패키지를 설치해서 똑같이 사용하면 됩니다.
별도의 패키지가 필요하지는 않습니다.
OpenAI의 Python 패키지에 이미 Azure를 지원하기 위한 코드가 들어 있습니다.
Microsoft가 OpenAI의 가장 큰 투자자이고 협력관계이기 때문인 것 같습니다.

단, openai의 API를 사용할 때와 다른 점은 다음과 같습니다.

• openai를 처음 초기화 할 때 다른 Azure OpenAI에만 필요한 설정값 필요
• completion을 생성할 때 파라미터가 조금 다름

자세한 내용은 애저(Azure)에서 제공하는 문서를 참고하면 됩니다.

예제는 아래의 소스 코드를 참고하세요.

import os
import openai
import toml
import base64


openai.api_key = "  ***** 본인의 API키 ***** "
openai.api_base = "https://instance-openai-0.openai.azure.com/"
openai.api_type = "azure"
openai.api_version = "2023-07-01-preview"
deployment_id: str = "deployment-gpt-4-32k"  # 본인의 배포 ID로 변경

instructions: list[dict] = [
    {"role": "system", "content": "you are an assistant for software engineers"},
]

messages: list[dict] = [
    # {"role": "user", "content": "What is ticket price for cruise ship"}, # for function_call
    {"role": "user", "content": "샌프란시스코의 관광명소를 알려주세요."},  # for normal reply
]

response: openai.ChatCompletion = openai.ChatCompletion.create(
    # model="gpt-4", # this is for the OpenAI API, not for the Azure API
    deployment_id=deployment_id, # this is for the Azure API, not for the OpenAI API
    # engine=deployment_id, # same as above
    messages=instructions + messages,
    functions=[
        {
            "name": "get_ticket_price",
            "description": "Get ticket price of cruise ship",
            "parameters": {
                "type": "object",
                "properties": {
                    "start_location": {
                        "type": "string",
                        "description": "Start location of the cruise ship",
                    },
                    "end_location": {
                        "type": "string",
                        "description": "End location of the cruise ship",
                    },
                },
            },
            "required": ["start_location", "end_location"],
        },
    ],
    function_call="auto",
    temperature=0.90,
    max_tokens=800,
    top_p=0.99,
    frequency_penalty=0,
    presence_penalty=0, 
    stop=None)

if len(response.choices) > 0:
    if response.choices[0].finish_reason == "function_call":
        print("=====================================")
        print("function_call is called")
        print(response.choices[0].message)
        print("=====================================")
    else:
        print("=====================================")
        print("reply is returned")
        print("role: ", response.choices[0].message.role)
        print("message: ", response.choices[0].message.content)
        print("=====================================")
else:
    print("No response.")

Github에도 소스를 올려놨으니 필요하면 편하게 가져가세요.

https://github.com/euriion/llm-materials/blob/main/azure-openai-api/azure-openai-api-test.ipynb

간단한 요약 정리 LLM

LLM : Large Language Model의 약어로 한국어로 초거대 언어 모델이라고 합니다.

Large라는 단어가 초거대라는 뜻은 아니지만 어느덧 그런 의미로 쓰게 되었으며 이제는 LLM을 다 묶어서 초거대언어모델이라고 하는 일반명사로 생각하는 것이 좋습니다.

LLM은 딥러닝(Deep Learning)으로 만든 파라미터가 약 1천억개가 넘는 언어 처리를 위한 모델을 말합니다.

언어 처리는 언어 번역, 요약, 생성, 문장 완성, 감성 분류, 키워드 추출, 개체명 인식 같은 것들입니다.

LLM에서 말하는 파라미터는 딥러닝에서 레이어로 데이터가 흘러 갈 때 곱셈을 해주는데 쓰는 실수형 가중치 값들을 말합니다.

파라미터가 약 1천억개가 넘어가게 되면 기존 언어모델은 보여주지 않았던 매우 창발적인 답을 하고 마치 인간인 것처럼 지능적으로 답을 하는 특성을 가집니다.

현재 시점으로 LLM으로 가장 유명한 것은 GPT, BERT, PALM이 있습니다.

모두 구조와 학습데이터가 다르고 성능도 다듭니다.

이 외에도 수 만개의 LLM 모델이 있으며 각기 따로 구조와 특징을 공부해야 합니다.

GPT function calling

OpenAI의 GPT API에서 얼마전부터 새롭게 제공하는 function calling 기능에 대한 설명입니다.

GPT function calling은 게임 체이저(Game changer)라고 블릴 만큼 굉장히 편하고 유용한 기능입니다. 이 기능을 이용하면 괜찮은 GPT 응용 애플리케이션을 매우 간단하게 만들 수 있습니다.

GPT function calling 설명

GPT function calling을 GPT에게 프롬프트와 함께 함수의 정의 목록을 함께 전달하면 GPT가 프롬프트를 보고 전달된 함수 중 하나를 호출해야 한다고 판단하면 그 중 하나를 호출해서 결과를 자신에게 전달해 달라고 하고 그 전달된 결과를 입력 받아 최종 메세지를 만드는 것을 말 합니다.

간단하게 플로우를 그려 보면 다음과 같습니다.

1. GPT에게 프롬프트(질문)과 함께 함수 목록을 전달
2. GPT가 프롬프트를 보고 함수를 실행 안해도 되면 그대로 메세지를 답변
3. 만약 함수를 실행해서 그 결과가 필요하다면 함수를 실행해달라는 결과를 리턴
4. GPT가 호출해달라고 한 함수를 사용자가 호출해서 결과값을 GPT에게 주고 다시 호출
5. GPT가 이전의 프롬프트와 함수의 결과를 다 합쳐서 메세지를 만들어서 전달
6. 만약 5에서 다시 다른 함수를 호출해야 한다면 3번으로 가게 됨

GPT function calling 예제 코드

아래 Python 코드를 살펴보시면 됩니다. 무척 쉽습니다.

중요한 점은 콘텍스트를 계속 유지해줘야 한다는 것입니다.

그래서 과거의 대화내역 뒤에 함수의 결과값을 다시 붙여줘야 제대로 대답합니다.

import openai
openai.api_key = "***** openai api key *****"

chat_completion: openai.ChatCompletion = openai.ChatCompletion.create(
    model="gpt-4",
    messages=[
        {
            "role": "system",
            "content": "your name is Ironman. you anser in Korean",
        },
        {
            "role": "user",
            "content": """What is the weather like today?""",
        }
    ],
    functions=[
        {
            "name": "get_wether",
            "description": "get wether information",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "city or nation name",
                    }
                },
                "required": ["location"],
            },
        }],
    function_call="auto",
)

if chat_completion.choices[0].finish_reason == "function_call":
    function_name = chat_completion.choices[0].message.function_call.name
    functoin_arguments = chat_completion.choices[0].message.function_call.arguments
    # 함수 실행 부분을 추가
    # function_result에는 함수를 실행하고 난 결과값을 넣어준다.
    function_result = "function result"

    messages = [
        {
            "role": "system",
            "content": "your name is Ironman. you anser in Korean",
        },
        {
            "role": "user",
            "content": """What is the weather like today?""",
        },
        {
            "role": "function",
            "name": function_name,
            "content": function_result
        }
    ]
    
    second_chat_completion: openai.ChatCompletion = openai.ChatCompletion.create(
        model="gpt-4",
        messages=messages,
    )
    result_message = second_chat_completion.choices[0].message.content
else:
    result_message = chat_completion.choices[0].message.content

print(result_message)

BigQuery로 Consine similarity를 계산해서 KNN 최근접 이웃을 계산하는 예제 코드입니다.

KNN = K Nearest Neighbor = 최근접 이웃
최근접 이웃은 기계학습에서 매우 오래된 기법입니다. 간단하지만 매우 정확한 시스템이지만 데이터프로세싱에 많은 자원이 소모되기 때문에 잘 사용되지는 않습니다.

Cosine Distance함수는 BigQuery에서 빠른 것을 제공을 해주기 때문에 따로 만들지 않고 제공하는 것을 그냥 쓰면 됩니다.

하지만 결국 BigQuery를 쓴다 해도 cross join을 해야합니다.

아무리 빅쿼리라고 해도 처리하는 데이터가 조금만 커도 cross join은 잘 실행되지 않습니다.
그래서 빅쿼리로 하는 KNN은 실용성이 있다고 보기는 어렵습니다.

작은 데이터에 대해서만 가능하기 때문에 그 점을 참고하시기 바랍니다.

WITH tbl_left AS (SELECT group_id, word AS word1, vector AS vector1
              FROM recsys.recsys_word2vec
              WHERE _PARTITIONTIME IS NOT NULL
              AND group_id = '12345'
              )
   , tbl_right AS (SELECT group_id, word AS word2, vector AS vector2
              FROM recsys.recsys_word2vec
              WHERE _PARTITIONTIME IS NOT NULL
              AND group_id = '12345'
              )
select a.group_id, a.word1
, ARRAY_AGG(b.word2 ORDER BY ML.DISTANCE(a.vector1, b.vector2, 'COSINE') DESC LIMIT 50) as nn50
FROM tbl_left a
               JOIN tbl_right b
                    ON a.group_id = b.group_id AND a.word1 != b.word2
GROUP BY a.group_id, a.word1
;

리눅스 커맨드는 잘 배우면 간단한 작업을 즉시 하기에 매우 편리하고 좋지만

제대로 신경쓰지 않으면 좀처럼 익히기 쉽지 않습니다.

적응하기 어렵습니다. 그래서 시간 날 때 연습하고 연마해야 합니다.

배울 때는 고생스럽지만 배우고 나면 생산에 매우 큰 도움이 되는 도구가 됩니다.

능력있는 개발자, 엔지니어가 되려면 필수 명령어는 반드시 외워서 사용해야 합니다.

잘 정리된 문서가 있어 여기 링크를 올려 둡니다.

https://github.com/jlevy/the-art-of-command-line/blob/master/README-ko.md

SQL에는 쿼리를 실행할 때 그 순간만 사용할 테이블을 잠깐 만들어서 사용할 수 있습니다.

이때 JOIN절에서 임시 테이블을 만드는 방법과 select하기 전에 with절로 임시 테이블을 만드는 방법이 있습니다.

쿼리 내에서 임시 테이블을 만드는 방법 2가지

• 인라인뷰(Inline view): Join 구문에서 select를 사용해서 쿼리를 실행하고 이름을 붙여 테이블 처럼 사용
• CTE (Common Table Expression): select하기 전에 with절로 select 구문을 묶어서 이름을 붙이고 공통 테이블처럼 사용

CTE의 장점은 한 번 작성하고 뒤에서 이름을 이용해서 여러번 참조할 수 있다는 장점이 있습니다.

다시 정리하면

CTE (Common Table Expression)

CTE (Common Table Expression)는 SQL 쿼리에서 일시적으로 사용되는 결과 세트를 정의하는 방법입니다. CTE는 복잡한 쿼리를 간단하게 만들고, 코드를 재사용하며, 가독성을 높여주는 도구입니다. CTE는 ‘WITH’ 절을 사용하여 정의되며, 이어지는 SELECT, INSERT, UPDATE, DELETE 문에서 참조할 수 있습니다.

MariaDB에서 CTE를 사용한 예제:

단순한 CTE 예제 (사용자 정보 가져오기):

WITH user_cte AS (   SELECT id, name, age   FROM users ) SELECT * FROM user_cte;

이 예제에서는 user_cte라는 CTE를 생성하고, users 테이블에서 id, name, age를 가져옵니다. 그 다음, user_cte를 참조하여 결과를 가져옵니다.

재귀 CTE 예제 (계층적 카테고리 정보 가져오기):

WITH RECURSIVE category_cte (id, parent_id, name, depth) AS (   SELECT id, parent_id, name, 0   FROM categories   WHERE parent_id IS NULL   UNION ALL   SELECT c.id, c.parent_id, c.name, p.depth + 1   FROM categories c   JOIN category_cte p ON c.parent_id = p.id ) SELECT * FROM category_cte ORDER BY depth, id;

이 예제에서는 category_cte라는 재귀 CTE를 사용하여, 계층적 카테고리 정보를 가져옵니다. 초기에는 상위 카테고리(즉, parent_id가 NULL인) 정보를 가져온 후, UNION ALL을 사용하여 하위 카테고리 정보를 가져옵니다. 그 다음, category_cte를 참조하여 결과를 가져옵니다.

다중 CTE 예제 (사용자 정보와 주문 정보 동시에 가져오기):

WITH user_cte AS (<br>  SELECT id, name, age<br>  FROM users<br>),<br>orders_cte AS (<br>  SELECT id, user_id, total<br>  FROM orders<br>)<br>SELECT u.name, u.age, o.total<br>FROM user_cte u<br>JOIN orders_cte o ON u.id = o.user_id;<
 

이 예제에서는 두 개의 CTE를 생성합니다. user_cte에서는 사용자 정보를 가져오고, orders_cte에서는 주문 정보를 가져옵니다. 그 다음, 두 CTE를 조인하여 결과를 가져옵니다.

Alpaca는 Facebook에서 공개한 LLama 모델을 스탠포드에서 개량한 것입니다.

Alpaca에 한국어 학습데이터를 추가한 것이 KoAlpaca입니다.

GPT API가 과금 문제가 있고 제차 빌드를 하려면 비용이 많이 들기 때문에 KoAlpaca의 공개된 엔진을 사용해서 어설픈 챗봇을 만들기로 했었습니다.

하지만 아래와 같은 이유로 포기했습니다.

포기 이유

• GPU 없이 모델을 로딩해서 인퍼런스(문장완성이나 답변)을 뽑는 것이 너무 느림
• GPU를 사용하려면 3080ti 같은 PC급 GPU로는 가장 가벼운 모델도 로딩하기 어려움
• 원할한 서빙을 위해서 A100 이상의 GPU로 서빙을 해야 하는데 비용이 높음
• KoAlpaca의 품질이 GPT 3.5에 비해서도 확인히 떨어짐. 한국어는 매우 심함

현실적으로 챗봇의 품질을 확보하려면 GPT API를 사용하거나 Azure를 사용하는 것이 가장 품질과 비용을 고려한 솔루션이 될 것 같습니다.

KoAlpaca는 누군가 모델을 더 개선할 때까지 기다려야 할지 모르겠네요.

시퀀스 데이터 프로세싱은 다음과 같은 문제가 있습니다.

1. window function은 where와 같은 조건을 지정해서 프레임내에 로우를 선택할 수 없습니다. 지원하는 경우도 있지만 드뭅니다.
2. 시퀀스 데이터프로세싱은 매우 중요하지만 분산처리를 하기 매우 어렵기 때문에 처리 속도가 느리거나 정합성을 일부 포기해야 하는 문제가 있습니다.
3. 시퀀스 데이터프로세싱은 미래에 결정된 데이터에 따라 과거의 데이터를 업데이트하는 것이 매우 어렵거나 되지 않습니다. (Google DataFlow와 같은 것은 가능)

기억해야 할 것

• 윈도 펑션의 안과 바깥의 구분
  • “윈도 펑션의 결과값은 결국 1개의 값”
• 특정 그룹의 시퀀스 토큰별로 그룹만들기
• 값의 변화에 대한 기록 방법
• 특정 프레임의 조건을 만드는 트릭
• 태깅값에 의한 집계

예제 준비중

잘 알려진 것이지만 정리해보면 이렇습니다.

• PyData : Numpy, Pandas, SciPy, Scikit Learn
• Deep Learning: PyTorch
• GBDT : LightGBM, XGBoost, CatBoost
• Hyperparameter Optimisation : Optuna
• Experiment Tracking : W&B
• Visualiation : matplotlib, seaborn
• NLP Toolkit : Tranformers
• Computer Vision Toolkit : Albumentations, OpenCV, pillow, scikit-image, timm

LibGen(Library Gernesis)이라는 사이트에서 받으면 됩니다.

러시아 사이트인 것 같습니다.

https://libgen.is/

Z=library도 유명합니다.

https://z-lib.is/

논문 받는 곳은 다들 아시는

https://sci-hub.se/

그리고 논문의 Impact를 알아보는 Journal Impact Search 입니다.

https://www.bioxbio.com/

저널의 랭킹을 보는 곳은 SJR

https://www.scimagojr.com/journalrank.php

pyspark에서 .lit()는 문자열의 값을 모두 채워서 컬럼으로 만들어주는 메소드입니다.

다음과 같이 사용합니다.

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate()
data = [("111",50000),("222",60000),("333",40000)]
columns= ["EmpId","Salary"]
df = spark.createDataFrame(data = data, schema = columns)

더 자세한 것은 아래의 블로그를 참고하세요.

https://cosmosproject.tistory.com/291

ls: cannot open directory .: Stale file handle

Linux에서 파일 목록을 확인하다가 위와 같은 오류가 보일 때가 있습니다.

원인

• NFS(네트워크 스토리지)가 순간적으로 접속이 끊겼거나 마운트가 해제되었을 때
• ls 하는 디렉토리가 삭제된 경우

해결책은 마운트를 점검하거나 다른디렉토리로 이동한 후 다시 해보면 되는 것이 전부입니다.

Click Prediction 모델 만들기

Click Prediction 모델은 사용자가 클릭할 가능성이 높은 광고를 예측하는 기계학습 모델을 말합니다.

광고 뿐만 아니라 쇼핑몰의 상품배열이나 노출, 검색 결과의 노출 여부나 랭킹에서도 많이 쓰입니다.

네이버쇼핑, 쿠팡 같은 이커머스(e-commerce)에서도 매우 중요하게 쓰이는 기계학습 콤포넌트입니다.

Python을 사용하여 Click Prediction 모델을 만드는 간단한 예제입니다.

데이터 불러오기

Click Prediction 모델을 만들기 위해서는 먼저 데이터를 불러와야 합니다. 이번 예제에서는 Kaggle에서 제공하는 Click Prediction 데이터를 사용하겠습니다. 데이터는 다음과 같은 링크에서 다운로드할 수 있습니다: https://www.kaggle.com/c/avazu-ctr-prediction/data.

import pandas as pd

data = pd.read_csv('train.csv', nrows=100000)

여기서 train.csv는 데이터 파일의 경로를 의미합니다. nrows 파라미터를 사용하여 데이터의 일부분만 불러올 수 있습니다.

데이터 전처리

모델을 만들기 위해서는 데이터를 전처리해야 합니다. 이번 예제에서는 데이터에서 필요한 feature만 추출하고, 범주형 변수를 One-Hot Encoding하는 것으로 전처리를 마칩니다.

features = ['C1', 'banner_pos', 'site_category', 'app_category', 'device_type', 'device_conn_type']
data = pd.get_dummies(data[features])

데이터에서 features에 해당하는 feature만 추출하고, pd.get_dummies() 함수를 사용하여 범주형 변수를 One-Hot Encoding합니다.

모델 학습

전처리된 데이터를 기반으로 모델을 학습합니다. 이번 예제에서는 LightGBM이라는 머신러닝 라이브러리를 사용하여 모델을 학습합니다.

import lightgbm as lgb

X = data.drop('click', axis=1)
y = data['click']

train_data = lgb.Dataset(X, label=y)

params = {
    'objective': 'binary',
    'metric': 'auc',
    'boosting_type': 'gbdt',
}

model = lgb.train(params, train_data, num_boost_round=100)

전처리된 데이터에서 click feature를 제외한 나머지 feature를 X에 저장하고, click feature를 y에 저장합니다. 그리고 lgb.Dataset() 함수를 사용하여 학습 데이터를 생성합니다. 생성된 학습 데이터를 기반으로 모델을 학습합니다.

모델 평가

학습된 모델을 평가합니다. 이번 예제에서는 AUC(Area Under the Curve)를 사용하여 모델을 평가합니다.

from sklearn.metrics import roc_auc_score

y_pred = model.predict(X)
roc_auc_score(y, y_pred)

AUC가 높을수록 모델의 성능이 좋다는 것을 의미합니다.

모델 예측

학습된 모델을 사용하여 Click Prediction을 수행합니다.

test_data = pd.read_csv('test.csv')
test_data = pd.get_dummies(test_data[features])

y_pred = model.predict(test_data)

test.csv 파일을 불러와서 전처리를 한 후, 학습된 모델로 Click Prediction을 수행합니다.

이상으로 Python을 사용하여 Click Prediction 모델을 만드는 예제를 마치겠습니다.

이 예제를 참고하여, 다양한 Click Prediction 만들어 볼 수 있겠습니다.

그리고, 이 예제에서는 LightGBM 라이브러리를 사용하여 모델을 학습하였지만, 다른 머신러닝 라이브러리 또한 사용할 수 있습니다. 이를 통해, 다양한 머신러닝 라이브러리를 비교하여 어떤 라이브러리가 Click Prediction 모델에 더 적합한지 알아볼 수 있습니다.

숫자를 다룰 때 가장 많이 사용하는 함수 들은 “floor”, “truncate”, “ceil”, “round”입니다. 이 함수들은 수학적인 개념을 기반으로 하고 있으며, 숫자를 다룰 때 유용하게 사용됩니다. 이번 포스트에서는 “floor”, “truncate”, “ceil”, “round” 함수의 차이점과 각각의 사용 예시에 대해 살펴보겠습니다.

floor 함수

“floor” 함수는 입력된 숫자보다 작거나 같은 가장 큰 정수를 반환합니다. 예를 들어, 3.14의 floor 값은 3이 됩니다.

pythonCopy codeimport math

print(math.floor(3.14))  # 3
print(math.floor(-3.14)) # -4

truncate 함수

“truncate” 함수는 입력된 숫자의 소수점 이하를 제거하여 반환합니다. 양수인 경우 “floor” 함수와 같은 결과를 출력하고, 음수인 경우 “ceil” 함수와 같은 결과를 출력합니다. 예를 들어, 3.14의 truncate 값은 3이 됩니다.

import math

def truncate(n, decimals=0):
    multiplier = 10 ** decimals
    return int(n * multiplier) / multiplier

print(truncate(3.14))  # 3.0
print(truncate(-3.14)) # -3.0

ceil 함수

“ceil” 함수는 입력된 숫자보다 크거나 같은 가장 작은 정수를 반환합니다. 예를 들어, 3.14의 ceil 값은 4가 됩니다.

import math

print(math.ceil(3.14))  # 4
print(math.ceil(-3.14)) # -3

round 함수

“round” 함수는 입력된 숫자를 반올림하여 반환합니다. “round” 함수는 두 개의 인수를 받습니다. 첫 번째 인수는 반올림할 숫자이고, 두 번째 인수는 반올림할 자릿수입니다. 예를 들어, 3.14를 소수점 첫째 자리에서 반올림한 값은 3.1이 됩니다.

import math

print(round(3.14))   # 3
print(round(3.75))   # 4
print(round(-3.14))  # -3
print(round(3.141592, 2)) # 3.14

결론

이상으로 “floor”, “truncate”, “ceil”, “round” 함수의 차이점과 사용 예시에 대해 알아보았습니다. 이 함수들은 숫자를 다룰 때 매우 유용하며, 데이터 분석, 수치 계산 등 다양한 분야에서 사용됩니다. 적절한 함수를 사용하여 정확하고 효율적인 작업을 수행할 수 있도록 노력해야 합니다.

파이썬 커맨드라인 어플리케이션 패키지

커맨드라인 어플리케이션은 콘솔 어플리케이션 이라고도 합니다. 커맨드라인 어플리케이션은 텍스트 인터페이스로 사용하도록 설계된 컴퓨터 프로그램입니다. 쉘 이 그 예입니다. 커맨드라인 어플리케이션은 일반적으로 다양한 인자를 입력값으로 받습니다. 파라미터로 받기도 하고 서브커맨드, 옵션, 플래그, 스위치로도 받습니다.

유명한 커맨드라인 어플리케이션을 모아봤습니다:

• grep – 평문 데이터 검색 유틸리티
• curl – URL 구문으로 데이터를 전달하기 위한 도구
• httpie – 커맨드라인 HTTP 클라이언트로서 cURL보다 사용자 친화적인 대체품
• Git – 분ㄴ산 버전 컨트롤 시스템
• Mercurial – 주로 파이썬으로 작성된 분산 버전 컨트롤 시스템

클릭(Click)

click 은 최소한의 코드만으로 커맨드라인 인터페이스를 구성할 수 있도록 해주는 파이썬 패키지입니다. 이 “Command-Line Interface Creation Kit” 은 상세한 설정이 가능하지만 그냥 기본값으로 사용해도 아주 좋습니다.

닥옵트(docopt)

docopt 는 가볍고도 아주 파이썬다운 패키지로서 포직스 스타일의 사용법을 파싱하여 커맨드라인 인터페이스를 직관적이고도 쉽게 만들 수 있게 해주는 라이브러리입니다.

플락(Plac)

Plac 은 파이선 표준 라이브러리 argparse 를 선언형 인터페이스를 사용해 그 복잡성을 숨기는 간단한 랩퍼입니다. 매개변수 파서는 명령형으로 작성할 필요가 없습니다. 그냥 추론됩니다. 이 모듈은 복잡한 걸 원치 않는 사용자, 프로그래머, 시스템 관리자, 과학자 및 일회용 스크립트를 작성하는 대신 커맨드라인 인터페이스를 빠르고 간단하게 개발하고자 하는 사람들을 대상으로합니다.

클리프(Cliff)

Cliff 는 커맨드라인 프로그램을 개발하기 위한 프레임워크입니다. setuptools를 엔트리포인트로 사용하여 서브캐맨드, 출력 포맷터 및 기타 확장을 제공합니다. 이 프레임워크는 svn 과 git 처럼 다단계 명령을 만드는 데 사용됩니다. 여기서 메인 프로그램은 몇 가지 기본적인 인자값 구문 분석을 처리한 다음 서브커맨드를 호출하여 작업을 수행합니다.

시멘트(Cement)

Cement 는 진보된 CLI 어플리케이션 프레임워크입니다. 그 목표는 간단한 커맨드라인 애플리케이션과 복잡한 커맨드라인 어플리케이션 모두를 위한 표준 및 기능이 풍부한 플랫폼을 도입하고 품질 저하없이 신속한 개발 요구 사항을 지원하는 것입니다. 시멘트는 유연하며 그 사용 사례는 간단한 마이크로 프레임워크에서 복잡한 대규모 프레임워크에 이르기까지 다양합니다.

파이썬 파이어(Python Fire)

Python Fire 는 파이썬 객체를 전혀 사용하지 않고도 자동으로 커맨드라인 인터페이스를 생성하는 라이브러리입니다. 커맨드라인에서 파이썬 코드를 보다 쉽게 디버깅하고, 기존 코드에 대한 CLI 인터페이스를 생성하고 REPL에서 인터렉티브하게 코드를 탐색하고, 파이썬과 Bash(아니면 다른 쉘) 간의 전환을 단순화 할 수 있습니다.

Ahocorasick은 1975년에 Alfred V. Aho와 Margaret J. Corasick이 고안한 문자열 검색 알고리즘입니다.

입력 텍스트 내에서 유한한 문자열 집합(사전)의 요소를 찾는 사전 매칭 알고리즘의 한 종류로, 모든 문자열을 동시에 매칭합니다.

좀 쉽게 말하면 입력한 긴 문자열에서 찾아냈으면 하는 문자열이 있다면 모두 빠르게 찾아주는 알고리즘입니다.

찾아야 하는 문자열은 미리 정해야 하고 수십만개에서 수백만까지도 쓸 수 있습니다.

Aho-Corasick 알고리즘은 Trie 자료구조를 기반으로합니다. Trie 자료구조는 문자열 검색에 효과적인 자료구조이지만, 문자열 검색이 일어날 때마다 트리를 전부 탐색해야 하는 단점이 있습니다. Aho-Corasick 알고리즘은 이러한 단점을 보완하기 위해, Trie 자료구조를 미리 전처리하여 특정 문자열 집합에서 상호작용하는 부분을 최적화합니다.

Aho-Corasick 알고리즘은 다음과 같은 단계를 거쳐 작동합니다.

1. 문자열 집합을 Trie 자료구조로 변환합니다.
2. Trie 자료구조를 이용하여 Failure 함수를 생성합니다. Failure 함수는 각 Trie 노드에서 어떤 문자가 올 때 다음으로 이동해야 할 노드를 결정합니다.
3. 문자열 검색을 위해 Aho-Corasick 알고리즘은 주어진 문자열을 탐색하면서, Trie 자료구조를 탐색합니다. Failure 함수를 이용하여 검색을 가속화합니다.

Aho-Corasick 알고리즘은 문자열 검색에 효율적이며, 자연어 처리, 네트워크 보안, DNA 염기서열 검색 등 다양한 분야에서 활용됩니다.

Aho-coriaskc은 다중 패턴 매칭(Multiple Pattern Matching)을 해결할 수 있는 방법 중 하나입니다.

하나 이상의 패턴 문자열을 동시에 검색하는 것을 다중 패턴 매칭이라고 하는데 대부분의 문자열 처리 분야에서 매우 중요한 문제 중 하나입니다.

예를 들어, 특정 문자열에서 여러 개의 단어를 찾는 작업을 수행하려면, 이 문자열에서 각 단어를 개별적으로 검색하는 것보다 모든 단어를 한 번에 검색하는 것이 효율적입니다. 이를 위해 다중 패턴 매칭 알고리즘을 사용할 수 있습니다.

다중 패턴 매칭 알고리즘에는 여러 가지 방법이 있는데 대표적인 알고리즘으로는 Aho-Corasick, Rabin-Karp, Boyer-Moore 등이 있습니다. 이들 알고리즘은 각각의 특성과 장단점을 가지고 있으며, 특정한 상황에 맞는 알고리즘을 선택해 쓰는 것이 좋습니다.

참고자료

• https://ko.wikipedia.org/wiki/%EC%95%84%ED%98%B8_%EC%BD%94%EB%9D%BC%EC%8B%9D_%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98
• https://m.blog.naver.com/kks227/220992598966

Python의 FastAPI에 대한 소개입니다.

FastAPI는 Python 3.6 이상으로 API를 빌드하기 위한 최신 고성능 웹 프레임워크입니다. FastAPI는 파이썬 표준 타입 힌트를 기반으로 하여 자동 문서화, 데이터 검증, 비동기 지원 등의 기능을 제공합니다.

FastAPI는 Flask나 Django와 같은 다른 웹 프레임워크보다 개발 속도가 200%~300% 빨라진다고 주장합니다. 또한 Node.js나 Go와 비슷한 수준의 성능을 자랑합니다.

FastAPI를 사용하려면 먼저 fastapi 모듈과 uvicorn 서버를 설치해야 합니다³.

pip install fastapi
pip install uvicorn

그 다음, app 객체를 생성하고 app.get 데코레이터를 사용하여 URL과 함수를 연결할 수 있습니다^. 예를 들어, ‘/’ URL에 접속하면 ‘Hello World’라는 텍스트를 반환하는 함수를 정의할 수 있습니다.

from fastapi import FastAPI

app = FastAPI()

@app.get('/')
def hello_world():
    return 'Hello World'

마지막으로, uvicorn 명령어로 웹 서버를 실행할 수 있습니다. 이때 포트 번호나 리로드 옵션 등을 설정할 수 있습니다.

uvicorn main:app --reload --port 9999

이렇게 하면 간단한 FastAPI 예제 코드가 완성됩니다. 이 코드는 9999번 포트에서 실행되며, 브라우저에서 http://localhost:9999/ 에 접속하면 ‘Hello World’라는 텍스트가 나타납니다.

SQL의 DDL, DML, DCL에 대한 간략한 설명입니다.

SQL은 Structured Query Language의 약자로, 데이터베이스에서 데이터를 정의하고 조작하고 제어하는 데 사용하는 언어입니다. SQL은 크게 다음과 같은 세 가지 종류로 나눌 수 있습니다.

• DDL(Data Definition Language): 데이터베이스나 테이블 등의 객체를 생성하거나 변경하거나 삭제하는 데 사용합니다. CREATE, ALTER, DROP, TRUNCATE 등이 있습니다.
• DML(Data Manipulation Language): 테이블에 저장된 데이터를 조회하거나 삽입하거나 수정하거나 삭제하는 데 사용합니다. SELECT, INSERT, UPDATE, DELETE 등이 있습니다.
• DCL(Data Control Language): 데이터베이스에 접근하거나 객체를 사용할 수 있는 권한을 부여하거나 취소하는 데 사용합니다. GRANT, REVOKE 등이 있습니다.

예제 코드는 다음과 같습니다.

-- DDL 예제
CREATE TABLE student ( -- 테이블 생성
    id INT PRIMARY KEY,
    name VARCHAR(20),
    major VARCHAR(20)
);

ALTER TABLE student ADD phone VARCHAR(15); -- 테이블 변경

DROP TABLE student; -- 테이블 삭제

TRUNCATE TABLE student; -- 테이블 내용 삭제

-- DML 예제
SELECT * FROM student; -- 테이블 조회

INSERT INTO student VALUES (1, 'Kim', 'Computer Science', '010-1234-5678'); -- 테이블 삽입

UPDATE student SET phone = '010-8765-4321' WHERE id = 1; -- 테이블 수정

DELETE FROM student WHERE id = 1; -- 테이블 삭제

-- DCL 예제
GRANT SELECT ON student TO user1; -- user1에게 student 테이블 조회 권한 부여

REVOKE SELECT ON student FROM user1; -- user1에게서 student 테이블 조회 권한 취소

Python MySQL을 쓰다가 다음과 같은 에러를 만날 때가 있습니다. Pandas의 데이터를 MySQL 테이블 넣거나 할 때 생기는 문제입니다. 경고이기 때문에 큰 문제는 없지만 경고 메세지를 화실하게 해결하고 싶을 때가 있습니다.

Data truncated for column ~

다음과 같이 해결하면 됩니다.

해결책

• VARCHAR인 경우에는길이를 늘려준다.
• Numeric이면 소숫점이 몇자리까지 허용인지 보고 미리 round 처리해준다.

비용이상감지

비용 이상감지는 이상감지를 비용과 밀접한 관련이 있는 데이터에 하는 것입니다.

이상감지는 시간에 따른 흐름과 추세의 패턴이 있는 시계열 데이터가 과거의 패턴에서 많이 벗어났는지를 감지하는 모델을 말합니다.

이상감지는 통계적 모델, 기계학습, AI 등 모든 종류의 모델을 다 사용합니다.

이상감지는 주로 사고를 미리 감지하기 위한 것이 많은데 온라인 서비스의 다운 징후, 온라인 서비스 사용자 또는 트래픽의 급증과 급감, 각종 공장 또는 장치의 사고나 고장 위험 등을 위해서 모델을 만들고 운영합니다.

BI와 대시보드, 그라파나, 키바나 같은 것에 연동하거나 별도의 시각화를 만들기도 합니다.

이상감지의 세부 갈래 중 하나인 비용이상감지는 사고 중에서도 비용지불에 대한 이상감지에 중점을 둡니다.

전기료, 수도요금, 클라우드서비스 비용 등과 같은 것입니다.

하지만 전기료, 수도요금은 실시간으로 데이터를 추적하기 어렵고 특별히 이상이 발생하기 어렵기 때문에 이상감지가 유용하지 않습니다. 대신 최근에 많이 사용되는 클라우드 비용 관리에는 큰 효과가 있습니다.

클라우드 비용 이상감지

비용이상감지를 사용하면 클라우드 비용의 과다 지출에 대한 사전 징후를 미리 감지해서 비용 낭비를 방지할 수 있습니다. 체크해야 할 항목이 매우 많기 때문에 어떻게 운영하느냐에 따라 다르겠지만 전체 비용에 대해서 비용을 구성하는 모든 하위 지표를 모니터링해서 그중에 문제를 발생시키는 가장 이상한 지표들을 빨리 감지하는 용도로 쓸 수 있습니다.

광고 캠페인의 비용 이상감지

그외에 광고 캠페인의 운영에 대한 지출 비용에 대한 이상여부를 감지하는데도 사용할 수 있습니다.

광고 캠페인은 최대 지출 비용을 정해두고 사용하는 경우에는 예상했던 기간보다 더 빨리 광고비가 소진되는 것을 발견해서 이상 징후를 감지하고 캠페인 중에 최대 비용을 정하지 않고 신용카드를 등록한 후 집행된 만큼 지불하는 경우에는 매우 유용합니다.

BigQuery에서 with 구문을 많이 사용하거나 Sub query, Inline view를 과도하게 사용하면 나오는 오류입니다.

해결 방법

쿼리를 분할하거나 단계를 간단하게 줄이는 방법밖에 없습니다.

join할 때 on 구문에 조건이 많을 때에도 이 에러가 나오므로 view를 생성하거나 하는 방법으로 회피할 수 있습니다.

랜덤컷포레스트 (Random Cut Forest)는 AWS에서 만든 이상감지모델입니다.

감지가 매우 정확한 편이지만 처리 속도가 매우 느린 알고리즘입니다.

랜덤컷포레스트의 Rust소스를 github에서 발굔해서 여겨에 소개합니다.

https://github.com/aws/random-cut-forest-by-aws/tree/main/Rust/src

아직 실행은 해보지 못했습니다.

ChatGPT

ChatGPT(챗GPT)는 채팅(대화)를 위해 만든 인공지능 소프트웨어입니다.

채팅을 위해 만든 GPT라는 뜻인데

GPT 모델은 인공지능 모델을 한 방식입니다.

건축에 빗대어 얘기하면 인공지능을 만드는 설계방식의 한 종류라고 생각하면 됩니다.

인공지능 모델은 수학적인 구조를 실제로 작동하게 만든 자료와 소프트웨어 덩어리를 말합니다.

즉 컴퓨터 프로그램입니다.

GPT를 만든 곳은 OpenAI(오픈에이아이)라는 비영리연구회사입니다.

이 회사의 초기 투자자로는 테슬라의 일런 머스크가 있고 현재 가장 큰 투자자는 마이크로소프트입니다.

GPT (Generative Pretrained Transformer)

GPT는 생성가능한 선행 학습된 트랜스포머 라는 뜻인데

트랜스포머는 구글이 만든 언어 해석 및 합성을 위한 인공지능모델입니다.

GPT는 구글이 만든 트랜스포머의 변형 및 개량형입니다.

GPT의 장점

실현가능한 초거대언어모델이라는 점이 장점입니다.

초거대모델은 엄청나게 많은 문서자료를 학습해서 그 문서들의 모든 맥락고 의미를 거대한 자료로 압축해 놓은 것을 말합니다.

초거대 모델을 학습하기 위해서 막대한 컴퓨터계산이 필요합니다.

다른 모델들은 이렇게 많은 문서자료를 학습해도 제대로 학습하지 못해서 그리 똑똑하지 않거나 학습하는데 컴퓨터계산이 너무 많이 들어서 100년이 걸려도 학습이 안 끝날 수 있습니다.

GPT는 초거대 모델을 한 번 만드는데 4주 정도 소요되고3 00억 정도의 돈을 쓰는 것으로 알려져 있습니다.

If you want extract a domain from provided URL strings in BigQuery.

It’s very easy. You can use net.Host function.

WITH
  examples AS (
  SELECT "https://some.domain.com/path?query=param#hash" AS example
  UNION ALL
  SELECT "some.domain.com/path?query=param#hash" AS example)
SELECT
  NET.HOST(example)
FROM
  examples

Redis의 내용물을 저장할 때 발생하는 에러다

메세지가 매우 긴 에러이다.

MISCONF Redis is configured to save RDB snapshots, but it’s currently unable to persist to disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.

해결책은

다음과 같이 해결할 수도 있고

config set stop-writes-on-bgsave-error no

다음과 같이 해결할 수도 있다

CONFIG SET dir /tmp/some/directory/other/than/var
CONFIG SET dbfilename temp.rdb

시계열 데이터 예측할 때 선형회귀를 안쓰는 이유?

시계열 데이터는 시간의 순서대로 측정된 데이터이기 때문에 시간에 따른 순서가 있습니다. 일반적인 선형 회귀모형인 최소제곱법을 사용할 경우, 예측값과 실제값의 차이를 제곱한 값을 최소화하는 것이 목표입니다. 이러한 최소제곱법은 잔차의 분포가 정규분포를 이루는 경우에만 적용됩니다. 시계열 데이터의 경우 잔차의 분포가 정규분포를 이루지 않을 수 있기 때문에 최소제곱법을 적용할 수 없습니다.

그렇기 때문에 시계열 데이터에서는 최소제곱법을 사용하는 선형 회귀모형 대신에, 잔차의 분포가 정규분포를 이루지 않더라도 적용할 수 있는 모형을 사용합니다. 이러한 모형에는 시계열 잔차의 자기상관계수가 일정한 수준 이하인 자기상관 선형 모형 (ARIMA), 시계열 잔차가 정규분포를 이루지 않는 경우에 적용할 수 있는 시계열 잔차의 분포가 일정한 수준 이하인 자기상관 선형 모형(ARIMAX) 등이 있습니다.

또한, 시계열 데이터의 경우 자기상관이 있을 수 있기 때문에 일반적인 선형 회귀모형과는 달리 자기상관을 제거하기 위해 차분(differencing) 작업을 수행할 수 있습니다. 차분은 시계열 데이터의 차이값(difference)을 사용하여 자기상관을 제거하는 과정입니다. 이렇게 차분한 시계열 데이터에 선형 회귀모형을 적용할 수 있습니다.

시계열 데이터에 선형 회귀모형을 적용하지 않을 수도 있습니다. 이 경우 시계열 데이터의 특성을 잘 반영할 수 있는 모형을 선택해야 합니다. 예를 들어, 시계열 데이터가 점선으로 그려지고 추세가 있는 경우 선형 회귀모형이 적합하지 않을 수 있습니다. 이 경우에는 추세를 반영할 수 있는 적절한 모형을 선택할 수 있습니다. 예를 들어 추세가 있는 시계열 데이터에는 추세를 고려한 선형 회귀모형인 전방산정모형(forward-looking regression model)과 지수선형회귀모형(exponential linear regression model) 등이 적용될 수 있습니다.

또한, 시계열 데이터의 경우 시간에 따른 추이가 있을 수 있기 때문에 시간에 따른 추이를 반영할 수 있는 모형도 적용할 수 있습니다. 예를 들어 시계열 데이터의 경우 시간에 따른 추이가 있고, 이를 선형으로 나타낼 수 없을 경우에는 시간에 따른 추이를 나타낼 수 있는 시계열 모형인 선형 추이선형회귀모형(linear trend linear regression model)과 지수선형 추이선형회귀모형(exponential trend linear regression model) 등이 적용될 수 있습니다.

정리하자면, 시계열 데이터에는 선형 회귀모형을 적용하기 어려울 수 있는 여러가지 이유가 있습니다. 시계열 데이터의 경우 잔차의 분포가 정규분포를 이루지 않을 수 있기 때문에 최소제곱법을 적용할 수 없기 때문입니다. 또한, 시계열 데이터는 자기상관이 있을 수 있기 때문에 차분을 통해 자기상관을 제거할 수 있습니다. 이 경우 차분한 시계열 데이터에 선형 회귀모형을 적용할 수 있습니다. 또한, 시계열 데이터의 경우 추세가 있거나 시간에 따른 추이가 있을 수 있기 때문에 이를 반영할 수 있는 모형을 적용할 수도 있습니다.

데이터를 다룰 때 날짜 타입이 있는 경우에는 타임존을 항상 신경써야 합니다.
어떤 날짜타입은 타임존을 내부에 가지고 있고 어떤 타입은 그렇지 않습니다.
데이터를 추가할 때 현재 날짜 또는 시각의 타임스탬프를 자동으로 추가하는 기능을 사용할 때는 어떤 타임존으로 설정되어 있는지 확인하고 사용해야 합니다.

# getting current timezone of database system
SELECT @@global.time_zone, @@session.time_zone;

# checking difference default timezone with UTC 
SELECT TIMEDIFF(NOW(), CONVERT_TZ(NOW(), @@session.time_zone, '+00:00'));

# example code for converting timezone
SELECT CONVERT_TZ(CURRENT_TIMESTAMP, '+09:00', '+00:00');

타임존(timezone) 문제는 항상 골치가 아픕니다.

특히 데이터와 관련된 문제에서는 더욱 더 그렇고, 돈과 관련된 데이터라면 더더욱 문제가 딥니다.

MySQL, MariaDB에서 현재 시스템의 타임존을 확인하는 방법입니다.

# 시스템 설정 확인하기
SELECT @@global.time_zone, @@session.time_zone;
# 실제 GMT와의 시간차이 확인하기
SELECT TIMEDIFF(NOW(), CONVERT_TZ(NOW(), @@session.time_zone, '+00:00'));
# tz 바꾸는 코드 테스트
SELECT CONVERT_TZ(CURRENT_TIMESTAMP, '+09:00', '+00:00');

오늘이 공휴일인지 아닌지 확인하는 간단한 코드를 Python으로 작성하는 것인데

이 예제에서 신기한 것은 Copilot이 주석의 내용을 보고 코드에 데이터를 자동으로 추가해주는 기능도 있다는 것입니다.

공휴일 날짜 데이터가 문제입니다.

자동으로 코드내에 공휴일데이터를 추가하는 방법을 알려드립니다.

아래 사이트에 접속해서 공휴일에 대한 정보를 복사합니다.

Copilot이 설치된 vscode를 실행하고 코딩을 준비합니다.

아래의 코드에서 상단에 있는 것이 위의 사이트에서 복사해서 붙여넣은 데이터입니다.

복사한 후에 주석처리를 해놓고 밑에서 코드를 입력해서 완료하면 되는데

밑에 holiday_list = [ 라고 입력하고 Copilot의 추천을 기다리면 주석의 내용을 파악해서 공휴일에 해당하는 모든 데이터를 한 번에 또는 부분적으로 모두 완성해 줍니다.

여기서 신기한 것은 9월 28일 ~ 9월 30일과 같이 구간으로 표현된 것도 인지하고 날짜 목록에 나열해서 넣어 준다는 것입니다.

# 2023년 대한민국 공휴일
# 날짜	요일	공휴일
# 1월 1일	일요일	새해
# 1월 21일 ~ 1월 24일	토요일 ~ 화요일	설날
# 3월 1일	수요일	3·1 운동/삼일절
# 5월 5일	금요일	어린이날
# 5월 27일	토요일	부처님 오신 날
# 6월 6일	화요일	현충일
# 8월 15일	화요일	광복절
# 9월 28일 ~ 9월 30일	목요일 ~ 토요일	추석
# 10월 3일	화요일	개천절
# 10월 9일	월요일	한글날
# 12월 25일	월요일	크리스마스

# check if today is holiday or not
holiday_list = [
    '2023-01-01', '2023-01-21', '2023-01-22', '2023-01-23', '2023-01-24',
    '2023-03-01', '2023-05-05', '2023-05-27', '2023-06-06', '2023-08-15',
    '2023-09-28', '2023-09-29', '2023-09-30', '2023-10-03', '2023-10-09',
    '2023-12-25'
]

today = datetime.datetime.today().strftime('%Y-%m-%d')
if today in holiday_list:
    print('Today is holiday')
else:
    print('Today is not holiday')

데이터과학과 R을 배우기에 매우 좋은 온라인 무료 책입니다.

인쇄본은 유료입니다.

영어이지만 해석이 어렵지 않습니다.

하버드대하교에서 제공하는 것으로 매우 좋은 책입니다.

http://rafalab.dfci.harvard.edu/dsbook/

딥러닝 (Deep Learning)의 쉬운 이해

딥러닝은 “깊은 학습”이라는 뜻이고 “심화학습”이라고 번역합니다만 원래 뜻과는 잘 안맞고 멋이 없어서 그냥 “딥러닝”이라고 부릅니다.

딥러닝은 신경망(뉴럴 네트워크, Neural Network)이라고 하는 인공지능 구현 방식이 있는데 그 것의개량형입니다.

딥러닝은 신경망의 다른 별명이고 개량된 신경망을 뜻하는 단어입니다.

그래서 딥러닝을 이해하려면 신경망에 대해서 무조건 알아야 합니다.

신경망은 인간의 뇌구조를 모방해서 만든 인공지능을 만들기 위한 설계 구조이자 방식입니다.

신경망은 아주 예전에는 전기, 전자회로로 구현했고 요즘은 다 컴퓨터 소프트웨어로 구현합니다.

신경망을 개량하기 위해서 직접 만들기도 하고 기조의 구조를 고쳐서 인공지능 모델을 만들기도 합니다.

그래서 프로그래밍을 하긴하지만 프로그래밍 양은 많지 않고 만들어진 소프트웨어 골격을 재배열하고 데이터를 가공하거나 변환해서 넣고 결과를 확인하기 위한 것이 대부분입니다.

어쨌든 인공지능을 만들기 위한 절차의 집합입니다.

딥러닝과 일반 신경망의 차이

딥러닝과 일반 신경망의 차이는 딥러닝이 신경망의 구조에서 망 내의 신경 층들 수가 더 많고 길게 할 수 있다는 차이가 있습니다.

신경망이 깊으면 더 정교한 판단을 하는 인공지능을 만들 수 있습니다.

그럼 딥러닝이 나오기 전에는 깊은 구조 (복잡한 구조)의 신경망을 못 만들었다는 말인가? 라고 셩각하실텐데 그렇습니다.

딥러닝 이전에도 깊은 구조의 신경망을 만들 수는 있었지만 만들어진 신경망이 멍텅구리가 되기 때문에 결과적으로는 만들 수 없었습니다.

깊은 구조의 신경망을 만들 수 없었던 이유는 미분 때문

많은 이유가 있지만 가장 큰 이유는 미분으로 인한 문제입니다.

신경망에서 미분은 크게 2가지 문제를 만듭니다.

GPGPU로 대량의 계산을 더 빨리 처리하게 됨

신경망은 파라미터 최적화라는 작업을 합니다.

파라미터 최적화는 신경망 내에 있는 숫자값들을 학습데이터에 맞게 조금씨 고쳐서 바꿔가는 작업입니다.

파라미터 최적화를 위해서 대수학에서 하는 미분을 해야하는데 아주 많이해야 합니다.

미분을 많이해야 하면 계산할 것이 많아져서 컴퓨터가 힘이듭니다.

이건 이런 종류녜 단순 계산을 한 번에 많이 할 수 있는 GPGPU의 발전으로 해결되었습니다.

그래디언트 소실 문제 해결

그 다음은 미분이 반복되면서 파라미터의 숫자값들이 모두 0에 점점 가까워지는 문제를 해결했습니다.

이 문제를 그래디언트 배니싱이라고 부릅니다.

파라미터가 모두 0이 되거나 0에 가까우면 인공지능이 바보가 되는데 그 이유는 신경망의 층이 매우 많을 때 미분이 반복되기 때문입니다.

0이 가까워지는 이유는 미분의 대상이 되는 함수인 시그모이드라는 신경망에서 애용했던 함수의 특성때문입니다. 딥러닝에서는 이 함수를 렐루(ReLU)라는 미분해도 숫자가 계속 작아지지 않는 함수로 바꿔서 해결합니다.

알고보면 엄청 간단하지만 해결하는데 엄청나게 오랜 시간이 걸린 것입니다.

딥러닝 책과 자료는 서점과 온라인에 많이 있습니다. 자세한 자료는 그걸 참조하세요.

셀레니엄(Selenium)은 웹서비스를 테스트하기 위해 사용하는 오래된 자동화도구입니다.

웹서비스를 테스트하기 위해서는 웹브라우저를 사람대신 작동하게 해서 접속하고 클릭하고 페이지를 이동하는 등의 작동을 시키고 결과를 본 후에 제대로 작동하는지 측정합니다.

이걸 위해서 필수적으로 3가지가 필요합니다.

• 웹브라우저
• 웹브라우저를 자동으로 핸들링하는 웹드라이버
• 웹드라이버를 핸들링하기 위한 컴퓨터언어와 패키지

셀레니엄은 위에서 3번째것을 지원합니다.

웹브라우저와 웹드라이버는 웹브라우저를 만드는 곳에서 제공합니다.

셀레니엄의 용도

웹서비스가 제대로 작동하는지 화인하는데 씁니다.

데이터를 크롤할 때 씁니다.

데이터클 크롤할 때 셀레니엄을 쓰는 이유는 Javascript를 사용해서 동적으로 콘텐츠를 디스플레이하는 사이트때문입니다.

이런 사이트의 데이터를 크롤하려면 접속하는 웹클라이언트에 자바스크립트를 구동시키고 화면을 렌더링할 수 있는 엔진이 있어야 하는데, 이게 쉽게 만들 수 있는 물건이 아닙니다.

그래서 기존의 웹브라우저를 자동화해서 움직이게해서 테스트 용도로 사용하게 하는 방법이 생겨났는데 그중에 가장 오래되고 유명한 것이 셀레니엄입니다.

그리고 이런 사이트의 데이터를 자동으로 가져가기 위해서 역시 셀레니엄을 쓰게 됩니다.

셀레니엄의 단점

구동하게 하기 위해서 자원을 많이쓰는 웹브라우저를 사용해야합니다.

쉡게 말하면 셀레니엄은 매우 무겁습니다.

셀레니엄의 장점

앞서 말했듯이 셀레니엄을 쓰면 동적 생성되는 콘텐츠를 테스트하거나 크롤할 수 있습니다.

React나 Vue.js 같은 것들로 만들어진 웹페이지에도 쓸 수 있습니다.

셀레니엄 그리드는 뭔가?

• 셀레니엄을 설치하면 여러가지 이상한 패키지를 서버 또는 랩탑에 설치해야 합니다
• 그리고 그냥 쓰게 되면 서버의 자원을 순간적으로 많이 쓰게 됩니다.
• 쓰고나면 찌꺼기 파일을 많이 만들어 놓습니다

그래서 셀레니엄을 여러 서버에 미리 설치해서 클러스터를 만들어놓고 그걸 필요할때 가져다 쓸 수 있습니다.

그런 환경을 만들어 주는 것을 셀레니엄 그리드입니다.

아래 사이트에서 설치법을 볼 수 있습니다. 비교적 쉽습니다.

https://www.selenium.dev/documentation/grid/

그리고 셀레니엄 서버라는 것이 예전에 존재했었는데 그 후속으로 나온 버전이 셀레니엄 그리드입니다.

셀레니엄 그리드의 장점

• 차원이 더 필요할 때 수평 확장이 쉽습니다.
• 자원을 효율적으로 사용할 수 있습니다.
  • 여러 서버가 셀레니엄 그리드 클러스터로 부터 필요할 때 자원을 가져다 쓰기 때문입니다

CDP의 정의

CDP는 디지털마케팅과 관련된 고객 데이터 관리 및 분석 플랫폼입니다.

여기서 말하는 고객 데이터는 주로 고객의 행적 데이터입니다.

언제 쇼핑몰에 접근하고 어떤 물건을 조회하고 샀는지와 같은 것들입니다.

자세히 말하는 CPD는 온라인쇼핑몰 같은 이커머스 비즈니스 또는 온라인 / 오프라인 비즈니스가 가능한 곳에서 자사의 몰 또는 비즈니스 플랫폼에 접속, 접근하는 고객들의 행적 데이터를 수집, 통합, 분석해서 마케팅에 활용하게 해주는 플랫폼입니다.

CDP는 유료 플랫폼을 사용하거나 자사가 직접 구축해서 사용하는데 클라우드 중에서는 Google CDP와 그 외에 몇개의 솔루션이 있습니다.

구글어낼리틱스 Google Analytics(줄여서 GA라고 부름)도 CDP의 일종이지만 CDP는 GA보다 더 세분화되고 깊은 수준의 인사이트를 얻을 수 있도록 합니다. 그리고 구글은 GA가 아닌 별도의 CDP 솔루션을 제안하고 있습니다.

https://cloud.google.com/solutions/customer-data-platform#section-2

CDP와 DMP의 차이

애드테크(광고IT)에서는 DMP (Data Management Platform)이라는 것이 있는데 CDP와 유사한 개념이라서 혼동이 생길 것입니다.

다음과 같은 차이가 있습니다.

• CDP는 자사의 데이터를 온, 오프라인 플랫폼에서 가져와 통합하기 때문에 고객의 개인식별정보를 가지고 있고 고객의 개인정보도 적극 활용합니다.
  그에 반해
• DMP는 제3자가 자사의 데이터를 관리하고 타사의 데이터와 연동하거나 하게 해주기 때문에 공식적으로 비식별 데이터만을 다룹니다.

CDP와 데이터과학의 관계

매우 밀접한 관계가 있습니다. CDP는 고객의 행적 데이터를 수집하고 분석합니다.

이런 데이터는 기계학습을 이용한 고객 세그멘테이션, 고객 상품 추천, RFM 분석과 코호트 분석을 통한 고객 리텐션에 활용할 수 있습니다.

특히 가장 유용하게 사용할 수 있는 것이 고객 이탈방지를 위한 CLV(Customer Lifetime Value)와 상품 추천입니다.

쉽게 생각하면 넷플릭스를 생각하면 됩니다.

넷플릭스는 고객들이 어떤 콘텐츠를 봤는지 패턴을 파악해서 고객들에 좋아할만하고 지식재산권 비용이 낮은 비교적 오래된 콘텐츠를 추천해서 고객들이 이탈하지 않게 만들어서 구독료로 이윤을 남깁니다.

인포그래픽스 – 차트와 그래프 시각화 가이드

출처: https://lnkd.in/e_AKDn9Y

메카브(MeCab)는 일본어 형태소분석기입니다.

은전한닢은 메카브를 한국어용으로 포팅한 것이고 Mecab-Ko 라고도 부릅니다.

은전한닢으로 텍스트마이닝, 자연어처리를 하거나 은전한닢에 의존성이 있는 소스코드, 패키지를 쓰려고 하면 메카브를 설치해야 하는데 이게 설치가 깔끔하게 잘 안되는 편입니다.

Mecab-ko의 코어 모듈과 Python 모듈까지 설치하는 방법입니다.

간단하게 한 셀로 정리했으니 순서대로 하면 됩니다.

# 아래의 명령으로 설치가 되야 하는데 안되며 포기
# sudo python3.9 -m pip install -v python-mecab-ko

# 메카브의 소스를 받와서 빌드후 설치
wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz
tar xzvf mecab-0.996-ko-0.9.2.tar.gz
cd mecab-0.996-ko-0.9.2
./configure
make
sudo make install

# 메카브 한국어 사전을 받아와서 빌드 후 설치
cd
wget https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/mecab-ko-dic-2.1.1-20180720.tar.gz
tar xvfz mecab-ko-dic-2.1.1-20180720.tar.gz
cd mecab-ko-dic-2.1.1-20180720
./configure
sudo apt-get install autoconf
# autogen.sh
# autoreconf
# /etc/ld.so.conf파일에 마지막 한 줄을 추가하고 다시 수행하면 정상적으로 표시가 됩니다.
sudo vim /etc/ld.so.conf
# 아래의 두줄이 들어가면 오케이
# include ld.so.conf.d/*.conf
# /usr/local/lib
sudo ldconfig
make
sudo make install
# 이제 메카브 파이썬 모듀을 설치한다
cd
git clone https://bitbucket.org/eunjeon/mecab-python-0.996.git
cd mecab-python-0.996
python3 setup.py build
python3 setup.py install
# python3 실행해서 다음 코드를 실행해서 에러가 없으면 오케이
# import MeCab

Confusion Matrix(컨퓨전 매트릭스)는 한국어로 혼동행렬이라고 부릅니다.

혼동행렬이라는 단어가 어색해서 흔히 영어 발음 그대로 컨퓨전 매트릭스라고 부릅니다.

Confusion matrix는 기계학습 모델 중에서 분류 모델의 성능을 측정하고 학인하기 위한 간단한 계산식과 표입니다. 기계학습의 분류모델의 성능 측정을 위한 지표 계산법 이라고 기억하시면 됩니다.

인터뷰나 멘토링을 할 때 기계학습 초보자인지 아닌지를 확인하는 가장 쉬운 방법은 Confusion Matrix를 설명하라고 하거나 어떤 모델에 대한 설명을 한 후 Confusion Matrix에서 어떤 것을 보는게 좋을지에 대해서 물어보고 대답을 어찌하는지 보면 확인할 수 있습니다.

Confusion Matrix에 대해서 잘 모른다면 기계학습에 대한 지식이 아예 없다고도 볼 수 있습니다.

흔히 Confusoin matrix는 위의 그림에서 좌상단에 있는 조그만 박스를 말하는데 기계학습을 하다가 보통 Precision, Recall과 같은 지표 이름이 나오면 Confusion matrix라고 생각하면 됩니다.

위의 표가 행렬처럼 생겨서 혼동행렬이라고 하는것인데

이름이 왜 혼동이라는 단어가 들어가서 혼동행렬인지 단어의 뜻을 이해하면 저게 왜 복잡한지 알 수 있습니다.

기계학습 모델의 문제는 “그 모델이 왜필요하며 어떤 문제를 해결하기 위해서 필요한가 ”에 따라서 어떤 지표를 봐야 하는지를 결정해야 하고 어떤 지표와 어떤 지표가 상관관계가 있는지 상호충돌(trade off)인지도 잘 이해하지 않으면 지표를 보는 것(해석하는 요령)이 어렵습니다.

그래서 혼동행렬이라고 부릅니다.

Precision을 중요하게 봐야 하는 모델, Recall을 중요하게 봐야 하는 모델, 둘 다 봐야하는 모델 등 각기 다른데 모델의 각 지표에 대한 중요도와 우선순위는 모델이 처한 상황과 산업, 모델이 해결해야 하는 문제에 따라 다릅니다.

어쨌든 혼동행렬에서 중요한 기본 4개의 지표는

• TP: True Positive. 모델이 긍정이라고 한 것중에 정답도 긍정인 것
• FP: False Positive. 모델은 긍정이라고 했지만 정답은 부정인 것
• FN: False Positive. 모델이 부정이라고 한 것중에 정답이 긍정인것
• TN: True Negative. 모델이 부정이라고 한 것중에 실제로 정답도 부정인 것

TP, TP, FN, TN은 모두 카운트한 값으로 빌드한 모델을 테스트 데이터에 대해서 실험해서 나온 결과로 구하게 됩니다.

위의 기본 지표도 상당히 헷갈리는데 간단하게 이해하려면 True와 False는 기계(모델)이 한 행위가 맞다 틀리다를 표현하는 것이고 Positive와 Netagive는 모델이 데이터 레코드를 어떻게 판별했는가를 나타냅니다.

True Positive라면 모델은 데이터레코드를 긍정이라고 판단했고 True이기 때문에 모델이 긍정이라고 한 것이 맞다! 라는 뜻입니다.

False Negative라면 모델은 데이터 레코드를 부정으로 판단했고 False이기 때문에 모델이 그렇게 판단한 것이 틀렸다는 의미입니다. 풀어서 설명하면 False Negative는 모델이 부정이라고 했지만 사실 정답은 긍정인것이라 모델이 네가티브로 판별한 것은 틀렸다는 의미입니다.

그 뒤에 2차 지표를 구하게 되는데

이것들이 precision, Recall, Accuracy, F1-score, F-beta score 같은 것들입니다.

이 지표들은 Confusion Matrix안에 있는 4개의 기초 카운트값으로 계산해서 구할 수 있고 보통 비율값으로 계산이 됩니다.

RFM에 대해서 간단하게 정리한 것을 올립니다.
더 복잡한 분석기법이나 모델링 방법은 다른 포스트에 올려보겠습니다.

RFM 정의

RFM은 마케팅 분석 방법 중 하나입니다.
온라인 리테일(물건을 판매하는 사업)에서 고객 군집을 고객의 최종 방문수, 유휴시간, 소비금액을 기준으로 나누고 각 군집이 어떻게 유지되고 변화하는지에 따라서 현재 비즈니스 상태를 파악하고 문제가 있다면 어떻게 대응해야 할지를 판단하는데 쓰는 방벘입니다.

온라인 리테일이라면 쿠팡, 위메프, 티몬, 지마켓, 11번가, SSG 등을 생각하면 쉬울 것입니다.

RFM은 디지털마케팅 기법을 이용해서 기업을 성장시키는 그로쓰해킹 (Growth Hacking)에서도 자주 쓰이는 분석지표입니다. 그래서 디지털 마케터, 비즈니스 데이터 분석가라면 반드시 알아야 하는 분석 방법입니다.

RFM의 용어 정리

RFM – Recency, Frequency, Monetary 의 각각 앞 글자를 따서 RFM이라고 부릅니다.

비슷한 것으로 RFD가 있으나 Monetary가 Duration으로 바뀐것 외에는 동일합니다. Duration는 체류기간입니다.

RFD – Recency, Frequency, Duration

RFM에서 고객의 방문 또는 구매 주기의 관점에서 볼 때 구매액은 크게 중요하지 않고 그 보다는 체류시간 같은 것이 더 중요한 비즈니스에서는 머니테리 대신 듀레이션을 사용하기도 합니다.

체류시간이 중요한 비즈니스는 게임입니다. 게임의 체류시간은 어떤 면에서는 게임에서 인앱구매를 하는 것 보다 더 중요할 수 있으며 정액제 게임이고 게임내 구매가 없는 경우라면 활성유저가 많아야 게임이 흥하기 때문입니다. 어쨌든 RFD 분석도 RFM 분석과 같은 것입니다.

RFM과 마케팅 전략

RFM을 한국어로 번역하면 최신성, 빈발성, 통화성(체류성) 으로 해석할 수 있으나 한국어로 번역하면 매우 어색하므로 그대로 리센시, 프리퀀시, 머니테리로 부릅니다.

광고주가 그들의 관점에서 고객(Customer)을 세그멘테이션하고 프로파일링하고 고객의 가치를 판단하고 마케팅 전략을 세우는 데 활용하는 방법입니다.

앞서 말했듯이 리테일 비즈니스 업체 (소비재 물건을 판매하는 업체) 또는 온라인 서비스 업체(넷플릭스, 유튜브, 멜론 같은)가 고객을 분할해서 구분하고 관리하는 오래된 고객 관리 및 분석 기법입니다.

RFM 계산하기

RFM은 고객에게 R, F, M 각각의 점수를 부여하고 그 다음에 점수들을 다시 몇개의 적은 그룹으로 묶은 뒤에 구분한 그룹들을 관리하게 됩니다.

R 점수

R(Recency)은 오늘로 부터 최종 방문한 날까지의 날짜수를 계산합니다. 10일전에 왔다면 R은 10이 됩니다. R점수는 적을 수록 좋은 것입니다.

F 점수

F(Frequency)는 고객이 가입 또는 최초방문 또는 최초구매일로부터 지금까지 구매한 수입니마. 구매한 횟수 일수도 있고 구매한 물건 수 일수도 있지만 보통은 트랜잭션을 기준으로 합니다. 그러니까 결제를 한 번했다면 물건을 여러번 사도 1회로 카운트합니다. F는 높을 수록 좋습니다.

M 점수

M(Moneytary)는 구매한 금액의 총액입니다. F와 마찬가지로 지금까지 구매한 트랜잭션의 금액을 모두 더하면 됩니다. 반품이나 결제취소는 할 수 있다면 계산에서 빼야합니다.

RFM의 점수 분할 척도

R, F, M을 각각 기본 5점 척도로 분할해서 총 125가지 유형으로 고객을 중규모(세그먼트 수가 100을 넘지 않음) 분할해서 관리 계획을 세우고 대책을 만들어 정복합니다.

R, F, M은 각각 척도를 주고 양적점수에 의한 순서로 등분할 하는데 (Quantile) 척도는 3 ~ 5점 등으로 분석하는 사람과 업체에 따라 다르게 할 수 있으나 기본 5점으로 분할하는 예가 가장 많습니다.

아까 구한 R값을 기준으로 역순정렬해서 퀀타일로 고객그룹을 5개로 균등분할해서 각 고객에게 R점수를 1 ~ 5점으로 부여합니다. R은 숫자가 낮을 수록 좋은 것이기 때문에 역순정렬합니다.

F값은 순 정렬해서 역시 순서대로 5개로 균등분할해서 F점수를 부여하고 M도 마찬가지로 순정렬해서 5개로 부여합니다.

예를들어 지금까지 가입한 고객이 총 100명이라면 R=1은 20, R=2도 20, R=3도 20, R=4도 20, R=5도 20명씩이 됩니다. F와 M도 동일하게 각 점수별로 20명씩이됩니다.

퀀타일은 어떤 기준값을 가지고 정렬을 해서 순서대로 균등(또는 최대한 균등

표 – 5점 척도에 의한 RFM 분할

위와 같이 되는데 중요한 것은 나뉘는 그룹이 총 5 x 5 x 5 = 125개 일것 같지만 실제로는 125개가 안될 수도 있습니다.

R=1, F=5, M=5와 같은 특정 조합에 해당하는 고객이 한명도 없을 수 있기 때문입니다.

어쨌든 이렇게 해서 고객들은 최소 5개에서 최대 125개의 그룹으로 나눕니다. 보통 100개 이상의 그룹에 모두 고객이 존재하게 되는데 이건 관리하기 너무 많고 인사이트를 얻기에도 힘듭니다. 그래서 이 그룹들을 다시 관리하기 좋게 의미와 이름을 부여해서 나누고 관리합니다.

캠페인의 전환율을 RFM으로 파악하는 법

캠페인의 전환률이 매우 낮다면 그 이유는 적절한 고객(Customer)에게 타겟팅하지 않았기 때문입니다. 고객 세그먼트는 각각 동일한 캠페인에도 다르게 반응하기 때문입니다.

그래서 고객을 구매 행동에 따라 다르게 분류해야 할 필요가 있고 분류된 세그먼트별로 다른 접근 방법으로 다르게 접근해야 합니다.

충성고객에게는 상품이 형편없지만 않으면 구매를 합니다. 하지만 비충성 고객에게는 매리트가 충분히 있는 비교적 가격 경쟁력이 높으면서 구매 부담이 없는 제품을 캠페인으로 보여주지 않으면 클릭하지 않습니다.

RFM은 행동 기반의 고객 세그먼트를 위해 이미 증명된 마케팅 모델입니다. RFM은 거래 내역(transaction history)으로 얼마나 최근에, 얼마나 자주, 얼마나 많은 돈을 지불했는지로 고객을 그루핑(grouping) 합니다.

RFM은 파라미터 3개를 사용하는 이유는 고객 가치평가는 1개의 파라미터만으로는 부족할 수 있기 때문입니다.

RFM의 3개의 척도중에서 보통은 가장 좋은 고객은 가장 많은 금액을 지불한 고객이라는 데는 대부분 동의하지만 그 고객이 아주 오래전에 딱 한 번 구매를 했고 더 이상 우리 제품을 사용하지 않는다면 최고의 고객이 아닐 가능성이 큽니다.

그래서 RFM은 3개의 고객 속성으로 고객을 순위화(rank)합니다.

고객이 최근에 구매했다면 더 높은 점수를 주고

고객이 빈번하게 구매했다면 더 높은 점수를 주고

고객이 많은 돈을 지불했다면 더 높은 점수를 줍니다.

그리고 3가지 점수를 병합해서 RFM 점수를 만듭니다.

그런 후에 고객을 RFM(Recency – Frequency – Monetary) 점수로 서로 다른 그룹으로 분할할 수 있다. 반대로 말하면 동질 그룹으로 묶을 수 있게 됩니다.

고객을 여러 다른 세그먼트 체계로 분할 수 있지만 보통 11개 정도로 분할하는 것을 추천하고 있습니다.

RFM 세그먼트 분할표1

RFM 세그먼트 분할표2

통계학적 RFM Analysis를 위해서 예제로 제시한 RFM 점수와 세그먼트 분할표

이 세그먼트 분할 기준으로 여러 세그먼트에 중복 분류되는 고객군이 있을 수 있으므로 다소 문제가 있을 수 있다.

문제점

• 조건 적용에 순서에 따라 분할되지 않은 세그먼트가 발생하므로 범위에 따른 조건의 적용 순서를 재배열 해야함
• 조건에 포함되지 않는 고객들이 있음
  • 모든 고객들이 꼭 1개의 세그먼트에 포함되어야 하는가에 대한 결정 문제가 있음
  • 고객들이 2개 이상의 세그먼트에 겹쳐서 포함되어도 괜찮은가에 대한 결정 문제가 있음
  • 세그먼트간 경곗값이 크지 않으면 세그먼트를 합치거나 중복해야 할 수 있음

코멘트

• RFM 그룹에 따라 광고배너의 내러티브를 변경하는 것이 더 나을 수 있음
  • 저희의 최고의 고객이십니다. 고객님이 지금 가글을 한 병 사시면 한 병 더 드립니다. 뭐 이런식으로? 해줘야 한다.

RFM 점수 계산

RFM점수는 다음의 3가지 행동 데이터를 기반으로 계산합니다.

• Recency (R): 마지막으로 구매한 후에 오늘까지 몇일이 지났는가?
• Frequency (F): 지금까지 전체 구매(거래)가 몇번 있었는가?
• Monetary (M): 지금까지 전체 구매한 금액은 얼마인가?

위의 값을 계산한 후에 1 ~ 5점의 척도로 바꾸면 RFM 점수(RFM score)가 된다.

RFM 데이터 처리 흐름 Data processing workflow

비닝 binning

Percentile 또는 Quantile 기반으로 개체수에 따른 등분할 합니다. 동일하거나 거의 비슷한 수가 되도록 분할하는 것입니다.

이것은 상대적 분할이기 때문에 절대 기준이라고생각해서는 안됩니다. RFM은 상대적으로 좋은 고객인지 위험한 고객인지를 아는 것이지 절대적으로 좋은 고객 안좋은 고객을 알아내는 지표는 아닙니다.

특히 업종별로는 고객의 구매 관련 행동 패턴의 양상이 다르므로 비교하는데 사용하기 어렵지만 같은 업종끼리라면 비슷한 업종의 회사의 RFM 고객 세그먼트는 비교대상이 됩니다.

RFM의 문제점

프로파일링 문제1

세그먼트를 분할하고 분할 세그먼트에 네이밍 또는 정의(definition)을 사람에 의해서 해석해야 하는 문제. 샘플이 있으므로 샘플 이용해 시도한 후에 정의하는 방법을 알아낼 수 있습니다.

프로파일링 문제2

세그먼트 분할 후 각 세그먼트의 분포와 개체수를 확인하고 나서 문제를 알게 되는데 문제의 원인을 알기 위해서는 고객사 현업의 경험 지식이 필요합니다.

프로파일링 문제3

세그먼트에 대한 분할 예제가 있으나 주관적(업체별)일 수 있어 공통된 세그멘테이션 방법으로 진행해도 무리가 없을지에 대한 판단이 필요

•  우선 공통 기준으로 세그먼트를 모두 나눈 뒤 업종별 또는 광고주별로 세그먼트의 분할이 어떻게 되었는지 성과는 어떠했는지, 변화는 어떻게 되어 왔는지 구분해서 비교 리포트를 작성한다.
• 작성한 후 세그먼트 분할 기준을 각각 따로 할지 공통으로 할지 재결정한다. 가능하다면 공통 기준으로 가는 것이 비교 분석을 하기 편리하므로 그에 대한 가중치를 주고 결정을 하도록 한다.
• 타일을 분할할 때 타일간의 대푯값의 차이가 없는 경우 타일 수를 조절해야 할 수 있는데 조절하지 않고 대푯값의 차이와 분포의 현상태만 나열해 둔다. 

RFM 세그먼트 활용 방법

간단하게는 RFM세그먼트를 약 3가지로 활용할 수 있을 것으로 기대할 수 있습니다.

현재 사업의 상태를 파악할 수 있습니다.

• 비즈니스가 망해가고 있는지 잘되고 있는지 조치가 필요한지를 알 수 있습니다.

비즈니스 개선을 위해서 집중해야 할 세그먼트를 알아낼 수 있고 세그먼트를 공략하기 위한 캠페인 진행 방법을 선택할 수 있습니다.

• 어떤 세그먼트에 문제가 있는지? 고객 리텐션이 필요한지, 이탈 방지가 필요한지, 신규 고객 입수가 필요한지, 기존 고객의 구매 활성화가 필요한지 등
• 위의 해석에 따라 캠페인 상품을 깔 맞춰서 제안할 수 있고 진행을 시도할 수 있다.

역으로 특정 캠페인에 적합한 세그먼트를 찾아내서 데이터 교환으로 활용할 수 있습니다.

• 어떤 업체의 어떤 세그먼트는 어떤 다른 업체에게는 좋은 세그먼트가 될 수 있다.
• 통신사에서 요금제를 새로 구매한 고객 세그먼트는 핸드폰 악세사리를 판매하는 광고에 활용한다던가 (이런 것을 스토리라인 캠페인이라고 부름)

참고 자료

• https://docs.exponea.com/docs/rfm-segmentation
• https://www.crossengage.io/rfm-model-dynamic-targeting-with-marketing-automation/
• https://www.barilliance.com/rfm-analysis/
• https://www.sciencedirect.com/science/article/pii/S1319157818304178
• https://www.putler.com/rfm-analysis/
• https://m.blog.naver.com/PostView.nhn?blogId=bestinall&logNo=221274298234&proxyReferer=https%3A%2F%2Fwww.google.com%2F

허핑페이스에 공개되었다고 합니다.

제목대로 영어로 생성할 이미지에 대한 설명을 적으면 생성을 해줍니다.

이런 종류의 AI는 이미 이전에도 많이 나와있습니다만 이 AI는 품질이 상당히 좋다는 평가입니다.

실제로도 가능하니 테스트 해보세요.

🔗접속주소: https://huggingface.co/spaces/stabilityai/stable-diffusion

Python에서 MySQL의 DB결과를 가져올 때

cursor.fetchall()를 사용하면 MySQL결과는 보통 리스트(list) 타입으로 가져오게 되서 쿼리에서 선택한 컬럼의 번호를 주고 꺼내와야 합니다.

컬럼이 몇개 안되면 괜찮지만 컬럼이 많거나 쿼리가 복잡하면 꺼내와서 짝을 맞추는 것이 어려우니 딕셔너리 타입으로 받으며 좋습니다.
보통은 다음과 같이 하지만

rows = cursor.fetchall()
for row in rows:
  id = row[0]
  name = row[1]
  print(id, name)

딕셔너리로 사용하기는 다음과 같이 쓰는 것을 말합니다.

rows = cursor.fetchall()
for row in rows:
  id = row['id']
  name = row['name']
  print(id, name)

다음과 같이 cursor를 생성할 때 옵션을 지정하면 쓸 수 있습니다.

import pymysql
connection = pymysql.connect(db="test")
cursor = connection.cursor(pymysql.cursors.DictCursor)
cursor. Execute("SELECT ...")

위의 단점은 데이터를 가져올 때 딕셔너리에 키를 다 넣으므로 데이터의 사이즈가 커진다는 것입니다 경우에 따라서 복잡하더라도 필드의 순번으로 데이터를 꺼내오는 것이 나은 경우가 있습니다.

무분별하게 사용하지 않도록 고민은 한 번 해야합니다.

sVM 전통적으로 여전히 로버스트한 분류 문제를 해결하는데 쓰는 알고리즘입니다.

하지만 SVM의 문제점은

• 빌드된 모델이 왜 그렇게 만들어졌는지 알 수 없는 블랙박스 모형이라는 것과
• 멀티코어로 병렬처리해서 모델을 빌드하기 어렵다

입니다.

첫번째 문제는 어쩔 수 없다고 해도 멀티코어는 이제 해결이 된 것이 있습니다.

아래 링크에 있는 liblinear입니다.

https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/multicore-liblinear/

github 주소는 이곳입니다.

https://github.com/yesimon/LIBLINEAR

스탠포드에서 제공하는 기계학습 치트시트입니다.

요약 사전 같은 것입니다.

구성이 잘되어 있습니다.

https://github.com/afshinea/stanford-cs-229-machine-learning