토탈 데이터과학 – Total Data Science

WSL이나 Linux를 새로 설치한 후에 Python 패키지를 설치할 때 저런 에러가 내면 패키지를 빌드하는데 필요한 패키지가 설치…

GPT API중 completion 결과 중에 hate, self_harm, sexual, violence 이 4가지에 대한 민검정보 필터링에 대환 결과 여부와…

새로운 한국어 형태소분석기 바른입니다. 이런 한국어 NLP툴킷의 공개는 상업적이던 비상업적이던 늘 환영할 만한 것입니다. 우리나라의 NLP에 대한…

블로그에 애드센스를 붙이긴 했지만 수입이 거의 없기 때문에 접속을 자주 안합니다. 오랜만에 접속했더니 아래와 같은 경고 메세지가…

Azure에서 지원하는 OpenAI API로 GPT를 사용하는 방법입니다. OpenAI에서 제공하는 Python 클라이언트 패키지를 설치해서 똑같이 사용하면 됩니다.단, openai의…

간단한 요약 정리 LLM LLM : Large Language Model의 약어로 한국어로 초거대 언어 모델이라고 합니다. Large라는 단어가…

GPT function calling OpenAI의 GPT API에서 얼마전부터 새롭게 제공하는 function calling 기능에 대한 설명입니다. GPT function calling은…

BigQuery로 Consine similarity를 계산해서 최근접 이웃을 계산하는 예제 코드입니다. Cosine Distance함수는 BigQuery에서 빠른 것을 제공을 해주기 때문에…

리눅스 커맨드는 잘 배우면 간단한 작업을 즉시 하기에 매우 편리하고 좋지만 제대로 신경쓰지 않으면 좀처럼 익히기 쉽지…

SQL에는 쿼리를 실행할 때 그 순간만 사용할 테이블을 잠깐 만들어서 사용할 수 있습니다. 이때 JOIN절에서 임시 테이블을…

Alpaca는 Facebook에서 공개한 LLama 모델을 스탠포드에서 개량한 것입니다. Alpaca에 한국어 학습데이터를 추가한 것이 KoAlpaca입니다. GPT API가 과금…

시퀀스 데이터 프로세싱은 다음과 같은 문제가 있습니다. 기억해야 할 것 예제 준비중

잘 알려진 것이지만 정리해보면 이렇습니다.

LibGen(Library Gernesis)이라는 사이트에서 받으면 됩니다. 러시아 사이트인 것 같습니다. https://libgen.is/ Z=library도 유명합니다. https://z-lib.is/ 논문 받는 곳은 다들…

pyspark에서 .lit()는 문자열의 값을 모두 채워서 컬럼으로 만들어주는 메소드입니다. 다음과 같이 사용합니다. 더 자세한 것은 아래의 블로그를…

ls: cannot open directory .: Stale file handle Linux에서 파일 목록을 확인하다가 위와 같은 오류가 보일 때가…

Click Prediction 모델 만들기 Click Prediction 모델은 사용자가 클릭할 가능성이 높은 광고를 예측하는 기계학습 모델을 말합니다. 광고…

머신 러닝 분야에서 평가 지표는 모델이 얼마나 잘 동작하는지를 측정하는 데 중요한 역할을 합니다. 이 중에서도 다중…

숫자를 다룰 때 가장 많이 사용하는 함수 들은 “floor”, “truncate”, “ceil”, “round”입니다. 이 함수들은 수학적인 개념을 기반으로…

파이썬 커맨드라인 어플리케이션 패키지 커맨드라인 어플리케이션은 콘솔 어플리케이션 이라고도 합니다. 커맨드라인 어플리케이션은 텍스트 인터페이스로 사용하도록 설계된 컴퓨터 프로그램입니다. 쉘 이 그…

Ahocorasick은 1975년에 Alfred V. Aho와 Margaret J. Corasick이 고안한 문자열 검색 알고리즘입니다. 입력 텍스트 내에서 유한한 문자열 집합(사전)의…

Python의 FastAPI에 대한 소개입니다. FastAPI는 Python 3.6 이상으로 API를 빌드하기 위한 최신 고성능 웹 프레임워크입니다. FastAPI는 파이썬 표준…

SQL의 DDL, DML, DCL에 대한 간략한 설명입니다. SQL은 Structured Query Language의 약자로, 데이터베이스에서 데이터를 정의하고 조작하고 제어하는…

Python MySQL을 쓰다가 다음과 같은 에러를 만날 때가 있습니다. Pandas의 데이터를 MySQL 테이블 넣거나 할 때 생기는…

비용이상감지 비용 이상감지는 이상감지를 비용과 밀접한 관련이 있는 데이터에 하는 것입니다. 이상감지는 시간에 따른 흐름과 추세의 패턴이…

BigQuery에서 with 구문을 많이 사용하거나 Sub query, Inline view를 과도하게 사용하면 나오는 오류입니다. 해결 방법 쿼리를 분할하거나…

랜덤컷포레스트 (Random Cut Forest)는 AWS에서 만든 이상감지모델입니다. 감지가 매우 정확한 편이지만 처리 속도가 매우 느린 알고리즘입니다. 랜덤컷포레스트의…

ChatGPT ChatGPT(챗GPT)는 채팅(대화)를 위해 만든 인공지능 소프트웨어입니다. 채팅을 위해 만든 GPT라는 뜻인데 GPT 모델은 인공지능 모델을 한…

If you want extract a domain from provided URL strings in BigQuery. It’s very easy. You can…

다음과 같이 해결할 수도 있고 다음과 같이 해결할 수도 있다

시계열 데이터 예측할 때 선형회귀를 안쓰는 이유? 시계열 데이터는 시간의 순서대로 측정된 데이터이기 때문에 시간에 따른 순서가…

타임존(timezone) 문제는 항상 골치가 아픕니다. 특히 데이터와 관련된 문제에서는 더욱 더 그렇고, 돈과 관련된 데이터라면 더더욱 문제가…

오늘이 공휴일인지 아닌지 확인하는 간단한 코드를 Python으로 작성하는 것인데 이 예제에서 신기한 것은 Copilot이 주석의 내용을 보고…

데이터과학과 R을 배우기에 매우 좋은 온라인 무료 책입니다. 인쇄본은 유료입니다. 영어이지만 해석이 어렵지 않습니다. 하버드대하교에서 제공하는 것으로…

딥러닝 (Deep Learning)의 쉬운 이해 딥러닝은 “깊은 학습”이라는 뜻이고 “심화학습”이라고 번역합니다만 원래 뜻과는 잘 안맞고 멋이 없어서…

셀레니엄(Selenium)은 웹서비스를 테스트하기 위해 사용하는 오래된 자동화도구입니다. 웹서비스를 테스트하기 위해서는 웹브라우저를 사람대신 작동하게 해서 접속하고 클릭하고 페이지를…

Last Touch Attribution은 광고 마케팅에서 사용하는 용어입니다. 데이터 기술로는 애드테크(Ad tech), 마테크(MarTech)에서 볼 수 있는 용어입니다. 번역할…

다음가 같은 에러가 주피터 랩(Jupyter lab)에서 나는 경우가 있습니다. ImportError: cannot import name ‘_psutil_linux’ from partially initialized…

Javascript로 iframe안에 있는 element를 선택하려면 다음과 같이 하면 됩니다.

다음과 같은 에러가 날 때가 있습니다. psutil을 다시 설치해주면 되는데 아마도 이미 설치되어 있다고 나올 것입니다. 다음과…

게임 광고에 대한 분석을 하다 보면 종종 재밌는 사실을 알 수 있습니다. 그 중에 재밌는 것은 게임…

CDP의 정의 CDP는 디지털마케팅과 관련된 고객 데이터 관리 및 분석 플랫폼입니다. 여기서 말하는 고객 데이터는 주로 고객의…

링크 구문 앞에 느낌표!를 붙여주면 할 수 있습니다.하지만 크기 조정을 하려면 html태그를 직접 사용해야 합니다.

인포그래픽스 – 차트와 그래프 시각화 가이드 출처: https://lnkd.in/e_AKDn9Y

PyCuRL을 설치하다보면 이런 에러가 나올때가 있습니다. src/pycurl.h:206:13: fatal error: gnutls/gnutls.h: No such file or directory206 | #…

메카브(MeCab)는 일본어 형태소분석기입니다. 은전한닢은 메카브를 한국어용으로 포팅한 것이고 Mecab-Ko 라고도 부릅니다. 은전한닢으로 텍스트마이닝, 자연어처리를 하거나 은전한닢에 의존성이…

시계열로 고객의 구매패턴을 확인하려면 많은 드릴다운과 데이터 탐색이 필요합니다. 하지만 간단한 특징으로 몇 가지 중요한 인사이트를 얻을…

fluentd는 데이터 인제스쳔(Data ingestion) 레이어를 구성하는데 매우 유용한 도구입니다. fluentd를 microk8s로 구성하는 방법입니다. 우분투(Ubuntu)에 microk8s 설치하기 microk8s는…

A/B 테스트를 한다고 하지만 정작 테스트 결과를 왜곡해서 해석하거나 자기가 해석하고 싶은대로 해석하는 경우가 많습니다. 오늘은 온라인…

데이터 기반으로 의사결정을 하는 것은 이미 전세계적으로 당연히 해야 할 것으로 다를 인지하고 있습니다. 하지만 많은 한국회사들은…

대부분의 컴퓨터언어에는 키로 값을 꺼내올 수 있는 자료구조인 hashmap을 제공합니다. Python에는 자료구조 딕셔너리 dictionary를 지원합니다. R에도 env라는…

Confusion Matrix(컨퓨전 매트릭스)는 한국어로 혼동행렬이라고 부릅니다. 혼동행렬이라는 단어가 어색해서 흔히 영어 발음 그대로 컨퓨전 매트릭스라고 부릅니다. Confusion…

RFM에 대해서 간단하게 정리한 것을 올립니다. 더 복잡한 분석기법이나 모델링 방법은 다른 포스트에 올려보겠습니다. RFM 정의 RFM은…

허핑페이스에 공개되었다고 합니다. 제목대로 영어로 생성할 이미지에 대한 설명을 적으면 생성을 해줍니다. 이런 종류의 AI는 이미 이전에도…

Python에서 MySQL의 DB결과를 가져올 때 cursor.fetchall()를 사용하면 MySQL결과는 보통 리스트(list) 타입으로 가져오게 되서 쿼리에서 선택한 컬럼의 번호를…

sVM 전통적으로 여전히 로버스트한 분류 문제를 해결하는데 쓰는 알고리즘입니다. 하지만 SVM의 문제점은 빌드된 모델이 왜 그렇게 만들어졌는지…

스탠포드에서 제공하는 기계학습 치트시트입니다. 요약 사전 같은 것입니다. 구성이 잘되어 있습니다. https://github.com/afshinea/stanford-cs-229-machine-learning

기여도 기여도란 어떤 성과지표에서 어떤 부분집합이 전체의 성과지표에 얼마나 형향을 주었는지 계산하는 것입니다. 리프트(lift)라고도 합니다. 리프트는 알고리즘이나…

Python에서가장 많이 쓰는 시각화 라이브러리는 matplotlb입니다. 역사가 깊고 좋지만 학습장벽이 조금 높은 편입니다. matplotlib의 사용법을 pdf로 예쁘게…

골 프로그래밍은 제목만 봐서는 직감적으로 알기 어려울 수 있습니다.최대한 목표에 가깜게 하는 조건을 찾아주는 선형최적화 방법입니다.원래는 프로그래밍이나…

광고 캠페인을 운영하다보면 비슷한 또는 동일한 캠페인인데 매체 또는 DSP업체 성과가 다음과 같이 다른 경우가 있습니다. CTR은…

요약 XGboost는 기계학습에서 사용하는 결정 트리(Decision Tree)라는 계열의 알고리즘 중 하나입니다. 중요한 특징으로는 분산 컴퓨팅으로 기계학습 모델을…

LightGBM은 결정 트리(Decision Tree) 계열의 알고리즘 중에서는 현재까지의 가장 좋은 알고리즘입니다. 그렇다고 해서 이 알고리즘이 xgboost나 gbdt에…

Python 패키지 중에는 설치할 때 C++ 작성된 코어 모듈을 컴파일해서 설치하는 것들이 종종있습니다. 이런 것을 설치하려면 C++…

엠에이비, 멀리암드밴딧이라고 부릅니다. “팔 여러 개 달린 산적” “Multi Armed Bandit”은 슬롯머신의 별명입니다. 이름처럼 “어떤 슬롯 머신의…

카카오(옜날 다음)에서 운영하는 블로그 플랫폼 티스토리에는 간단한 카테고리가 체계가 있습니다. 이 카테고리 체계는 블로거별로 설정을 하게 되어…

Python 패키지 중에는 설치할 때 C/C++ 소스를 빌드해서 설치하는 것들이 있는데 이런 패키지들은 Windows에서 설치할 때 잘…

이 에러는 셀레니엄(Selenium)에서 나는 에러입니다. 셀레니엄이 확실하게 종료되고 있는데 명령을 준 경우입니다. 셀레니엄을 quit한 후에 확실하게 몇초…

이 에러는 Python2나 구버전의 Python에서 StringsIo를 truncate할 때 발생하는 오류입니다. BytesIO와 StringsIo는 구버전에서는 포지셔 이동없이 truncate가 가능했습니다….

Rstudio는 R언어 개발툴 이름이며 제작사의 이름이기도 합니다. Rstudio에는 R언어의 고수들이 모여 있는 많은 데이터과학자 겸 개발자들로 구성된…

Ubuntu 22.04에 Jenkins를 설치하면 실행이 잘 안됩니다. 우분투 22.04는 최신 LTS 버전이라서 정말 쉽게 되야 할텐데 이상하죠?…

페이스북, 인스타그램은 메타의 소유입니다. 메타는 페이스북이 회사명을 바꾼것이구요. 메타가 최근 자사의 소셜플랫폼에서 사용자에게 정보제공동의 서명을 받고 있습니다….

npm run start를 했을 때 나올 수 있는 에러입니다. 해결 방법은 npm으로 모듈을 설치할 때 옵션을 주고…

영문처리만 지원하는 소프트웨어에서 폰트를 사용하기 위해서는 TTF 파일 또는 OTF 파일의 영문 이름을 알아야 하는 경우가 있습니다….

온라인 광고 기법 중에 리타겟팅(ReTargeting)이라는 것이 있습니다. 움직이는 타겟을 따라다닌다는 말인데 여기서 타겟은 인터넷 사용자를 말합니다. 자신이…

docker build를 하던 중에 이런 오류가 날 때가 있다. 서버가 방화벽 안쪽에 있고 외부 네트워크로 나가기 위해서는…

Ubuntu에서 패키지를 설치하다보면 패키지를 받아야 할 레파지토리를 추가해줘야 하는다 그때 add-apt-repository를 사용합니다. 그런데 제목과 같이 에러가 발생하는…

Aerospike는 추가, 삭제가 빠른 SSD기반의 대용량 데이터를 처리할 수 있는 NoSQL입니다. Schemaless(스키마 없는) NoSQL이라고 하지만 Schema의 변경이…

ElasticSearch는 RDMS가 아닙니다. DB가 아닙니다. 넓은 의미로는 데이터베이스라고 할 수는 있습니다. 데이터를 넣고 분석하고 삭제하는 등의 관리를…

제목 그대로입니다. UDP는 TCP와 달리 커넥션(connection)을 맞는 방식이 아니기 때문에 바로 지금 데이터를 보내는 호스트들이 어떤 것인지…

젠킨스 플러그인 업데이트 도중에 다음과 같이 에러가 발생할 때 해결하는 방법이다. 플러그인 업데이트 주소를 아래와 같이 지정해준다.

우분투에서 apt로 레파지토리를 등록하고 설치를 할 때 이런 에러가 발생할 때가 있다. 특히 Jenkins 키 등록을 못한…

한글 자모분리를 하는 것은 오타처리, 스팸 감지, 욕설, 성적 표현을 주는 키워드 감지 같은 것을 하기 위해서…

우분투에 Mecab(은전한닢) 형태소 분석기를 설치하는 방법입니다. Mecab 메카브 간략 설명 Mecab를 간단히 설명하면 Mecab은 C++로 만든 일본어…

우분투에서 패키지를 설치하다가 의존성이 깨지거나 하게 되면 그 뒤로 apt를 실행할 때 마다 에러가 발생합니다. 여간해서는 해결이…

젠킨스로 git repository를 polling해서 코드가 푸시되었는지 확인한 후에 자동 빌드하는 프로세스를 만들면 로그에 이런 에러가 나면서 실패하는…

젠킨스를 설치하는데 지런 에러가 날 수 있습니다. 에러는 이렇습니다. certification을 재설치해줘야 해결이 됩니다.

2022년 최신판입니다. 늘 똑같은데 최근에 설치하는 방법이 좀 바뀌었군요. 우분투 리눅스에 R을 설치하는 법은 거의 바뀌지 않기…

우분투 18.04에 자바11 설치하는 방법입니다. 18.04가 이제는 구버전이기도 하고 Java가 너무 구버전이 설치되어 있어서 업그레이드가 필요할 때가…

즉 131072개의 컬럼까지만 읽을 수 있다는 것입니다. CSV의 컬럼이 131072개 이상이 있다는 것은 특이한 경우이긴 하지만 차원이…

셀스크립트로 시작날짜부터 끝날짜까지 모든 날짜를 출력하는 코드입니다. 이런게 왜 필요할까 싶겠지만 생각보다 꽤 많이 필요하고 알아두면 편할…

CUDA_ERROR_OUT_OF_MEMORY 에러 Tensorflow 작업을 하다보면 이런 에러가 보일 때가 있습니다. 보통 Jupyter notebook을 사용하는 서버 환경에 이런…

데이터과학을 하려면 선형대수를 꼭 배워야할까? 데이터과학, 기계학습, 데이터마이닝, 인공지능, 통계 등에 항상 따라붙는 수학이 선형대수학입니다. 이와 관련된…

Python으로 특수기호 제거하는 예제입니다. 자연어처리, 크롤한 데이터 정제 등을 할 때 특수문자를 제거하거나 클린징을 해야 할 때…

로컬에 있는 파일과 모델, 데이터 등을 리모트의 어딘가로 싱크하는 것은 데이터사이언스 작업을 하면서 빈번하게 있는 일입니다. 복잡한…

Faiss는 Facebook Lab에서 만든 벡터 검색 엔진입니다. Faiss는 벡터 갬색 엔진이고 유사도 검색을 하거나 추천, 기계학습로 만든…

R언어로 스타벅스 매장 데이터를 크롤해서 분석하는 간단한 예제 스크립트입니다. 전체 코드는 글 아래 쪽에 있습니다. 코드 설명…

git pull을 하다 보면 다음과 같은 에러가 나올 때가 있습니다. 이 에러는 로컬의 브랜치와 리모트의 브랜치를 서로…