[카테고리:] 미분류

Database CTE (Common Table Expression)

SQL에는 쿼리를 실행할 때 그 순간만 사용할 테이블을 잠깐 만들어서 사용할 수 있습니다. 이때 JOIN절에서 임시 테이블을…

Continue Reading Database CTE (Common Table Expression)

Chatbot개발을 위한 KoAlpaca

Alpaca는 Facebook에서 공개한 LLama 모델을 스탠포드에서 개량한 것입니다. Alpaca에 한국어 학습데이터를 추가한 것이 KoAlpaca입니다. GPT API가 과금…

Continue Reading Chatbot개발을 위한 KoAlpaca

Bigquery를 이용한 시퀀스(Sequence)데이터 처리 방법

시퀀스 데이터 프로세싱은 다음과 같은 문제가 있습니다. 기억해야 할 것 예제 준비중

Continue Reading Bigquery를 이용한 시퀀스(Sequence)데이터 처리 방법

기계학습 경진대회에서 가장 많이 사용하는 도구들

잘 알려진 것이지만 정리해보면 이렇습니다.

Continue Reading 기계학습 경진대회에서 가장 많이 사용하는 도구들

대학 전공서적, 기술서적 무료 다운로드 사이트 및 기타

LibGen(Library Gernesis)이라는 사이트에서 받으면 됩니다. 러시아 사이트인 것 같습니다. https://libgen.is/ Z=library도 유명합니다. https://z-lib.is/ 논문 받는 곳은 다들…

Continue Reading 대학 전공서적, 기술서적 무료 다운로드 사이트 및 기타

PySpark lit 메쏘드

.lit()는 문자열을 컬럼으로 만들어주는 메쏘드입니다. 더 자세한 것은 아래의 블로그를 참고하세요. https://cosmosproject.tistory.com/291

Continue Reading PySpark lit 메쏘드

ls: cannot open directory .: Stale file handle

ls: cannot open directory .: Stale file handle Linux에서 파일 목록을 확인하다가 위와 같은 오류가 보일 때가…

Continue Reading ls: cannot open directory .: Stale file handle

Python으로 Click Prediction 모델 만들기

Click Prediction 모델 만들기 Click Prediction 모델은 사용자가 클릭할 가능성이 높은 광고를 예측하는 모델입니다. 광고뿐만 아니라 쇼핑몰의…

Continue Reading Python으로 Click Prediction 모델 만들기

매크로 평균(Macro-average)과 마이크로 평균(Micro-average)

머신 러닝 분야에서 평가 지표는 모델이 얼마나 잘 동작하는지를 측정하는 데 중요한 역할을 합니다. 이 중에서도 다중…

Continue Reading 매크로 평균(Macro-average)과 마이크로 평균(Micro-average)

round, ceil, floor, truncate의 차이

숫자를 다룰 때 가장 많이 사용하는 함수 중 하나는 “floor”, “truncate”, “ceil”, “round”입니다. 이 함수들은 수학적인 개념을…

Continue Reading round, ceil, floor, truncate의 차이

파이썬 커맨드라인 어플리케이션 패키지 – Python command-line packages

파이썬 커맨드라인 어플리케이션 패키지 커맨드라인 어플리케이션은 콘솔 어플리케이션 이라고도 합니다. 커맨드라인 어플리케이션은 텍스트 인터페이스로 사용하도록 설계된 컴퓨터 프로그램입니다. 쉘 이 그…

Continue Reading 파이썬 커맨드라인 어플리케이션 패키지 – Python command-line packages

아호코라식 Aho-corasick

Ahocorasick은 1975년에 Alfred V. Aho와 Margaret J. Corasick이 고안한 문자열 검색 알고리즘입니다. 입력 텍스트 내에서 유한한 문자열 집합(사전)의…

Continue Reading 아호코라식 Aho-corasick

Python FastAPI

Python의 FastAPI에 대한 소개입니다. FastAPI는 Python 3.6 이상으로 API를 빌드하기 위한 최신 고성능 웹 프레임워크입니다. FastAPI는 파이썬 표준…

Continue Reading Python FastAPI

SQL의 DDL, DML, DCL

SQL의 DDL, DML, DCL에 대한 간략한 설명입니다. SQL은 Structured Query Language의 약자로, 데이터베이스에서 데이터를 정의하고 조작하고 제어하는…

Continue Reading SQL의 DDL, DML, DCL

Python MySQL warning – Data truncated for column

해결책

Continue Reading Python MySQL warning – Data truncated for column

비용 이상감지 – Cost Anomaly Detection

비용이상감지 비용 이상감지는 이상감지를 비용과 밀접한 관련이 있는 데이터에 하는 것입니다. 이상감지는 시간에 따른 흐름과 추세의 패턴이…

Continue Reading 비용 이상감지 – Cost Anomaly Detection

BigQuery: too many subqueries or query is too complex

BigQuery에서 with 구문을 많이 사용하거나 Sub query, Inline view를 과도하게 사용하면 나오는 오류입니다. 해결 방법 쿼리를 분할하거나…

Continue Reading BigQuery: too many subqueries or query is too complex

이상감지 – 랜덤컷포레스트 러스트 소스 Random Cut Forest Rust

랜덤컷포레스트 (Random Cut Forest)는 AWS에서 만든 이상감지모델입니다. 감지가 매우 정확한 편이지만 처리 속도가 매우 느린 알고리즘입니다. 랜덤컷포레스트의…

Continue Reading 이상감지 – 랜덤컷포레스트 러스트 소스 Random Cut Forest Rust

ChatGPT

ChatGPT ChatGPT(챗GPT)는 채팅(대화)를 위해 만든 인공지능 소프트웨어입니다. 채팅을 위해 만든 GPT라는 뜻인데 GPT 모델은 인공지능 모델을 한…

Continue Reading ChatGPT

BigQuery How to extract domain from URL

If you want extract a domain from provided URL strings in BigQuery. It’s very easy. You can…

Continue Reading BigQuery How to extract domain from URL

MISCONF Redis is configured to save RDB snapshots, but it’s currently unable to persist to disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.

다음과 같이 해결할 수도 있고 다음과 같이 해결할 수도 있다

Continue Reading MISCONF Redis is configured to save RDB snapshots, but it’s currently unable to persist to disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.

시계열데이터를 예측할 때 선형회귀(Linear Regression)를 사용하지 않는 이유

시계열 데이터 예측할 때 선형회귀를 안쓰는 이유? 시계열 데이터는 시간의 순서대로 측정된 데이터이기 때문에 시간에 따른 순서가…

Continue Reading 시계열데이터를 예측할 때 선형회귀(Linear Regression)를 사용하지 않는 이유

How to get current timezone on MySQL database

Continue Reading How to get current timezone on MySQL database

MySQL 데이터베이스 타임존 확인 하는 법

타임존 처리는 골치아픈 문제입니다. MySQL, MariaDB에서 현재 시스템의 타임존을 확인하는 방법입니다.

Continue Reading MySQL 데이터베이스 타임존 확인 하는 법

신기한 Copilot 사용예 – 날짜목록 자동생성

오늘이 공휴일인지 아닌지 확인하는 간단한 코드를 Python으로 작성하는 것인데 이 예제에서 신기한 것은 Copilot이 주석의 내용을 보고…

Continue Reading 신기한 Copilot 사용예 – 날짜목록 자동생성

무료 책 – Introduction to Data Science – Data Analysis and Prediction Algorithms with R

데이터과학과 R을 배우기에 매우 좋은 온라인 무료 책입니다. 인쇄본은 유료입니다. 영어이지만 해석이 어렵지 않습니다. 하버드대하교에서 제공하는 것으로…

Continue Reading 무료 책 – Introduction to Data Science – Data Analysis and Prediction Algorithms with R

딥러닝 초보를 위한 쉬운 설명 – Deep learning

딥러닝 (Deep Learning)의 쉬운 이해 딥러닝은 “깊은 학습”이라는 뜻이고 “심화학습”이라고 번역합니다만 원래 뜻과는 잘 안맞고 멋이 없어서…

Continue Reading 딥러닝 초보를 위한 쉬운 설명 – Deep learning

Selenium Grid 셀레니엄 그리드

셀레니엄(Selenium)은 웹서비스를 테스트하기 위해 사용하는 오래된 자동화도구입니다. 웹서비스를 테스트하기 위해서는 웹브라우저를 사람대신 작동하게 해서 접속하고 클릭하고 페이지를…

Continue Reading Selenium Grid 셀레니엄 그리드

iframe안에 element를 querySelector로 선택하기

Javascript로 iframe안에 있는 element를 선택하려면 다음과 같이 하면 됩니다.

Continue Reading iframe안에 element를 querySelector로 선택하기

ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’ (most likely due to a circular import) (/usr/lib/python3/dist-packages/psutil/init.py)

다음과 같은 에러가 날 때가 있습니다. psutil을 다시 설치해주면 되는데 아마도 이미 설치되어 있다고 나올 것입니다. 다음과…

Continue Reading ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’ (most likely due to a circular import) (/usr/lib/python3/dist-packages/psutil/init.py)

단문 텍스트에 쓰기 적합한 형태소분석기

Continue Reading 단문 텍스트에 쓰기 적합한 형태소분석기

모바일 게임에서 모바일 게임 광고가 많이 보이는 이유

게임 광고에 대한 분석을 하다 보면 종종 재밌는 사실을 알 수 있습니다. 그 중에 재밌는 것은 게임…

Continue Reading 모바일 게임에서 모바일 게임 광고가 많이 보이는 이유

CDP (Customer Data Platform) 고객 데이터 플랫폼은 무엇인가?

CDP의 정의 CDP는 디지털마케팅과 관련된 고객 데이터 관리 및 분석 플랫폼입니다. 여기서 말하는 고객 데이터는 주로 고객의…

Continue Reading CDP (Customer Data Platform) 고객 데이터 플랫폼은 무엇인가?

마크다운에 이미지 추가하기 add images in Markdown

링크 구문 앞에 느낌표!를 붙여주면 할 수 있습니다.하지만 크기 조정을 하려면 html태그를 직접 사용해야 합니다.

Continue Reading 마크다운에 이미지 추가하기 add images in Markdown

차트와 그래프 시각화 가이드 Guided Visualizations for Charts and Graphs

인포그래픽스 – 차트와 그래프 시각화 가이드 출처: https://lnkd.in/e_AKDn9Y

Continue Reading 차트와 그래프 시각화 가이드 Guided Visualizations for Charts and Graphs

fatal error: gnutls/gnutls.h: No such file or directory

PyCuRL을 설치하다보면 이런 에러가 나올때가 있습니다. src/pycurl.h:206:13: fatal error: gnutls/gnutls.h: No such file or directory206 | #…

Continue Reading fatal error: gnutls/gnutls.h: No such file or directory

은전한닢 MeCab Python 설치하기

메카브(MeCab)는 일본어 형태소분석기입니다. 은전한닢은 메카브를 한국어용으로 포팅한 것이고 Mecab-Ko 라고도 부릅니다. 은전한닢으로 텍스트마이닝, 자연어처리를 하거나 은전한닢에 의존성이…

Continue Reading 은전한닢 MeCab Python 설치하기

시간대에 따른 온라인 고객의 구매패턴 분석

시계열로 고객의 구매패턴을 확인하려면 많은 드릴다운과 데이터 탐색이 필요합니다. 하지만 간단한 특징으로 몇 가지 중요한 인사이트를 얻을…

Continue Reading 시간대에 따른 온라인 고객의 구매패턴 분석

Ubuntu microk8s와 fluentd 설치하기

fluentd는 데이터 인제스쳔(Data ingestion) 레이어를 구성하는데 매우 유용한 도구입니다. fluentd를 microk8s로 구성하는 방법입니다. 우분투(Ubuntu)에 microk8s 설치하기 microk8s는…

Continue Reading Ubuntu microk8s와 fluentd 설치하기

A/B 테스트를 하고도 잘못된 결정을 하는 이유

A/B 테스트를 한다고 하지만 정작 테스트 결과를 왜곡해서 해석하거나 자기가 해석하고 싶은대로 해석하는 경우가 많습니다. 오늘은 온라인…

Continue Reading A/B 테스트를 하고도 잘못된 결정을 하는 이유

한국 회사들이 데이터 기반 의사결정에 실패하는 이유

데이터 기반으로 의사결정을 하는 것은 이미 전세계적으로 당연히 해야 할 것으로 다를 인지하고 있습니다. 하지만 많은 한국회사들은…

Continue Reading 한국 회사들이 데이터 기반 의사결정에 실패하는 이유

R에서 Hashmap 사용하기

대부분의 컴퓨터언어에는 키로 값을 꺼내올 수 있는 자료구조인 hashmap을 제공합니다. Python에는 자료구조 딕셔너리 dictionary를 지원합니다. R에도 env라는…

Continue Reading R에서 Hashmap 사용하기

Confusion Matrix 혼동 행렬

Confusion Matrix(컨퓨전 매트릭스)는 한국어로 혼동행렬이라고 부릅니다. 혼동행렬이라는 단어가 어색해서 흔히 영어 발음 그대로 컨퓨전 매트릭스라고 부릅니다. Confusion…

Continue Reading Confusion Matrix 혼동 행렬

RFM 분석, RFM Analysis, 리테일 고객 분석하기

RFM에 대해서 간단하게 정리한 것을 올립니다. 더 복잡한 분석기법이나 모델링 방법은 다른 포스트에 올려보겠습니다. RFM 정의 RFM은…

Continue Reading RFM 분석, RFM Analysis, 리테일 고객 분석하기

글을 쓰면 2D 일러스트레이션을 생성해 주는 – AI Stable Diffusion Demo

허핑페이스에 공개되었다고 합니다. 제목대로 영어로 생성할 이미지에 대한 설명을 적으면 생성을 해줍니다. 이런 종류의 AI는 이미 이전에도…

Continue Reading 글을 쓰면 2D 일러스트레이션을 생성해 주는 – AI Stable Diffusion Demo

Python MySQL 쿼리 결과를 dict로 가져오기 – Get dictionary from query result of MySQL

Python에서 MySQL의 DB결과를 가져올 때 cursor.fetchall()를 사용하면 MySQL결과는 보통 리스트(list) 타입으로 가져오게 되서 쿼리에서 선택한 컬럼의 번호를…

Continue Reading Python MySQL 쿼리 결과를 dict로 가져오기 – Get dictionary from query result of MySQL

LibLinear – 멀티코어 SVM 라이브러리 multicore SVM library

sVM 전통적으로 여전히 로버스트한 분류 문제를 해결하는데 쓰는 알고리즘입니다. 하지만 SVM의 문제점은 빌드된 모델이 왜 그렇게 만들어졌는지…

Continue Reading LibLinear – 멀티코어 SVM 라이브러리 multicore SVM library

기계학습 치트 시트 – Machine Learning Cheat Sheet

스탠포드에서 제공하는 기계학습 치트시트입니다. 요약 사전 같은 것입니다. 구성이 잘되어 있습니다. https://github.com/afshinea/stanford-cs-229-machine-learning

Continue Reading 기계학습 치트 시트 – Machine Learning Cheat Sheet

간단한 기여도 계산 함수

기여도 기여도란 어떤 성과지표에서 어떤 부분집합이 전체의 성과지표에 얼마나 형향을 주었는지 계산하는 것입니다. 리프트(lift)라고도 합니다. 리프트는 알고리즘이나…

Continue Reading 간단한 기여도 계산 함수

matplotlib cheat sheet

Python에서가장 많이 쓰는 시각화 라이브러리는 matplotlb입니다. 역사가 깊고 좋지만 학습장벽이 조금 높은 편입니다. matplotlib의 사용법을 pdf로 예쁘게…

Continue Reading matplotlib cheat sheet

골 프로그래밍 – Goal Programming with Excel

골 프로그래밍은 제목만 봐서는 직감적으로 알기 어려울 수 있습니다.최대한 목표에 가깜게 하는 조건을 찾아주는 선형최적화 방법입니다.원래는 프로그래밍이나…

Continue Reading 골 프로그래밍 – Goal Programming with Excel

CTR이 높고 CVR이 낮은 것과 CTR이 낮고 CVR이 높은 것 중 어느 것이 좋은가?

광고 캠페인을 운영하다보면 비슷한 또는 동일한 캠페인인데 매체 또는 DSP업체 성과가 다음과 같이 다른 경우가 있습니다. CTR은…

Continue Reading CTR이 높고 CVR이 낮은 것과 CTR이 낮고 CVR이 높은 것 중 어느 것이 좋은가?

쉽게 이해하는 XGboost

요약 XGboost는 기계학습에서 사용하는 결정 트리(Decision Tree)라는 계열의 알고리즘 중 하나입니다. 중요한 특징으로는 분산 컴퓨팅으로 기계학습 모델을…

Continue Reading 쉽게 이해하는 XGboost

LightGBM

LightGBM은 결정 트리(Decision Tree) 계열의 알고리즘 중에서는 현재까지의 가장 좋은 알고리즘입니다. 그렇다고 해서 이 알고리즘이 xgboost나 gbdt에…

Continue Reading LightGBM

메타 (페이스북, 인스타그램)이 정보제공동의 서명을 받는 이유에 대해서

페이스북, 인스타그램은 메타의 소유입니다. 메타는 페이스북이 회사명을 바꾼것이구요. 메타가 최근 자사의 소셜플랫폼에서 사용자에게 정보제공동의 서명을 받고 있습니다….

Continue Reading 메타 (페이스북, 인스타그램)이 정보제공동의 서명을 받는 이유에 대해서

npm WARN This failure might be due to the use of legacy binary “node”

npm run start를 했을 때 나올 수 있는 에러입니다. 해결 방법은 npm으로 모듈을 설치할 때 옵션을 주고…

Continue Reading npm WARN This failure might be due to the use of legacy binary “node”

윈도우에서 폰트의 영문 이름 알아내기 – Finding the name of the English font in a TTF file

영문처리만 지원하는 소프트웨어에서 폰트를 사용하기 위해서는 TTF 파일 또는 OTF 파일의 영문 이름을 알아야 하는 경우가 있습니다….

Continue Reading 윈도우에서 폰트의 영문 이름 알아내기 – Finding the name of the English font in a TTF file

리타겟팅(Retargeting) 나를 계속 따라다니는 광고

온라인 광고 기법 중에 리타겟팅(ReTargeting)이라는 것이 있습니다. 움직이는 타겟을 따라다닌다는 말인데 여기서 타겟은 인터넷 사용자를 말합니다. 자신이…

Continue Reading 리타겟팅(Retargeting) 나를 계속 따라다니는 광고

Get “https://registry-1.docker.io/v2/”: proxyconnect tcp: tls: first record does not look like a TLS handshake

docker build를 하던 중에 이런 오류가 날 때가 있다. 서버가 방화벽 안쪽에 있고 외부 네트워크로 나가기 위해서는…

Continue Reading Get “https://registry-1.docker.io/v2/”: proxyconnect tcp: tls: first record does not look like a TLS handshake

sudo: add-apt-repository: command not found

Ubuntu에서 패키지를 설치하다보면 패키지를 받아야 할 레파지토리를 추가해줘야 하는다 그때 add-apt-repository를 사용합니다. 그런데 제목과 같이 에러가 발생하는…

Continue Reading sudo: add-apt-repository: command not found

Ubuntu에서 Aerospike 제거 방법

Aerospike는 추가, 삭제가 빠른 SSD기반의 대용량 데이터를 처리할 수 있는 NoSQL입니다. Schemaless(스키마 없는) NoSQL이라고 하지만 Schema의 변경이…

Continue Reading Ubuntu에서 Aerospike 제거 방법

Failure –
java.io.IOException: Downloaded file /var/lib/jenkins/plugins/workflow-support.jpi.tmp does not match expected SHA-1

젠킨스 플러그인 업데이트 도중에 다음과 같이 에러가 발생할 때 해결하는 방법이다. 플러그인 업데이트 주소를 아래와 같이 지정해준다.

Continue Reading Failure –
java.io.IOException: Downloaded file /var/lib/jenkins/plugins/workflow-support.jpi.tmp does not match expected SHA-1

The following signatures couldn’t be verified because the public key is not available: NO_PUBKEY xxxxxxxxxxxxxxxx

우분투에서 apt로 레파지토리를 등록하고 설치를 할 때 이런 에러가 발생할 때가 있다. 특히 Jenkins 키 등록을 못한…

Continue Reading The following signatures couldn’t be verified because the public key is not available: NO_PUBKEY xxxxxxxxxxxxxxxx

우분투에 Mecab 형태소분석기 설치 – Install Mecab in Ubuntu

우분투에 Mecab(은전한닢) 형태소 분석기를 설치하는 방법입니다. Mecab 메카브 간략 설명 Mecab를 간단히 설명하면 Mecab은 C++로 만든 일본어…

Continue Reading 우분투에 Mecab 형태소분석기 설치 – Install Mecab in Ubuntu

[Jenkins] Could not initialize class org.eclipse.jgit.internal.storage.file.FileSnapshot

젠킨스로 git repository를 polling해서 코드가 푸시되었는지 확인한 후에 자동 빌드하는 프로세스를 만들면 로그에 이런 에러가 나면서 실패하는…

Continue Reading [Jenkins] Could not initialize class org.eclipse.jgit.internal.storage.file.FileSnapshot

jenkins install Certificate verification failed: The certificate is NOT trusted. The certificate chain uses expired certificate. Could not handshake: Error in the certificate verification.

젠킨스를 설치하는데 지런 에러가 날 수 있습니다. 에러는 이렇습니다. certification을 재설치해줘야 해결이 됩니다.

Continue Reading jenkins install Certificate verification failed: The certificate is NOT trusted. The certificate chain uses expired certificate. Could not handshake: Error in the certificate verification.

우분투에서 R 설치하기

2022년 최신판입니다. 늘 똑같은데 최근에 설치하는 방법이 좀 바뀌었군요. 우분투 리눅스에 R을 설치하는 법은 거의 바뀌지 않기…

Continue Reading 우분투에서 R 설치하기

우분투 18.04에 자바11 설치하기 – Install Java 11 onto Ubuntu 18.04

우분투 18.04에 자바11 설치하는 방법입니다. 18.04가 이제는 구버전이기도 하고 Java가 너무 구버전이 설치되어 있어서 업그레이드가 필요할 때가…

Continue Reading 우분투 18.04에 자바11 설치하기 – Install Java 11 onto Ubuntu 18.04

파이썬으로 131072개 이상의 컬럼을 가진 CSV 읽기 – Python CSV – field large than field limit (131072) read csv

즉 131072개의 컬럼까지만 읽을 수 있다는 것입니다. CSV의 컬럼이 131072개 이상이 있다는 것은 특이한 경우이긴 하지만 차원이…

Continue Reading 파이썬으로 131072개 이상의 컬럼을 가진 CSV 읽기 – Python CSV – field large than field limit (131072) read csv

쉘스크립트 – 시작날짜와 끝날짜 사이의 모든 날짜출력

셀스크립트로 시작날짜부터 끝날짜까지 모든 날짜를 출력하는 코드입니다. 이런게 왜 필요할까 싶겠지만 생각보다 꽤 많이 필요하고 알아두면 편할…

Continue Reading 쉘스크립트 – 시작날짜와 끝날짜 사이의 모든 날짜출력

CUDA_ERROR_OUT_OF_MEMORY 에러

CUDA_ERROR_OUT_OF_MEMORY 에러 Tensorflow 작업을 하다보면 이런 에러가 보일 때가 있습니다. 보통 Jupyter notebook을 사용하는 서버 환경에 이런…

Continue Reading CUDA_ERROR_OUT_OF_MEMORY 에러

선형대수와 데이터과학

데이터과학을 하려면 선형대수를 꼭 배워야할까? 데이터과학, 기계학습, 데이터마이닝, 인공지능, 통계 등에 항상 따라붙는 수학이 선형대수학입니다. 이와 관련된…

Continue Reading 선형대수와 데이터과학

git 에러 – fatal: refusing to merge unrelated histories

git pull을 하다 보면 다음과 같은 에러가 나올 때가 있습니다. 이 에러는 로컬의 브랜치와 리모트의 브랜치를 서로…

Continue Reading git 에러 – fatal: refusing to merge unrelated histories

rsync 소스 디렉토리에 없는 파일을 목표 디렉토리에서 삭제하기

데이터를 처리하는 중에 moving windows와 같은 방식으로 데이터 파일을 관리하고 원격 서버에서 데이터를 보내거나 가져오는 일을 하는…

Continue Reading rsync 소스 디렉토리에 없는 파일을 목표 디렉토리에서 삭제하기

python 파일의 생성날짜 출력하기

데이터 파일이 생성된 날짜 또는 수정된 날짜를 알아내서 화면이나 웹페이지에 표시해주고 싶은 경우가 있습니다. Python에서 파일의 생성…

Continue Reading python 파일의 생성날짜 출력하기

쉘스크립트 시작 날짜 끝 날짜로 날짜 목록 만들기 / shell script – get date list with begin date and end date

bash shell script로 시작날짜와 끝날짜의 목록으로 날짜목록을 만드는 코드입니다. 여러 날짜에 대해서 일별로 일괄처리를 할 때 자주…

Continue Reading 쉘스크립트 시작 날짜 끝 날짜로 날짜 목록 만들기 / shell script – get date list with begin date and end date

git 오류 fatal: unable to connect to cache daemon: Permission denied

git pull 또는 push를 할 때 다음과 같은 오류가 나오는 경우가 있습니다. fatal: unable to connect to…

Continue Reading git 오류 fatal: unable to connect to cache daemon: Permission denied

Go언어 문자열에서 앞 또는 뒤 문자열 제거하기

Trim이라고 하는 것 그것입니다. 문자열에서 앞 또는 뒷쪽의 특정 문자열을 제거하는 코드입니다.

Continue Reading Go언어 문자열에서 앞 또는 뒤 문자열 제거하기

apt-get update failed because certificate verification failed because handshake failed on nodesource

apt install을 하는데 다음과 같은 에러가 나오는 경우가 있습니다. 위 에러는 우분투 리눅스에 설치된 certification에 문제가 생겼기…

Continue Reading apt-get update failed because certificate verification failed because handshake failed on nodesource

우분투(Ubuntu)에 Neovim + Copilot 설치

우분투 리눅스(Ubuntu)를 터미널로 접속해서 Copilot을 사용하려면 Neovim을 사용해야 합니다. 귀찮게 설치하지 않고 Copilot을 안쓰면 되겠지만 Copilot을 사용하면…

Continue Reading 우분투(Ubuntu)에 Neovim + Copilot 설치

JetBrains IDE에서 오류메세지 보는 단축키

젯브레인 툴(JetBrains IDE)에서 소스 코드에 빨간 밑줄이 쳐지면 오류가 있다는 표시입니다. 빨간 줄 위에 마우스를 올리고 조금…

Continue Reading JetBrains IDE에서 오류메세지 보는 단축키

MeCab 메카브 형태소 분석기

은전한닢 메카브 형태소 분석기 MeCab 형태소분석기에 대해서 간단히 설명하려고 합니다. MeCab은 이제 우리나라에서 상당히 유명한 형태소 분석기가…

Continue Reading MeCab 메카브 형태소 분석기

ElasticSearch7 형태소분석기

은전한닢을 ElasticSearch7에서 쓸 수 있게 해놓은 것이 있습니다. https://github.com/likejazz/seunjeon-elasticsearch-7

Continue Reading ElasticSearch7 형태소분석기

Go언어 cron 처럼 스케줄링 하기

cron과 같은 유형의 스케줄러는 데이터 처리를 할 때 반드시 필요합니다. 데이터과학자들은 주로 젠킨스(Jenkins)나 airflow를 사용하겠지만 Python이나 Go로…

Continue Reading Go언어 cron 처럼 스케줄링 하기

sudo에서 http_proxy 환경변수 적용받기su

일반 계정에서 http_proxy 환경변수를 설정해서 작업을 하다가 sudo를 사용해서 root 권한을 사용할 때 http_proxy 설정이 적용되지 않아…

Continue Reading sudo에서 http_proxy 환경변수 적용받기su

혼동행렬 Confusion Matrix

기계학습 모델 평가지표 기계학습으로 생성한 분류 모델, 예측 모델에서 빠지지 않고 나오는 혼동 행렬 (confusion matrix) 입니다….

Continue Reading 혼동행렬 Confusion Matrix

Go언어 csv.gz 한줄씩 읽어오기

Go언어로 CSV파일을 한줄씩 읽어오는 방법입니다. 파일을 메모리에 올려서 한 번에 처리하면 파일이 큰 경우에는 메모리를 다 쓰기…

Continue Reading Go언어 csv.gz 한줄씩 읽어오기

Nvidia의 각종 AI 데모 사이트 – Nvidia AI demo site

Nvidia의 AI 데모를 볼 수 있는 사이트입니다. 굉장히 재밌는 것들이 많습니다. 사이트주소: https://www.nvidia.com/en-us/research/ai-demos/ NVIDIA GAUGAN2 텍스트를 입력받아서…

Continue Reading Nvidia의 각종 AI 데모 사이트 – Nvidia AI demo site

Go언어 csv.gz 파일 만들기 – Go writing of csv.gz file

Go언어로 csv.gz 파일을 만드는 코드입니다. csv는 단순한 텍스트 파일이기 때문에 공간 절약을 위해서 요즘은 데이터 플랫폼들이 csv를…

Continue Reading Go언어 csv.gz 파일 만들기 – Go writing of csv.gz file

Go언어 CSV 파일 쓰기 – Golang writing a csv file

Go언어로 CSV 파일을 만드는 코드입니다. 데이터 과학 업무를 하다보면 데이터처리를 할 때 CSV 파일을 빈번하게 읽거나 만드는…

Continue Reading Go언어 CSV 파일 쓰기 – Golang writing a csv file

Go언어 FastText 모델 로딩해서 예측 수행하기 – Golang do prediction with built model

Facebook FastText로 만든 분류모델 (supervised model)을 로딩해서 prediction하는 간단한 코드입니다. FastText 모델은 Python으로도 로딩해서 사용할 수 있습니다….

Continue Reading Go언어 FastText 모델 로딩해서 예측 수행하기 – Golang do prediction with built model

Go언어 csv.gz 읽기

csv파일은 gzip 압축이 되는 경우가 많습니다. 압축을 따로 풀지않고 gz 압축된 csv 파일을 직접 처리하는 것이 더…

Continue Reading Go언어 csv.gz 읽기

Go언어 문자열 치환

Go언어 문자열 바꾸는 방법입니다. Strings.Replace를 사용하면 됩니다.

Continue Reading Go언어 문자열 치환

윈도우에서 Go언어 개발할 때 Avast 경고메세지 없애기

윈도우에서 Go언어로 개발할 때 Avast를 백신으로 사용하고 있다면 잦은 실행파일을 빌드할 때 마다 검사 경고가뜹니다. 디버깅이나 실행버튼을…

Continue Reading 윈도우에서 Go언어 개발할 때 Avast 경고메세지 없애기

쉘스크립트 IF문 – shell script if elif else

쉘스크립트(shell script)로도 If elif 를 사용할 수 있습니다. 가끔 쓰기 때문에 기억이 잘 나지 않아서 말이지요. 그리고…

Continue Reading 쉘스크립트 IF문 – shell script if elif else

리눅스 FQDN 호스트이름 알아내기 – Get FQDN hostname in Linux

리눅스에서 fullname, FQDN 이름을 알아내는 방법입니다. 여러가지 방법이 있지만 hostname 명령어를 사용하는 것이 가장 쉽습니다. 주의할 것은…

Continue Reading 리눅스 FQDN 호스트이름 알아내기 – Get FQDN hostname in Linux

cURL curl: (77) error setting certificate verify locations 에러

리눅스 curl 코맨드로 https url을 당겨올 때 에러가 날때가 있습니다. 원인은 /etc/pki/tls/certs/ca-bundle.crt 가 없기 때문입니다. 다음과 같이…

Continue Reading cURL curl: (77) error setting certificate verify locations 에러

R을 연동할 수 있는 GUI 통계툴 Jamovi

자모비 Jamovi 라는 도구를 알게 되서 소개 드립니다. R과 통합할 수 있다고 되어 있고 R구문을 지원한다고 나와있습니다….

Continue Reading R을 연동할 수 있는 GUI 통계툴 Jamovi

R언어 10개의 유명한 인용문

R언어의 유명한 인용문 10개에 대한 유튜브 동영상입니다. 재미삼아 보세요.

Continue Reading R언어 10개의 유명한 인용문

R언어 “Happy New Year 2022″를 출력하는 재밌는 코드

“Happy New Year 2022″를 출력하는 재밌는 코드입니다. 코드를 실행해 보세요.

Continue Reading R언어 “Happy New Year 2022″를 출력하는 재밌는 코드