[카테고리:] 미분류

우분투에 Mecab(은전한닢) 형태소 분석기를 설치하는 방법입니다. Mecab 메카브 간략 설명 Mecab를 간단히 설명하면 Mecab은 C++로 만든 일본어…

젠킨스로 git repository를 polling해서 코드가 푸시되었는지 확인한 후에 자동 빌드하는 프로세스를 만들면 로그에 이런 에러가 나면서 실패하는…

젠킨스를 설치하는데 지런 에러가 날 수 있습니다. 에러는 이렇습니다. certification을 재설치해줘야 해결이 됩니다.

2022년 최신판입니다. 늘 똑같은데 최근에 설치하는 방법이 좀 바뀌었군요. 우분투 리눅스에 R을 설치하는 법은 거의 바뀌지 않기…

우분투 18.04에 자바11 설치하는 방법입니다. 18.04가 이제는 구버전이기도 하고 Java가 너무 구버전이 설치되어 있어서 업그레이드가 필요할 때가…

즉 131072개의 컬럼까지만 읽을 수 있다는 것입니다. CSV의 컬럼이 131072개 이상이 있다는 것은 특이한 경우이긴 하지만 차원이…

셀스크립트로 시작날짜부터 끝날짜까지 모든 날짜를 출력하는 코드입니다. 이런게 왜 필요할까 싶겠지만 생각보다 꽤 많이 필요하고 알아두면 편할…

CUDA_ERROR_OUT_OF_MEMORY 에러 Tensorflow 작업을 하다보면 이런 에러가 보일 때가 있습니다. 보통 Jupyter notebook을 사용하는 서버 환경에 이런…

데이터과학을 하려면 선형대수를 꼭 배워야할까? 데이터과학, 기계학습, 데이터마이닝, 인공지능, 통계 등에 항상 따라붙는 수학이 선형대수학입니다. 이와 관련된…

git pull을 하다 보면 다음과 같은 에러가 나올 때가 있습니다. 이 에러는 로컬의 브랜치와 리모트의 브랜치를 서로…

데이터를 처리하는 중에 moving windows와 같은 방식으로 데이터 파일을 관리하고 원격 서버에서 데이터를 보내거나 가져오는 일을 하는…

데이터 파일이 생성된 날짜 또는 수정된 날짜를 알아내서 화면이나 웹페이지에 표시해주고 싶은 경우가 있습니다. Python에서 파일의 생성…

bash shell script로 시작날짜와 끝날짜의 목록으로 날짜목록을 만드는 코드입니다. 여러 날짜에 대해서 일별로 일괄처리를 할 때 자주…

git pull 또는 push를 할 때 다음과 같은 오류가 나오는 경우가 있습니다. fatal: unable to connect to…

Trim이라고 하는 그것입니다. 문자열에서 앞 또는 뒷쪽의 특정 문자열을 제거하는 코드입니다.

apt install을 하는데 다음과 같은 에러가 나오는 경우가 있습니다. 위 에러는 우분투 리눅스에 설치된 certification에 문제가 생겼기…

우분투 리눅스(Ubuntu)를 터미널로 접속해서 Copilot을 사용하려면 Neovim을 사용해야 합니다. 귀찮게 설치하지 않고 Copilot을 안쓰면 되겠지만 Copilot을 사용하면…

젯브레인 툴(JetBrains IDE)에서 소스 코드에 빨간 밑줄이 쳐지면 오류가 있다는 표시입니다. 빨간 줄 위에 마우스를 올리고 조금…

은전한닢 메카브 형태소 분석기 MeCab 형태소분석기에 대해서 간단히 설명하려고 합니다. MeCab은 이제 우리나라에서 상당히 유명한 형태소 분석기가…

은전한닢을 ElasticSearch7에서 쓸 수 있게 해놓은 것이 있습니다. https://github.com/likejazz/seunjeon-elasticsearch-7

cron과 같은 유형의 스케줄러는 데이터 처리를 할 때 반드시 필요합니다. 데이터과학자들은 주로 젠킨스(Jenkins)나 airflow를 사용하겠지만 Python이나 Go로…

일반 계정에서 http_proxy 환경변수를 설정해서 작업을 하다가 sudo를 사용해서 root 권한을 사용할 때 http_proxy 설정이 적용되지 않아…

기계학습 모델 평가지표 기계학습으로 생성한 분류 모델, 예측 모델에서 빠지지 않고 나오는 혼동 행렬 (confusion matrix) 입니다….

Go언어로 CSV파일을 한줄씩 읽어오는 방법입니다. 파일을 메모리에 올려서 한 번에 처리하면 파일이 큰 경우에는 메모리를 다 쓰기…

Nvidia의 AI 데모를 볼 수 있는 사이트입니다. 굉장히 재밌는 것들이 많습니다. 사이트주소: https://www.nvidia.com/en-us/research/ai-demos/ NVIDIA GAUGAN2 텍스트를 입력받아서…

Go언어로 csv.gz 파일을 만드는 코드입니다. csv는 단순한 텍스트 파일이기 때문에 공간 절약을 위해서 요즘은 데이터 플랫폼들이 csv를…

Go언어로 CSV 파일을 만드는 코드입니다. 데이터 과학 업무를 하다보면 데이터처리를 할 때 CSV 파일을 빈번하게 읽거나 만드는…

Facebook FastText로 만든 분류모델 (supervised model)을 로딩해서 prediction하는 간단한 코드입니다. FastText 모델은 Python으로도 로딩해서 사용할 수 있습니다….

csv파일은 gzip 압축이 되는 경우가 많습니다. 압축을 따로 풀지않고 gz 압축된 csv 파일을 직접 처리하는 것이 더…

Go언어 문자열 바꾸는 방법입니다. Strings.Replace를 사용하면 됩니다.

윈도우에서 Go언어로 개발할 때 Avast를 백신으로 사용하고 있다면 잦은 실행파일을 빌드할 때 마다 검사 경고가뜹니다. 디버깅이나 실행버튼을…

쉘스크립트(shell script)로도 If elif 를 사용할 수 있습니다. 가끔 쓰기 때문에 기억이 잘 나지 않아서 말이지요. 그리고…

리눅스에서 fullname, FQDN 이름을 알아내는 방법입니다. 여러가지 방법이 있지만 hostname 명령어를 사용하는 것이 가장 쉽습니다. 주의할 것은…

리눅스 curl 코맨드로 https url을 당겨올 때 에러가 날때가 있습니다. 원인은 /etc/pki/tls/certs/ca-bundle.crt 가 없기 때문입니다. 다음과 같이…

자모비 Jamovi 라는 도구를 알게 되서 소개 드립니다. R과 통합할 수 있다고 되어 있고 R구문을 지원한다고 나와있습니다….

R언어의 유명한 인용문 10개에 대한 유튜브 동영상입니다. 재미삼아 보세요.

“Happy New Year 2022″를 출력하는 재밌는 코드입니다. 코드를 실행해 보세요.

버킷테스트는 인터넷 사이트나 앱에서 흔히 하는 환경을 분리한 사용자 군을 대상으로 한 실험을 말합니다. 버킷테스트는 A/B테스트와 밀접한…

A/B 테스트의 대해서 포스팅합니다. 무척 많이 쓰는 용어지만 잘 모르는 분들이 많습니다. 특히 A/B 테스트는 어설프게 알면…

웹페이지에서 사용하는 콘텐트 편집기로 TinyMCE라는 유명한 것이 있습니다. 워드프레스를 포함한 많은 웹상의 편집기들이 이 편집기를 씁니다. https://www.tiny.cloud/…

네이버 블로그는 많은 디지털마케터들의 마케팅 도구, 수단이 되어 왔습니다. 한국에서 가장 큰 검색 포털이 네이버이고 그 다음이…

CMS (Content Management System)는 콘텐츠를 관리하는 시스템입니다. 여기서 말하는 콘텐츠는 글을 뜻합니다. 몇장의 이미지와 동영상이 포함될 수도…

d3 기반이나 Javascript 그래프, 플롯 라이브러리들은 쓰기 편하고 예쁜것들이 많지만 기능이 너무 많고 무겁고 복잡한 것도 많습니다….

데이터 프로세싱을 할 때 고속으로 파일을 읽어서 계산을 하거나 비정형 데이터를 처리할 때 Go lang, Rust, C/C++을…

간단합니다. 순서대로 아래의 명령을 실행하면 됩니다. python3.10-dev 설치는 선택사항입니다.

우분투 18.04에서 Python3.6을 제거하는 방법입니다. 제거를 하고 싶은 이유는 우분투에 Python 새버전을 추가로 설치하다보면 구버전이 계속 남아서…

우분투 18.04에 R을 설치하는 방법입니다. 요점 apt로 설치하는 것입니다. Ubuntu 20.04에 설치하는 방법과는 조금 다를 수 있습니다….

젠킨스(Jenkins)의 웹서비스 포트는 8080입니다. 우분투 리눅스에서 젠킨스의 포트를 변경하려면 아래의 파일을 수정해야합니다. 8080이 기본 포트인데 다른 적당한…

R과 Rstudio를 Windows에서 사용하다보면 한글로 나와야 할 메세지가 깨져 보일 때가 있습니다. 특히 에러메시지나 경고메세지가 보일 때…

apt를 사용하다보면 에러 메세지가 보일 때가 있습니다. 무슨 종류의 에러인지 메세지만 보고 알기 어려워 해결법 찾기가 어렵지만…

리눅스에서 텍스트파일 조인하기 리눅스 코맨드로 csv 2개를 결합하는데 특정 컬럼의 값을 기준으로 조인해서 붙이고 싶을 때가 있습니다….

다음과 같은 파일이 있습니다. 파일이름은 test.txt입니다. 이렇게 하면 2번째 커럼으로 소팅이 되야 합니다. 그런데 이렇게 해도 소팅이…

Tensorflow, Keras, Torch에서 각 버전과 GPU를 사용할 수 있는지를 알아내는 코드입니다. GPU가 장착된 서버 또는 데스크탑에서도 Nvidia…

Python 노트북에서 Keras, Tensorflow로 작업을 하다가 패키지를 업데이트하거나 해서 GPU 설정을 잘못하면 다음가 같은 에러가 납니다.

…

기계학습, AI, 딥러닝을 구별하려면 알고리즘의 히스토리를 알아야 하기 때문에 공부하지 않고 직관적으로 이해하기 어렵습니다. 기계학습 Machine Learning…

Ubuntu에서 패키지를 업데이트 하는 도중에 다음과 같은 에러 메시지를 보는 경우가 있습니다. 이거 생각보다 잘 복구가 되지…

GPU를 사용하기 위해서는 드라이버를 설치하고 몇가지 작업을 해줘야 합니다. Python에서 GPU를 쓸 수 있게 되어 있는지 아닌지…

오랜만에 Gensim을 설치해서 사용하려고하니 오류가 나옵니다. number의 ndarray 사이즈가 바뀌었다는 오류메세지인데 해결책은 간단합니다. numpy를 다시 설치하면 됩니다….

“빅데이터는 사기다”라고 구체적인 근거없이 맹목적으로 비난하는 분이 많아서 이 글을 포스팅합니다. 두괄식으로 말하면 빅데이터는 그 자체로는 사기가…

최근에 데이터과학자(Data Scientist)가 되려면 뭘 배워야하고, 어떻게 해야하며, 커리어는 어떻게 키워나가야 하는지 물어보는 분들이 다시 늘어서 이런…

어느때 부터인가 VScode에서 Python 프로젝트나 파일을 로딩하면 경고 창이 뜨기 시작해서 귀찮았습니다. 저는 Python 작업은 PyCharm으로 많이…

워드프레스에서 업로드를 할 때 파일이 업로드 할 파일의 사이즈가 크면 다음과 같은 에러 메세지가 나오는 것을 볼…

github에 있는 레파지토리를 클론할 때 레파지토리 주소에 사용자 아이디와 패쓰워드를 넣어두면 pull이나 push가 인증을 한다거나 매번 비밀번호를…

Python 최신 버전을 오래된 우분투 배포판에 설치하는 것은 항상 문제가 있었습니다. 그런데 18.04에서 Python 3.9를 설치하는 것은…

데이터과학과 젠킨스 무슨 관계인지 궁금할 수 있습니다. Jenkins는 소프트웨어를 지속적으로 빌드하고 배포하기위한 CI/CD 도구이기 때문입니다. 젠킨스에는 스케줄러가…

쉽고 빨리 배우는 후루룩 개발 시리즈입니다. Docker “도커”라는 것이 있습니다. 개발 세계에서 말하는 도커는 배가 정박하는 그…

문과능력자, 예능능력자 위한 개발 쉽게 이해하기 시리즈 개발자 용어로 CI/CD 라는 것이 있습니다. “씨아이 씨디”라고 발음합니다. 콤팩트디스크…

브런치에 TCP 를 쉽게 배울 수 있는 좋은 글이 올라와서 소개드립니다. TCP/IP 인터넷 네트워크 프로토콜에 대해서 아주…

무료책입니다. 아래 링크를 방문하시면 됩니다. https://probml.github.io/pml-book/book1.html 기계학습 서적의 저자로 유명한 Kevin Patrick Murphy의 새 책 이라고 합니다….

결정트리(Decision Tree)인 CART 알고리즘에 대해 포스팅합니다. 제 계획대로라면 벌써 몇년전에 포스팅을 했어야 했지만 계획대로 되는 것은 언제나…

요즘 추세로 본다면 데이터과학, 데이터분석, 딥러닝, 기계학습 등을 하려면 R과 Python 중 하나를 선택해야 합니다. R과 Python은…

Docker를 사용할 때 docker를 구동시킬 서버가 방화벽 안쪽에 있거나 외부 네트워크(인터넷)에 직접 접속하지 못해서 docker image를 당겨오거나…

리눅스에 문제가 있거나 너무 오래된 버전의 리눅스 배포판을 사용할 때 Python source를 다운로드 받아서 빌드해야 하는 경우가…

오래된 Ubuntu 14.04에 Python 3.7을 설치할 때 필요한 간단한 절차입니다. 이 글을 쓰는 시점에서의 최신 Ubuntu 18.04이고…

아실지 모르겠지만 반올림은 여러가지 계산 방식이 있습니다. 한가지가 아닙니다. 이 차이를 모르면 소숫점이 있는 수치 계산을 하다가…

graph LR M –> e e –> r r –> m m –> a a –> i…

데이터 사이언티스트(Data scientist)를 쉽게 설명하는 60초 짜리 짧은 동영상을 트위터에서 발견했습니다. 동영상이 괜찮은 것 같아서 공유합니다. https://twitter.com/Fisher85M/status/935950475542847491/video/1

MySQL에서 사용자의 권한을 모두 열어주는 query입니다. 먼저 host에 terminal로 접속합니다. 또는 권한이 있는 사용자의 계정으로 원격으로 접속합니다….

  지금 하는 일과 관련이 있는 것이라서 zdnet기사에 앱넥스트라는 회사에서 제안했다고 하는 타임라인 타겟팅이라는 기법(아이디어)에 대한 기사를 스크랩해…

SPSS 신택스를 R 코드로 자동변환해주는 웹사이트가 나왔습니다. Use R! 2014에서 발표했나보네요. Use R! 컨퍼런스는 쓸만한 것이 꽤…

Reproducible Research에 대한 포스팅입니다. 이게 뭔지? 어떻게 하는 것인지? 이런 것들에 대한 내용입니다. Reproducible Research는 연구나 분석을…

빅데이터와 테스트 마이닝에 대해서 조금 적으려고 합니다. 빅데이터(Big data) 빅데이터(Big data)는 이제는 설명을 안해도 될 만큼 자료가…

저는 기업체를 상대로 솔루션 사업을 하고 있는 회사에서 데이터 사이언티스트로 일하고 있습니다. 대외 미팅 중에 아이스브레이킹(ice breaking)을…

(데이터솔루션)[http://www.spss.co.kr/main/main.asp]이 주최하는 빅데이터 세미나입니다. 사이트 주소: http://www.datasolution.kr/imgs_job/marketing/2014/bigdata_01.html 장소: 엘타워 그레이스 1홀 날짜: 2014년 3월 25일 화요일 시간:…

콜택시/대리운전 데이터 분석 예제 #1 SKT의 빅데이터허브에서 받은 콜택시/대리운전 데이터를 이용한 간단한 Data Munging과 EDA를 위한 전처리의…

한 번쯤 생각을 정리할 필요가 있다고 생각해서 포스팅하는 중이다.(이하 편의상 계속 존칭 생략) 이런 내용을 다루기에는 조심스럽고…

R과 관련없이 유명한 상용 Interactive Data Visualization 툴로는 Spotfire가 있습니다. Spotfire는 그래프를 그리고 그래프의 영역을 계속 마우스로…

R에서 로케일(Locale)을 바꾸는 코드입니다. R에서 로케일을 지원하는 펑션(function)들이 아직은 많지 않습니다만 datetime을 다루는 것들 중 일부는 따르는…

데이터 사이언티스트(Data scientist, 이하 데이터 사이언티스트)에 대한 정의와 신규 직종으로써의 논의 거리고 많이 언급되고 있는 것 같아…

형태소 분석기 (Information POS tagger, word segmenter) 검색과 관련된 업무(정보처리기술과 관련된 직종 또는 관련 업무)를 하게되면 어떤것을…