[카테고리:] 컴퓨터언어

ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’

다음가 같은 에러가 주피터 랩(Jupyter lab)에서 나는 경우가 있습니다. ImportError: cannot import name ‘_psutil_linux’ from partially initialized…

Continue Reading ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’

Centos에 C++을 위한 build-essential 설치하기

Python 패키지 중에는 설치할 때 C++ 작성된 코어 모듈을 컴파일해서 설치하는 것들이 종종있습니다. 이런 것을 설치하려면 C++…

Continue Reading Centos에 C++을 위한 build-essential 설치하기

pycurl 윈도우 버전 설치하기 – install pycurl on Windows

Python 패키지 중에는 설치할 때 C/C++ 소스를 빌드해서 설치하는 것들이 있는데 이런 패키지들은 Windows에서 설치할 때 잘…

Continue Reading pycurl 윈도우 버전 설치하기 – install pycurl on Windows

sys.meta_path is None, Python is likely shutting down

이 에러는 셀레니엄(Selenium)에서 나는 에러입니다. 셀레니엄이 확실하게 종료되고 있는데 명령을 준 경우입니다. 셀레니엄을 quit한 후에 확실하게 몇초…

Continue Reading sys.meta_path is None, Python is likely shutting down

descriptor ‘seek’ for ‘_io.BytesIO’ objects doesn’t apply to a ‘int’ object

이 에러는 Python2나 구버전의 Python에서 StringsIo를 truncate할 때 발생하는 오류입니다. BytesIO와 StringsIo는 구버전에서는 포지셔 이동없이 truncate가 가능했습니다….

Continue Reading descriptor ‘seek’ for ‘_io.BytesIO’ objects doesn’t apply to a ‘int’ object

R언어 개발툴 제작사 Rstudio 회사이름을 Posit으로 변경하다

Rstudio는 R언어 개발툴 이름이며 제작사의 이름이기도 합니다. Rstudio에는 R언어의 고수들이 모여 있는 많은 데이터과학자 겸 개발자들로 구성된…

Continue Reading R언어 개발툴 제작사 Rstudio 회사이름을 Posit으로 변경하다

파이썬 한글 자모 분리 패키지

한글 자모분리를 하는 것은 오타처리, 스팸 감지, 욕설, 성적 표현을 주는 키워드 감지 같은 것을 하기 위해서…

Continue Reading 파이썬 한글 자모 분리 패키지

파이썬 문자열에서 특수문자 제거하는 3가지 방법 – python 3 ways to remove punctuations from a string

Python으로 특수기호 제거하는 예제입니다. 자연어처리, 크롤한 데이터 정제 등을 할 때 특수문자를 제거하거나 클린징을 해야 할 때…

Continue Reading 파이썬 문자열에서 특수문자 제거하는 3가지 방법 – python 3 ways to remove punctuations from a string

Faiss – 고속 벡터 검색 엔진으로 유사도 검색하기, Vector Search Engine

Faiss는 Facebook Lab에서 만든 벡터 검색 엔진입니다. Faiss는 벡터 갬색 엔진이고 유사도 검색을 하거나 추천, 기계학습로 만든…

Continue Reading Faiss – 고속 벡터 검색 엔진으로 유사도 검색하기, Vector Search Engine

Go언어 CSV 파일 쓰기 – Golang writing a csv file

Go언어로 CSV 파일을 만드는 코드입니다. 데이터 과학 업무를 하다보면 데이터처리를 할 때 CSV 파일을 빈번하게 읽거나 만드는…

Continue Reading Go언어 CSV 파일 쓰기 – Golang writing a csv file

Go언어 FastText 모델 로딩해서 예측 수행하기 – Golang do prediction with built model

Facebook FastText로 만든 분류모델 (supervised model)을 로딩해서 prediction하는 간단한 코드입니다. FastText 모델은 Python으로도 로딩해서 사용할 수 있습니다….

Continue Reading Go언어 FastText 모델 로딩해서 예측 수행하기 – Golang do prediction with built model

Go언어 명령행 인수 처리 – Golang getting arguments from command line

Go언어에서 명령행 인수를 처리하는 방법입니다. 몇가지 방법이 더 있지만 여기에서는 flag 모듈를 사용합니다.

Continue Reading Go언어 명령행 인수 처리 – Golang getting arguments from command line

Go언어 CPU 수 알아내기

Go언어에서 CPU 수를 알아내는 코드입니다.

Continue Reading Go언어 CPU 수 알아내기

Go언어 파일 목록 읽기

특정 디렉토리에 있는 파일 목록을 읽어오는 코드입니다. 요점 ioutil.ReadDir 함수를 사용하면 됩니다. How to retrieve a list…

Continue Reading Go언어 파일 목록 읽기

Go언어 csv.gz 읽기

csv파일은 gzip 압축이 되는 경우가 많습니다. 압축을 따로 풀지않고 gz 압축된 csv 파일을 직접 처리하는 것이 더…

Continue Reading Go언어 csv.gz 읽기

Go언어 문자열 치환

Go언어 문자열 바꾸는 방법입니다. Strings.Replace를 사용하면 됩니다.

Continue Reading Go언어 문자열 치환

윈도우에서 Go언어 개발할 때 Avast 경고메세지 없애기

윈도우에서 Go언어로 개발할 때 Avast를 백신으로 사용하고 있다면 잦은 실행파일을 빌드할 때 마다 검사 경고가뜹니다. 디버깅이나 실행버튼을…

Continue Reading 윈도우에서 Go언어 개발할 때 Avast 경고메세지 없애기

R언어 오래된 패키지 업데이트하기

R에 설치된 오래된 패키지를 업데이트하는 방법입니다.

Continue Reading R언어 오래된 패키지 업데이트하기

초간단 Node.js 업그레이드 방법

Linux 서버에 설치된 Node.js를 버전업하는 방법입니다. 요약 npm으로 n 이라는 영어 1글자 짜리 이름의 패키지를 설치 n으로…

Continue Reading 초간단 Node.js 업그레이드 방법

무료 책 – R 패키지 제작 방법

R패키지는 만드는 것이 까다롭습니다. 패키지를 코딩해서 만드는 것도 어렵지만 CRAN에 등록할 때 어려운 점이 많습니다. R패키지를 만들때…

Continue Reading 무료 책 – R 패키지 제작 방법

Python 에러 해결 – TypeError: a bytes-like object is required, not ‘str’

이 에러는 아는 사람에게는 너무 쉽고 해결하기에 간단한 것이지만 모르면 삽질하기 쉬운 에러입니다. 참고를 위해서 포스팅합니다. 파이썬에서…

Continue Reading Python 에러 해결 – TypeError: a bytes-like object is required, not ‘str’

R로 블로그 만들기 – blogdown

blogdown 패키지를 이용해서 돈들이지 않고 블로그 사이트를 만드는 것을 소개합니다. 매우 쉽습니다. 배경 소개 Reproducible Research (재현가능…

Continue Reading R로 블로그 만들기 – blogdown

github 에 push 할때 인증창 안뜨게 하기

github에 있는 레파지토리를 클론할 때 레파지토리 주소에 사용자 아이디와 패쓰워드를 넣어두면 pull이나 push가 인증을 한다거나 매번 비밀번호를…

Continue Reading github 에 push 할때 인증창 안뜨게 하기

tqdm 파이썬 텍스트 프로그레스 바 패키지, Python progress bar

tqdm이라는 것이 있습니다. 터미널의 텍스브 모드에서 간단하게 특수기호를 이용해서 프로그레스파를 반들어주는 것을 볼 수 있습니다. 파이썬 패키지…

Continue Reading tqdm 파이썬 텍스트 프로그레스 바 패키지, Python progress bar

데이터과학하려면 R과 Python 중 어떤 걸 배워야 하나?

요즘 추세로 본다면 데이터과학, 데이터분석, 딥러닝, 기계학습 등을 하려면 R과 Python 중 하나를 선택해야 합니다. R과 Python은…

Continue Reading 데이터과학하려면 R과 Python 중 어떤 걸 배워야 하나?

데이터 과학을 위한 R과 Python

데이터 과학을 할 때 사용할 컴퓨터 언어로 R이 좋은지 Python이 좋은지에 대한 비교글은 구글 검색을 하면 비교적…

Continue Reading 데이터 과학을 위한 R과 Python

Fatal Python error: _PySys_BeginInit: can't initialize sys module

Linux에서 Python을 소스코드로 빌드해서 설치하려고 할 때 위와 같은 메시지가 보이면서 빌드가 안될때가 있습니다. 원인은 랭귀지 설정이나…

Continue Reading Fatal Python error: _PySys_BeginInit: can't initialize sys module

Python 소스 컴파일에서 Error in `python': corrupted size vs. prev_size 에러

리눅스에 문제가 있거나 너무 오래된 버전의 리눅스 배포판을 사용할 때 Python source를 다운로드 받아서 빌드해야 하는 경우가…

Continue Reading Python 소스 컴파일에서 Error in `python': corrupted size vs. prev_size 에러

Ubuntu 14.04에 Python 3.7 설치하기

오래된 Ubuntu 14.04에 Python 3.7을 설치할 때 필요한 간단한 절차입니다. 이 글을 쓰는 시점에서의 최신 Ubuntu 18.04이고…

Continue Reading Ubuntu 14.04에 Python 3.7 설치하기

DiagrammeR – R 다이어그램 그리기

R 패키지중에 DiagrammeR라는 다이어그램(diagram)을 그릴 수 있게 해주는 것이 있습니다. 다이어그램은 플로우차트(flow chart), 간트 차트(gantt chart), 시퀀스…

Continue Reading DiagrammeR – R 다이어그램 그리기

R 3.5.0 릴리즈 – Joy in playing

지난 2018-04-23에 R 3.5.0이 릴리즈 되었습니다. 이전 버전은 R 3.4.4입니다. R 3.5.0의 닉네임은 “Joy in playing”이고 늘…

Continue Reading R 3.5.0 릴리즈 – Joy in playing

R팁 – 두 벡터의 모든 멤버가 동일한지 비교하기 all.equal

두 벡터가 동일한지 비교하는 간단한 팁입니다. R은 벡터(vector)와 스칼라(scala)의 구분이 없이 사실은 모든 변수를 벡터로 취급하기 때문에…

Continue Reading R팁 – 두 벡터의 모든 멤버가 동일한지 비교하기 all.equal

무선통신서비스 가입회선 통계

과학기술정보통신부 홈페이지에 방문하면 무선통신서비스 가입회선 통계 데이터를 제공하고 있어서 아무나 받아서 사용할 수 있습니다.   수작업으로 하는 것이라서…

Continue Reading 무선통신서비스 가입회선 통계

Windows 10에서 Rcpp 설치 오류 해결 방법

저는 여러 OS를 사용해서 작업을 여기저기에서 난잡하게 하는 편입니다.  버전도 다 다르고 설치된 패키지들도 달라서 작업을 하기전에…

Continue Reading Windows 10에서 Rcpp 설치 오류 해결 방법

data.frame melt 시키기

테이블의 컬럼들을 한 컬럼으로 내리고 값을 따로 빼는 것을 melt(melting)라고 합니다.그 반대로 값을 컬럼으로 올리는  작업을 cast…

Continue Reading data.frame melt 시키기

RStudio 1.1 릴리즈

지난 10월 9일 RStudio 1.1이 릴리즈되었습니다. 설치를 하고 나면 다크테마로 설정된 달라진 분위기의 애플리케이션 모습을 볼 수…

Continue Reading RStudio 1.1 릴리즈

Ubuntu에 Go 1.8.x 설치하기

Ubuntu에서 다음과 같은 명령으로 go 언어를 설치할 수 있습니다.

하지만 현재의 최신 버전은 1.8 이상인데 1.6…

Continue Reading Ubuntu에 Go 1.8.x 설치하기

R 3.4.1 릴리즈

2017년 6월 30일자로 R 3.4.1 버전이 릴리즈(release) 되었습니다. 패키지 설치시 문제와 펑션에 유니코드가 포함되어 있을 때 디스플레이에서…

Continue Reading R 3.4.1 릴리즈

R – yaml 파일 읽어오기

R로 작성한 script에서 가끔 복잡한 설정들 읽어야 할 때가 있습니다. 여러 방법을 사용할 수 있겠지만 설정파일을 만들어…

Continue Reading R – yaml 파일 읽어오기

R – 변수에 값을 넣고 바로 결과를 출력하기

제목대로 입니다. 정말 별것 아닙니다. 아주 가끔 유용하게 쓸 때가 있습니다.

핵심은 2번째 줄입니다. 직접 실행해…

Continue Reading R – 변수에 값을 넣고 바로 결과를 출력하기

R – data.frame의 특정 컬럼의 NA를 0으로 채우기

별것 아닙니다만 data.frame에 NA가 섞인 경우에 이 결측치(missing value)를 채울 때 특정 컬럼의 결측치만 0으로 채워주고 싶을…

Continue Reading R – data.frame의 특정 컬럼의 NA를 0으로 채우기

RStudio server 1.0.44 R notebook 기능 확인

지난 포스트에서 RStudio 1.0.44를 설치해서 R notebook 기능을 확인해 본 후에 RStduio server도 잘 작동하는지 확인하기 위해서…

Continue Reading RStudio server 1.0.44 R notebook 기능 확인

RStudio v1.0 릴리즈

요 며칠 사이에 R관련 커뮤니티에서 새소식으로 메일이 날아오고 있는데 가장 많이 보이는 것이 RStduio v1.0이 릴리즈 되었다는…

Continue Reading RStudio v1.0 릴리즈

마이크로소프트 Revolution Analytics사 인수

최근에 바쁘다 보니 이런 저런 뉴스를 놓치고 있었나 봅니다. 마이크로소프트(Microsoft)사가 Revolution Analytics사를 인수했다네요. 뉴스가 나온 시기가 좀…

Continue Reading 마이크로소프트 Revolution Analytics사 인수

colorbrewer2.org 소개

R의 ggplot2 패키지에 보면 scale_color_brewer() 라는 함수가 있습니다. 이 함수는 colorbrewer2.org 사이트에서 제공하는 색상 팔레트를 플롯에 적용해…

Continue Reading colorbrewer2.org 소개

코호트 분석 (Cohort Analysis)

코호트 분석 동질의 세그먼트 중에서 유사한 경험을 한 그룹을 코호트(Cohort)라고 합니다. 흔히 동일한 사회적 경험을 한 그룹이라고…

Continue Reading 코호트 분석 (Cohort Analysis)

R과 SAS 비교

이 포스트를 올린 이유가 일을 하다보면 초등학생 질문처럼 “호랑이랑 사자가 싸우면 누가이겨요?” 라고 물어보는 분들이 많기 때문입니다….

Continue Reading R과 SAS 비교

numpy windows용 64bit 버전

Windows를 비롯해서 numpy를 설치하는 것이 쉬운일이 아닌데요. 그래서 따로 패키징된 것을 제공하는 곳이 몇군데 있습니다. 그중 대표적인…

Continue Reading numpy windows용 64bit 버전

R – 콜택시/대리운전 데이터 분석 예제 #1

콜택시/대리운전 데이터 분석 예제 #1 SKT의 빅데이터허브에서 받은 콜택시/대리운전 데이터를 이용한 간단한 Data Munging과 EDA를 위한 전처리의…

Continue Reading R – 콜택시/대리운전 데이터 분석 예제 #1

R 버전 확인하는 법

R의 버전을 확인하는 방법 몇가지입니다. R의 버전을 확인해야 할 이유는 거의 없습니다. 패키지를 제작할 때 사용자가 여러…

Continue Reading R 버전 확인하는 법

R feature selection 예제

R로 된 feature selection 하는 코드입니다. 어디선가 퍼왔는데 출처가 기억이 나질 않네요. 부연설명을 드리면 모델링을 할 때…

Continue Reading R feature selection 예제

Python multi core 구동 코드

Python을 이용해서 ETL의 일부인 파싱이나 전처리 작업을 수행하는 경우가 많습니다. 빅데이터인 경우에도 데이터를 Hadoop이나 Hive 또는 Oracle과…

Continue Reading Python multi core 구동 코드

CSV포맷을 TSV포맷으로 바꾸는 간단한 스크립트

엑셀(Excel)에서 CSV 포맷으로 파일을 저장할 때 텍스트 컬럼을 Escaping처리하는 경우가 있습니다. 주로 쉼표(comma)와 따옴표(double quotation)을 그렇게 변환해…

Continue Reading CSV포맷을 TSV포맷으로 바꾸는 간단한 스크립트

R ARIMA 예제 코드

R의 ARIMA 모형의 예제입니다. 서버의 메모리의 사용량의 추이를 보고 얼마 후에 고갈되는지를 예측하는 코드입니다. 물론 예측력은 많이…

Continue Reading R ARIMA 예제 코드

R ggplot2 – 경제인구동향 그래프 찍기

R에서 ggplot2로 경제활동인구찍기를 해봤습니다. 사실은 다른 것을 플로팅해보려다가 원하는 자료를 다운로드 받는 것이 만만치 않아서 대충 지나가다가…

Continue Reading R ggplot2 – 경제인구동향 그래프 찍기