[카테고리:] Python

Posted in Python 리눅스 Linux 컴퓨터언어

ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’

다음가 같은 에러가 주피터 랩(Jupyter lab)에서 나는 경우가 있습니다. ImportError: cannot import name ‘_psutil_linux’ from partially initialized…

Posted in Python 리눅스 Linux

Centos에 C++을 위한 build-essential 설치하기

Python 패키지 중에는 설치할 때 C++ 작성된 코어 모듈을 컴파일해서 설치하는 것들이 종종있습니다. 이런 것을 설치하려면 C++…

Posted in Python

pycurl 윈도우 버전 설치하기 – install pycurl on Windows

Python 패키지 중에는 설치할 때 C/C++ 소스를 빌드해서 설치하는 것들이 있는데 이런 패키지들은 Windows에서 설치할 때 잘…

Posted in Python

sys.meta_path is None, Python is likely shutting down

이 에러는 셀레니엄(Selenium)에서 나는 에러입니다. 셀레니엄이 확실하게 종료되고 있는데 명령을 준 경우입니다. 셀레니엄을 quit한 후에 확실하게 몇초…

Posted in Python

descriptor ‘seek’ for ‘_io.BytesIO’ objects doesn’t apply to a ‘int’ object

이 에러는 Python2나 구버전의 Python에서 StringsIo를 truncate할 때 발생하는 오류입니다. BytesIO와 StringsIo는 구버전에서는 포지셔 이동없이 truncate가 가능했습니다….

Posted in Python

파이썬 한글 자모 분리 패키지

한글 자모분리를 하는 것은 오타처리, 스팸 감지, 욕설, 성적 표현을 주는 키워드 감지 같은 것을 하기 위해서…

Posted in Python 개발 Development

파이썬 문자열에서 특수문자 제거하는 3가지 방법 – python 3 ways to remove punctuations from a string

Python으로 특수기호 제거하는 예제입니다. 자연어처리, 크롤한 데이터 정제 등을 할 때 특수문자를 제거하거나 클린징을 해야 할 때…

Posted in Python 데이터과학 Data Science 데이터마이닝 Data mining 데이터분석 Data Analysis 데이터엔지니어링 Data Engineering 알고리즘 Algorithm 인공지능, 기계학습 ML/AI

Faiss – 고속 벡터 검색 엔진으로 유사도 검색하기, Vector Search Engine

Faiss는 Facebook Lab에서 만든 벡터 검색 엔진입니다. Faiss는 벡터 갬색 엔진이고 유사도 검색을 하거나 추천, 기계학습로 만든…

Posted in Python

Python 에러 해결 – TypeError: a bytes-like object is required, not ‘str’

이 에러는 아는 사람에게는 너무 쉽고 해결하기에 간단한 것이지만 모르면 삽질하기 쉬운 에러입니다. 참고를 위해서 포스팅합니다. 파이썬에서…

Posted in Python 미분류

github 에 push 할때 인증창 안뜨게 하기

github에 있는 레파지토리를 클론할 때 레파지토리 주소에 사용자 아이디와 패쓰워드를 넣어두면 pull이나 push가 인증을 한다거나 매번 비밀번호를…

Posted in Python

tqdm 파이썬 텍스트 프로그레스 바 패키지, Python progress bar

tqdm이라는 것이 있습니다. 터미널의 텍스브 모드에서 간단하게 특수기호를 이용해서 프로그레스파를 반들어주는 것을 볼 수 있습니다. 파이썬 패키지…

Posted in Python R 미분류

데이터과학하려면 R과 Python 중 어떤 걸 배워야 하나?

요즘 추세로 본다면 데이터과학, 데이터분석, 딥러닝, 기계학습 등을 하려면 R과 Python 중 하나를 선택해야 합니다. R과 Python은…

Posted in Python 데이터과학 Data Science

데이터 과학을 위한 R과 Python

데이터 과학을 할 때 사용할 컴퓨터 언어로 R이 좋은지 Python이 좋은지에 대한 비교글은 구글 검색을 하면 비교적…

Posted in Python 리눅스 Linux

Fatal Python error: _PySys_BeginInit: can't initialize sys module

Linux에서 Python을 소스코드로 빌드해서 설치하려고 할 때 위와 같은 메시지가 보이면서 빌드가 안될때가 있습니다. 원인은 랭귀지 설정이나…

Posted in Python 미분류

Python 소스 컴파일에서 Error in `python': corrupted size vs. prev_size 에러

리눅스에 문제가 있거나 너무 오래된 버전의 리눅스 배포판을 사용할 때 Python source를 다운로드 받아서 빌드해야 하는 경우가…

Posted in Python 미분류

Ubuntu 14.04에 Python 3.7 설치하기

오래된 Ubuntu 14.04에 Python 3.7을 설치할 때 필요한 간단한 절차입니다. 이 글을 쓰는 시점에서의 최신 Ubuntu 18.04이고…

Posted in Python R

data.frame melt 시키기

테이블의 컬럼들을 한 컬럼으로 내리고 값을 따로 빼는 것을 melt(melting)라고 합니다.그 반대로 값을 컬럼으로 올리는  작업을 cast…

Posted in Python 데이터마이닝 Data mining 데이터엔지니어링 Data Engineering

numpy windows용 64bit 버전

Windows를 비롯해서 numpy를 설치하는 것이 쉬운일이 아닌데요. 그래서 따로 패키징된 것을 제공하는 곳이 몇군데 있습니다. 그중 대표적인…

Posted in Python 데이터엔지니어링 Data Engineering

Python multi core 구동 코드

Python을 이용해서 ETL의 일부인 파싱이나 전처리 작업을 수행하는 경우가 많습니다. 빅데이터인 경우에도 데이터를 Hadoop이나 Hive 또는 Oracle과…

Posted in Python 데이터엔지니어링 Data Engineering

CSV포맷을 TSV포맷으로 바꾸는 간단한 스크립트

엑셀(Excel)에서 CSV 포맷으로 파일을 저장할 때 텍스트 컬럼을 Escaping처리하는 경우가 있습니다. 주로 쉼표(comma)와 따옴표(double quotation)을 그렇게 변환해…