Python 에러 해결 – TypeError: a bytes-like object is required, not ‘str’

이 에러는 아는 사람에게는 너무 쉽고 해결하기에 간단한 것이지만 모르면 삽질하기 쉬운 에러입니다.

참고를 위해서 포스팅합니다.

파이썬에서 문자열을 다루다 보면 이런 에러가 나올 때가 있습니다.

TypeError: a bytes-like object is required, not ‘str’

이 에러는 사용하려고 하는 곳에는 bytes-likes 오브젝트가 필요하니 str 타입을 넣지 말고 bytes 타입의 변수를 넣으라는 뜻입니다.

즉 bytes 타입의 변수를 전달해줘야 하는 곳에 str 타입을 줬기 때문입니다.

이 에러는 DB나 다른 플랫폼, 시스템에서 당겨온 데이터안의 문자열을 처리하다보면 만날 때가 있습니다.

bytes와 str은 다음과 같은 관계가 있습니다. 바꾸는 방법입니다.

  • str –> 디코딩 –> bytes
  • bytes –> 인코딩 –> str

코드로 바꾸면 이렇게 하면 됩니다.

text = "안녕"  # text는 str이 됩니다.
text_byte = text.encode('utf-8')
text_str = text_byte.decode('utf-8')

에러메세지에 bytes라는 단어가 보이면 대부분 문자열 인코딩, 디코딩과 관련이 있을 것이라고 기억하면 됩니다.

VS code나 Pycharm 같은 개발툴에서 지원하는 힌트를 보고 어떤 타입의 변수가 필요한지 확인하고 적절한 에러를 처리해 주는 것도 좋은 습관입니다.

리눅스에서 코맨드라인으로 구글 드라이브 사용하기 – Using Google Drive in command-line

리눅스에서 구글드라이브를 사용하는 방법입니다.

리눅스에서 구글드라이브를 사용하려면 여러가지 방법을 쓸 수 있지만 이 글에서는 GUI나 네트워크드라이브 마운트 방식이 아닌 코맨드라인(command line) 명령어를 사용하는 방법입니다.

즉 리눅스 서버에서 Google Drive를 연결해서 파일을 업로드하거나 다운로드 하기위한 것입니다.

리눅스에서 Google Drive를 사용하는데는 여러 용도가 있습니다.

용도

배치 프로세싱

구글 드라이브에서 데이터를 받아서 AI/기계학습 모델을 만들때 씁니다. 학습 데이터는 대부분 용량이 큽니다.

만들어진 추출된 데이터를 누군가에게 전달해야 할 때 씁니다. 데이터 분석을 위해서 추출한 데이터 중에 사이즈가 상당히 큰 것도 있습니다. 이걸 리눅스 서버에서 처리한 뒤에 결과물을 업로드할 때 씁니다.

데이터 백업을 잠시 할 때도 씁니다. 물론 더 안전하고 괜찮은 데이터 백업 방법이 많이 있습니다만 임시 작업이나 급한 작업을 할 때는 꽤 유용합니다.

설치

gdrive 다운로드받기

코맨드라인에서 쓸 수 있는 구글드라이브 공식패키지는 없습니다.

대신 아래의 github에서 받으면 됩니다.
https://github.com/prasmussen/gdrive

실행파일은 위의 페이지를 읽다보면 밑의 페이지로 이동해서 받으라고 합니다. 적당한 것을 받습니다.

https://github.com/prasmussen/gdrive/releases

저는 vm을 사용하기 때문에 32bit 버전을 받습니다. vm들이 보통 32bit OS이기 때문입니다. 64bit라면라면 AMD64가 이름에 포함된 것을 받으세요. 만약 실행이 안되면 32bit버전을 64bit os에서 그냥 쓰셔도 됩니다. 그리고 압축을 풀고 나온 gdrive실행파일을 /usr/local/bin 아래로 옮겨줍니다.

wget https://github.com/prasmussen/gdrive/releases/download/2.1.1/gdrive_2.1.1_linux_386.tar.gz

구글 인증하고 백업 파일을 업로드하기

이제 gdrive 실행을 해봅니다.
먼저 구글드라이브에 있는 파일 리스트를 봅니다.

gdrive list

Google 인증을 하라는 메세지가 나오게 됩니다.

Authentication needed# Go to the following url in your browser:# https://accounts.google.com/o/oauth2/auth?access_type=offline&client_id=367116221053-7n0vf5akeru7on6o2fjinrecpdoe99eg.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&response_type=code&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&state=state

웹브라우저를 실행하고 위에서 나온 URL을 주소창에 붙이고 인증을 합니다. 그러면 아래처럼 코드를 줍니다. 코드를 다시 코맨드 창으로 돌아와서 붙여 넣으면 됩니다.

이제 파일을 구글 드라이브에 폴더를 만들어서 백업해 봅니다.

gdrive mkdir __백업
# Directory 1l0nTwWhHSONxltMbplI9XEhR2TxnPf45 created

디렉토리를 생성하고 디렉토리 아이디를 알려주는데 업로드할 때 폴더명을 사용하지 않고 디렉토리ID를 사용하므로 저것을 복사해 둡니다. 나중에 gdrive list 코맨드로 알아낼 수도 있습니다.

아래와 같이 파일을 업로드 하면 됩니다. backup.tgz이라는 파일을 “__백업”이라는 구글드라이브 폴더에 업로드하는 것입니다.

gdrive upload --parent 1l0nTwWhHSONxltMbplI9XEhR2TxnPf45 backup.tgz

참조

Using Google Drive from the Linux Command Line

Ubuntu 18.04, 20.04에 PHP 8.0 설치하기

웹은 node.js 의 전성시대가 되었지만 PHP는 여전히 웹프로그램을 작성하는데 상당히 괜찮은 솔루션입니다. 개발자에게도 데이터과학자에게도 말입니다.

PHP 7.4는 그 이 버전에 비해 비약적인 성능 향상이 있었습니다. 7.2나 7.3에 비해서 말입니다.

그리고 PHP 8.0도 그 만큼은 아니지만 성능향상이 있습니다. 그래서 다른 이유가 없다면 PHP 8.0을 설치하거나 업그레이드를 해주는 것이 좋습니다. 그런데 오래된 리눅스 버전에 PHP의 최산 버전을 설치하는 것은 항상 문제가 있었습니다.

오래된 Ubuntu에 PHP 8.0을 설치하는 방법입니다.

레파지토리 등록 후 업데이트

sudo add-apt-repository ppa:ondrej/php
sudo apt-get update

끝입니다.

추가로 제 서버에는 워드프레스 때문에 php 7.4 패키지가 몇개 설치되어 있습니다.

php7.4-bz2
php7.4-cli
php7.4-common
php7.4-curl
php7.4-fpm
php7.4-gd
php7.4-json
php7.4-mbstring
php7.4-mysql
php7.4-opcache
php7.4-readline

저것들을 다 삭제하고 PHP 8.0과 저 패키지에 대응하는 8.0 패키지를 설치해 주면 됩니다.
주의 할 것은 php7.4-json는 있지만 php8.0-json이라는 패키지는 없으니 설치를 시도하지 마세요. PHP 8.0에 json 패키지가 내장되었다고 합니다.

apt install php8.0-bz2 php8.0-cli php8.0-common php8.0-curl php8.0-fpm php8.0-gd php8.0-mbstring php8.0-mysql php8.0-opcache php8.0-readline

참고자료

[책 소개] 데이터 분석가의 숫자유감 – 만화로 배우는 업무 데이터 분석 상식

오랜만에 책 추천입니다.

데이터 분석가의 숫자유감

“만화로 배우는” 이라는 타이틀이 붙은 통계, 수학, 공학 책들 중에 쉬운책은 사실 없었습니다.

만화로 배우든, 글로 배우든, 동영상으로 배우든 어려운 내용은 그냥 어려운 것입니다. 형식과는 관련이 없습니다. 콘텐츠가 쉽고 이하기 좋은지 아닌지에 따라 다른 것입니다.

이 책은 현업에서 오랫동안 다양한 경험을 한 저자의 스토리를 작가가 예쁜 그림체로 풀어냅니다.

어렵거나 난해하지 않습니다.

오랜만에 좋은책이 나온 것 같아서 추천합니다.

http://www.yes24.com/Product/Goods/102958933

데이터과학자가 되고 싶은데 어떻게 해야 하나요? 질문/답변 Q&A

최근에 데이터과학자(Data Scientist)가 되려면 뭘 배워야하고, 어떻게 해야하며, 커리어는 어떻게 키워나가야 하는지 물어보는 분들이 다시 늘어서 이런 내용으로 포스팅을 한 번 해보려고 했었습니다.

짧고 이해하기 쉽게 해보자라는 생각으로 제가 받았던 질문에 대한 답변형식으로 적습니다.

※ 글에서는 데이터사이언티스 (Data Scientist) 대신 데이터과학자라고 적습니다.

데이터과학자는 뭐하는 사람인가요?

하는 일은 데이터를 처리하고 분석해서 통찰을 얻고 사실을 검증합니다. 그리고 그 결과를 결정권자에게 주고 좋은 결정을 할 수 있게 도와줍니다.

중요한 것은 “데이터 기반 (Data Driven)”이라는 것과 “결정을 돕는 다”는 것입니다. 데이터과학자가 결정을 하지는 않습니다. 하지만 판단은 합니다. 과학적으로 판단하고 논리에 따라 합리적인 의견을 결정권자 또는 의뢰인에게 전해줍니다. 그리고 심사숙고하지 않은 즉흥적 결정, 충동적 결정, 막연한 결정을 하지 못하도록 돕습니다.

예를 들면 게임회사의 데이터과학자라면 특정 게임 A의 아이템들의 가격을 올려야 할지 내려야 할지에 대한 판단을 하고 그 결과를 기획자 및 전략담당자에게 알려준다거나 하는 것입니다.

데이터과학자는 개발자가 아닌 거죠?

네.

대부분 이렇게 아니라고 대답합지만 사실은 개발자인 것도 맞습니다. 그런데 개발자라고 하지 않는 이유는 개발자라고 대답하는 순간 데이터과학자에게 개발을 물어보고개발일을 맡기기 때문입니다. 그것 말고도 할 일 많으니까 그냥 아니라고 대답합니다.

뭘 공부하면 되나요?

확률/통계, 수학, 프로그래밍, 데이터 베이스(SQL)를 배워야 합니다.

수학은 고등학교 수준이면 되나요?

고등학교 과정의 고급 수학 과정을 무난하게 다 기억하고 있다면 수학을 굉장히 잘하는 것입니다. 무난하게 한다는 것은 고등학교 졸업을 의미하는 것이 아닙니다.

흔히 선형대수학, 미적분학 까지는 해야 한다고 말하는데, 이걸 잘하면 훨씬 유리합니다. 잘 못하면 지금부터 시작해도 안 늦습니다. 포기하지만 않는다면요.

데이터과학자가 되려면 얼마나 걸리나요?

타이틀을 데이터과학자로 명함에 넣어주는 것은 회사가 해주는 것이므로 회사마다 다릅니다.

괜찮은 데이터과학자라는 말을 들으려면 대략 제 경험으로 유사 학문을 전공한 사람은 5년 정도는 현장에서 훈련하면 되고. 전공자라면 3년이면 되는 것 같습니다. 적성에 안맞는 사람은 몇년이 되어도 제대로 못합니다.

아주 잘하는 것은 그 이상의 시간이 걸립니다.

참고로 박사학위 소지와 데이터과학을 잘하고 못하고는 크게 관련없습니다. 개인의 능력차이와 학습량의 차이입니다.

데이터과학자는 전망이 좋은가요?

무슨 전망이요? 미래에서는 인공지능, 로봇이 모든 사람들의 일을 뺏을 것이라서 어둡습니다. 데이터과학자도 예외는 아닙니다.

급여는 많이 받나요?

아직까지는 다른 직군에 비해 많이 받는 편이라고 봅니다. 최근에 데이터과학자 숫자가 많이 늘어서 이제 많이 높지는 않습니다.

랭귀지는 Python을 배워하나요? R을 배워야 하나요?

둘다 해야 합니다.
둘다 못하겠고 꼭 하나만 하고 싶다면 Python을 하면 됩니다.

그래도 다시 말하면 데이터과학을 하려면 둘다 하는 것이 나중에 매우 좋습니다.

둘 다 하라고 하는 이유는 R과 Python은 각각 문제해결이나 일처리를 쉽고 빠르게 할 수 있는 영역이 있습니다. 하나만 알게 되면 그런 문제를 해결할 때 때로 굉장히 어렵고 힘들게 해결해야 할 수 있습니다.

디지털마케팅을 하고 싶은데 데이터 분석, 데이터 과학을 할 줄 알아야 하나요?

몰라도 됩니다.

알면 좋습니다. 하지만 필수는 아닙니다. (당연한 것이지만)

엑셀은 잘하는데 엑셀로는 데이터과학을 못하나요?

할 수 있습니다. 하는 사람도 많습니다.

다만 “모냥빠진다!”, “없어보인다!”라고 해서 기피할 뿐입니다.

문제를 쉽게 해결할 수 있는 쉬운 방법을 사용해서 해결하는 것이 가장 좋은 것입니다. 엑셀로 쉽게 할 수 있는 것은 엑셀로 하면 됩니다. 하지만 엑셀만으로 모든 문제를 해결할 수는 없습니다. 아마도.

회사에서 SAS, 매트랩을 씁니다. 계속 이걸로 데이터과학해도 되나요?

다니는 회사/연구소에서 SAS 또는 매트랩을 주력으로 사용하고 있고 선임자가 매니저가 그걸 쓰도록 말했다면 그렇게 하는 것이 신상에 좋습니다. 뭐 잘 아시겠지만요.

하지만 취업, 이직, 커리어전환, 오픈소스 패키지 사용, 새 알고리즘이나 패키지사용, 비용 등을 볼때 R 또는 Python을 선택하는 것이 낫습니다.

회사에서 못쓰게 한다면 따로라도 공부해 두세요.