카테고리 보관물: 리눅스 Linux

리눅스에서 코맨드라인으로 구글 드라이브 사용하기 – Using Google Drive in command-line

리눅스에서 구글드라이브를 사용하는 방법입니다.

리눅스에서 구글드라이브를 사용하려면 여러가지 방법을 쓸 수 있지만 이 글에서는 GUI나 네트워크드라이브 마운트 방식이 아닌 코맨드라인(command line) 명령어를 사용하는 방법입니다.

즉 리눅스 서버에서 Google Drive를 연결해서 파일을 업로드하거나 다운로드 하기위한 것입니다.

리눅스에서 Google Drive를 사용하는데는 여러 용도가 있습니다.

용도

배치 프로세싱

구글 드라이브에서 데이터를 받아서 AI/기계학습 모델을 만들때 씁니다. 학습 데이터는 대부분 용량이 큽니다.

만들어진 추출된 데이터를 누군가에게 전달해야 할 때 씁니다. 데이터 분석을 위해서 추출한 데이터 중에 사이즈가 상당히 큰 것도 있습니다. 이걸 리눅스 서버에서 처리한 뒤에 결과물을 업로드할 때 씁니다.

데이터 백업을 잠시 할 때도 씁니다. 물론 더 안전하고 괜찮은 데이터 백업 방법이 많이 있습니다만 임시 작업이나 급한 작업을 할 때는 꽤 유용합니다.

설치

gdrive 다운로드받기

코맨드라인에서 쓸 수 있는 구글드라이브 공식패키지는 없습니다.

대신 아래의 github에서 받으면 됩니다.
https://github.com/prasmussen/gdrive

실행파일은 위의 페이지를 읽다보면 밑의 페이지로 이동해서 받으라고 합니다. 적당한 것을 받습니다.

https://github.com/prasmussen/gdrive/releases

저는 vm을 사용하기 때문에 bit32를 받습니다. 그리고 압축을 풀고 나온 gdrive실행파일을 /usr/local/bin 아래로 옮겨줍니다.

구글 인증하고 백업 파일을 업로드하기

이제 gdrive 실행을 해봅니다.
먼저 구글드라이브에 있는 파일 리스트를 봅니다.

Google 인증을 하라는 메세지가 나오게 됩니다.

웹브라우저를 실행하고 위에서 나온 URL을 주소창에 붙이고 인증을 합니다. 그러면 아래처럼 코드를 줍니다. 코드를 다시 코맨드 창으로 돌아와서 붙여 넣으면 됩니다.

이제 파일을 구글 드라이브에 폴더를 만들어서 백업해 봅니다.

디렉토리를 생성하고 디렉토리 아이디를 알려주는데 업로드할 때 폴더명을 사용하지 않고 디렉토리ID를 사용하므로 저것을 복사해 둡니다. 나중에 gdrive list 코맨드로 알아낼 수도 있습니다.

아래와 같이 파일을 업로드 하면 됩니다. backup.tgz이라는 파일을 “__백업”이라는 구글드라이브 폴더에 업로드하는 것입니다.

참조

Using Google Drive from the Linux Command Line

Ubuntu 18.04, 20.04에 PHP 8.0 설치하기

웹은 node.js 의 전성시대가 되었지만 PHP는 여전히 웹프로그램을 작성하는데 상당히 괜찮은 솔루션입니다. 개발자에게도 데이터과학자에게도 말입니다.

PHP 7.4는 그 이 버전에 비해 비약적인 성능 향상이 있었습니다. 7.2나 7.3에 비해서 말입니다.

그리고 PHP 8.0도 그 만큼은 아니지만 성능향상이 있습니다. 그래서 다른 이유가 없다면 PHP 8.0을 설치하거나 업그레이드를 해주는 것이 좋습니다. 그런데 오래된 리눅스 버전에 PHP의 최산 버전을 설치하는 것은 항상 문제가 있었습니다.

오래된 Ubuntu에 PHP 8.0을 설치하는 방법입니다.

레파지토리 등록 후 업데이트

끝입니다.

추가로 제 서버에는 워드프레스 때문에 php 7.4 패키지가 몇개 설치되어 있습니다.

저것들을 다 삭제하고 PHP 8.0과 저 패키지에 대응하는 8.0 패키지를 설치해 주면 됩니다.
주의 할 것은 php7.4-json는 있지만 php8.0-json이라는 패키지는 없으니 설치를 시도하지 마세요. PHP 8.0에 json 패키지가 내장되었다고 합니다.

참고자료

Ubuntu에 RethinkDB 설치하기

RethinkDB는 NoSQL입니다. document storage 계열입니다.

MongoDB와 비슷한 것입니다.

개발 또는 데이터분석을 하다보면 RDBMS를 쓰는 것이 부담스럽고 조금편하고 가벼운 것을 사용하고 싶을때가 있습니다. 그럴 때 RethinkDB나 MongoDB는 그럴 때 쓸 수 있는 좋은 대안입니다.

우분투(Ubuntu)에서 apt로 rethinkdb를 설치하기 위해서 레파지토리를 등록해줘야 합니다.

이렇게 하면 됩니다. 아래의 4줄을 차례로 실행해서 rethinkdb를 설치하세요.

2021년 7월 이전에 위와 같은 방법으로 설치를 했는데 업그레이드를 하려면 다음의 명령어로 키를 갱신한 후에 다시 설치하면 된다고 합니다.

원문은 https://rethinkdb.com/docs/install/ubuntu/ 입니다.

이 글은 여기까지입니다. 질문, 오류 지적은 언제나 환영입니다. 😐

supervisor로 daemonize하기

Linux를 사용하다면 보면 프로세스를 데모나이즈(daemonize)해야 하는 일이 생깁니다.

작성한 스크립트나 실행파일 등을 대몬으로 돌려야 하는 경우를 말하는 것입니다.

데몬은 백그라운드로 실행하고 세션을 종료해도 멈추지 않고 계속 작동하는 프로세스를 말합니다.

프로세스 –> 백그라운드 –> 코맨드를 따로 줄때까지 안죽음

일반 프로그램을 위와 같이 만들어 주는 것을 대모나이즈라고 합니다.

데모나이즈 몇가지 방법

데모나이즈는 보통 shell script를 하나 작성해서 실행, 종료를 하게 만듭니다. 이때 대몬이 되는 프로세스가 pid 파일을 만들도록 해야 하고 종료시킬 때 pid를 찾아서 종료하고 재실행하고 하는 것들을 만들어줘야 합니다.

이게 해보면 매우 귀찮은 일입니다.

init.d 스크립트를 만들기

inin.d 스크립트를 작성하는 것은 학습 장벽이 있습니다.
이 글에서는 설명하지 않습니다.

systemd를 사용하기

systemd를 사용해서 간단한 설정 코드를 작성하면 쉽게 대모나이즈 할 수 있습니다만 systemd가 없는 환경도 있습니다.
역시 이 글에서는 설명하지 않습니다.

supervisord를 사용하기

supervisord는 python으로 만든 프로세스를 대모나이즈 해주는 유틸리티입니다.
이 글에서 설명하려고 하는 것입니다.

supervisord 설치하기

supervisord는 두가지 방법으로 설치할 수 있습니다.

apt를 이용해서 설치

조금 낮은 버전이 설치될 수 있습니다. 버전에 따라서 버그가 있어서 문제가 있을 수 있습니다.

python pip를 이용해서 설치

python으로 제작했기 때문에 pip로 설치가 가능합니다.

이렇게 설치하면 supervisor의 설치된 경로가 apt로 설치했을 때와 다르고 초기 설정 파일이 없거나 하는 문제가 있을 수 있지만 최신 버전이 설치되는 장점이 있습니다.

설치되는 경로는 이렇습니다.

설정 파일 경로

설정 파일의 경로는 아래의 디렉토리이고 이 디렉토리에 형식을 맞춰서 파일을 작성해주면 됩니다.
여러 개 만들어서 넣을 수 있습니다.

다음 내용은 supervisord를 사용한 대모나이즈 설정의 예입니다.

jupyterhub를 대모나이즈 하는 설정입니다.

사용할 때 몇가지 삽질을 방지하기 위한 요령이 있지만 이 글에서는 생략하겠습니다. 글이 너무 길어집니다.

여기까지입니다. 질문, 오류 지적은 언제나 환영입니다.

Fatal Python error: _PySys_BeginInit: can't initialize sys module

Linux에서 Python을 소스코드로 빌드해서 설치하려고 할 때 위와 같은 메시지가 보이면서 빌드가 안될때가 있습니다.

원인은 랭귀지 설정이나 환경설정이 빌드에 맞지 않기 때문에 발생하는 것인데 일일히 원인을 찾아서 해결하기가 매우 번거롭습니다. 로케일 설정(locale)같은 것이나 몇개를 수정하면 된다는 글을 찾아 볼 수 있지만 생각만큼 잘 되지 않고 많은 시간을 허비해야 합니다.

가장 간단한 해결책은 root로 로그인 또는 su로 root 전환을 해서 빌드하면 됩니다. 빌드할 때 sudo를 사용해도 잘 되지 않으므로 확실하게 root로 로그인해서 빌드하면 됩니다.

sudo: unable to resolve host xxxxxx 에러 메세지 해결 방법

VPS(클라우드나 가상시스템) 을 사용하는 경우가 이미 생성된 이미지를 그대로 복구했을 때 hostname이 제대로 설정되어 있지 않으면 sudo 명령을 사용할 때 보안 문제로 에러가 발생하며 정상작동하지 않습니다.
아래의 명령어로 현재 Linux에 설정되어 있는 hostname을 알아냅니다.

그리고 /etc/hosts 를 열어서 줄을 추가해줍니다.
만약 위의  /etc/hostname에서 알아낸 hostname이 yourhostname 이라면 아래와 같이 합니다.