wsl2를 실행해두고 간이 linux 서버로 쓰려는 목적으로 mini pc에 실행을 해두었지만 wsl2가 며칠 이내에 반드시 자동으로 종료되는 문제가 있었습니다. 그래서 여러가지 설청 방법을 찾아서 wsl2를 항상 켜두는 방법을 전에 올린 적이 있었습니다.
그런데 그 방법은 결과적으로 작동하지 않았습니다.
조금 오래 버티기는 하지만 wsl2를 실행하고 열어둔 “터미널(terminal)” 이나 “파워쉘(powershell)”까지 종료 시키면서 확실하게 종료되고 맙니다.
아마도 윈도우에서 실향된지 오랜된 wsl을 강제로 종료하도록 확실해게 처리한 것 같습니다.
그래서 C#으로 wsl2가 죽었는지 학인해서 되살리는 애플리케이션을 간단하게 돌려서 실행했더니 3주째 잘 작동하고 있습니다.
간단한 것이지만 소스는 github에 있으니 필요하면 참고하세요.
WSL이나 Linux를 새로 설치한 후에 Python 패키지를 설치할 때 저런 에러가 내면 패키지를 빌드하는데 필요한 패키지가 설치 안된 것입니다.
다음과 같이 패키지를 설치해 주세요.
sudo apt-get install build-essential libssl-dev libffi-dev python3-dev
다음과 같은 에러가 주피터 랩(Jupyter lab)에서 나는 경우가 있습니다.
ImportError: cannot import name ‘_psutil_linux’ from partially initialized module ‘psutil’
패키지 설치가 조금 꼬인 경우입니다.
다음과 같이 패키지를 설치해서 해결할 수 있습니다.
python -m pip install --ignore-installed psutil
Python 패키지 중에는 설치할 때 C++ 작성된 코어 모듈을 컴파일해서 설치하는 것들이 종종있습니다. 이런 것을 설치하려면 C++ 컴파일을 할 수 있는 컴파일러와 빌드도구를 설치해줘야합니다.
Ubuntu에서는 C++ 컴파일러를 포함해서 여러가지 개발 도구를 설치할 때 다음과 같이 합니다.
sudo apt-get install build-essentialCentos는 다음과 같이 하면 됩니다.
sudo yum groupinstall 'Development Tools'
Ubuntu 22.04에 Jenkins를 설치하면 실행이 잘 안됩니다.
우분투 22.04는 최신 LTS 버전이라서 정말 쉽게 되야 할텐데 이상하죠?
Ubuntu 22.04에서 젠킨스가 안되는 이유는 대부분 Java때문입니다. Jenkins는 openjdk-11에서만 작동합니다. 설치해주고 기본 설정도 바꿔줘야 합니다. openjdk-18 같은 상위버전과는 작동하지 않습니다. Jenkins는 JVM기반의 Groovy 언어로 만들어졌습니다. JDK 영향을 많이 받으므로 이 점을 주의해야합니다.
설치 코맨드를 참고하세요.
# 자바 설치
sudo apt-get install openjdk-11-jdk-headless
# 기본 자바를 openjdk-11로 설정
sudo update-java-alternatives --set java-1.11.0-openjdk-amd64
# 키 받기
sudo wget -q -O - https://pkg.jenkins.io/debian/jenkins.io.key | sudo apt-key add -
# 레파지토리 등록
echo deb http://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.list
# 젠킨스 설치
sudo apt-get install jenkins
제목 그대로입니다.
UDP는 TCP와 달리 커넥션(connection)을 맞는 방식이 아니기 때문에 바로 지금 데이터를 보내는 호스트들이 어떤 것인지 확인하기가 힘듭니다.
역시 tcpdump로 확인할 수 있습니다. 예를 들면 8125포트로 UDP데이터를 보내고 있는 호스트를 알아내려면 다음과 같은 코맨드를 실행하고 잠시 지켜보면 됩니다.
참고로 8125는 statsd가 데이터를 수신하는 포트이고 statsd는 시스템이나 애플리케이션의 상태를 모니터링하기 위해서 시그널 데이터를 받는 조그만 시스템입니다.
sudo tcpdump -i eth0 udp port 8125 -vv -X우분투에서 패키지를 설치하다가 의존성이 깨지거나 하게 되면 그 뒤로 apt를 실행할 때 마다 에러가 발생합니다. 여간해서는 해결이 잘 안되는데요.
E: Unmet dependencies. Try 'apt-get -f install' with no packages (or specify a solution).이렇게 하면 됩니다.
sudo apt-get -o Dpkg::Options::="--force-overwrite" install --fix-broken
출처: https://askubuntu.com/questions/1044817/failed-installation-of-package-breaks-apt-get
로컬에 있는 파일과 모델, 데이터 등을 리모트의 어딘가로 싱크하는 것은 데이터사이언스 작업을 하면서 빈번하게 있는 일입니다. 복잡한 파이프라인을 작성할 것은 아니기 때문에 간단하게 rsync를 사용할 때가 많습니다.
제가 주로 사용하는 옵션은 이렇습니다.
rsync -avzrub --delete /tmp/source /tmp/target그런데 이 옵션을 실행하다 보면 다음과 같은 에러가 나올 때가 있습니다.
rsync 'cannot delete non-empty directory' errors–delete 옵션은 소스에 없는 것들은 타겟에서도 지우라는 명령입니다. 이때 소스에 없는 파일과 디렉토리는 타겟에서도 지워야 하는데 디렉토리를 지우지 못하는 것입니다.
원인은 -b 옵션 때문인데 -b 옵션은 타겟에서 파일을 지욱 때 만약을 대비하기 위해 파일을 ~가 끝에 붙은 이름으로 변경해서 백업하는 기능입니다. 이 옵션으로 인해 지우지 못하게 됩니다.
-b 옵션을 제거하면 문제가 해결됩니다.
만약 그래도 백업을 해야 하고 특정 디렉토리는 다르게 관리해야 한다면 –exclude 옵션으로 그 디렉토리를 제외하고 그 디렉토리는 다른 옵션으로 rsync를 수행해야 합니다.
쉘스크립트에서 7일전 (1주일전) 날짜를 가져오는 방법입니다.
별로 어렵지 않은데 막상 쓰려면 기억이 잘나지 않죠.
아래와 같이 하면 됩니다.
date -d "7 days ago" +"%Y-%m-%d"7일전부터 어제까지 7일간의 구간을 계산하려면 아래와 같이 하면 됩니다.
yesterday=$(date -d "1 days ago" +"%Y-%m-%d") # 어제 날짜
ago7days=$(date -d "7 days ago" +"%Y-%m-%d") # 7일전
echo "yesterday:$yesterday, ago7days:$ago7days"
Linux 서버에 설치된 Node.js를 버전업하는 방법입니다.
stable(안정판), latest(최신판)중에서는 안전하게 stable을 선택하는 것이 좋습니다.
아래에 적어둔 명령어를 따라서 순서대로 하면 됩니다.
root 권한이 있어야 합니다.
node -v # node.js 버전 확인
sudo npm cache clean -f # npm 캐시 삭제
sudo npm install n # n패키지 설치
sudo n stable # stable로 설치
# 결과는 아래와 같음
# installed : v16.13.1 (with npm 8.1.2다음과 같은 파일이 있습니다.
파일이름은 test.txt입니다.
1 홍길동
2 전우치
4 변학도
3 이몽룡
5 성춘향이렇게 하면 2번째 커럼으로 소팅이 되야 합니다.
sort -k 2 test.txt
그런데 이렇게 해도 소팅이 안되고 순서가 정렬이 안되는 경우가 있습니다.
LC_COLLATE나 LC_ALL 환경변수에 한글을 지정해 줘야 합니다.
$ export LC_COLLATE="ko_KR.utf8"
# 또는
$ export LC_ALL="ko_KR.utf8"위의 명령으로 리눅스 환경의 언어셋을 변경하면 소팅이 되는데 에러 메세지가 나올 수 있습니다.
-bash: warning: setlocale: LC_COLLATE: cannot change locale (ko_KR.utf8): No such file or directory이 에러가 나오는 것은 언어패이 설치가 되어 있지 않기 때문입니다. 그럴 때는 이렇게 해줍니다.
# CentOs나 Redhat 리눅스 계열
$ sudo apt install language-pack-ko
# Ubuntu 우분투 계열
$ sudo yum install glibc-langpack-ko
그 뒤에 다시 sort 코맨드로 정렬을 해보면 잘 됩니다.
$ sort -k 2 1.txt
4 변학도
5 성춘향
3 이몽룡
2 전우치
1 홍길동
리눅스에서 구글드라이브를 사용하는 방법입니다.
리눅스에서 구글드라이브를 사용하려면 여러가지 방법을 쓸 수 있지만 이 글에서는 GUI나 네트워크드라이브 마운트 방식이 아닌 코맨드라인(command line) 명령어를 사용하는 방법입니다.
즉 리눅스 서버에서 Google Drive를 연결해서 파일을 업로드하거나 다운로드 하기위한 것입니다.
리눅스에서 Google Drive를 사용하는데는 여러 용도가 있습니다.
구글 드라이브에서 데이터를 받아서 AI/기계학습 모델을 만들때 씁니다. 학습 데이터는 대부분 용량이 큽니다.
만들어진 추출된 데이터를 누군가에게 전달해야 할 때 씁니다. 데이터 분석을 위해서 추출한 데이터 중에 사이즈가 상당히 큰 것도 있습니다. 이걸 리눅스 서버에서 처리한 뒤에 결과물을 업로드할 때 씁니다.
데이터 백업을 잠시 할 때도 씁니다. 물론 더 안전하고 괜찮은 데이터 백업 방법이 많이 있습니다만 임시 작업이나 급한 작업을 할 때는 꽤 유용합니다.
코맨드라인에서 쓸 수 있는 구글드라이브 공식패키지는 없습니다.
대신 아래의 github에서 받으면 됩니다.
https://github.com/prasmussen/gdrive
실행파일은 위의 페이지를 읽다보면 밑의 페이지로 이동해서 받으라고 합니다. 적당한 것을 받습니다.
https://github.com/prasmussen/gdrive/releases
저는 vm을 사용하기 때문에 32bit 버전을 받습니다. vm들이 보통 32bit OS이기 때문입니다. 64bit라면라면 AMD64가 이름에 포함된 것을 받으세요. 만약 실행이 안되면 32bit버전을 64bit os에서 그냥 쓰셔도 됩니다. 그리고 압축을 풀고 나온 gdrive실행파일을 /usr/local/bin 아래로 옮겨줍니다.
wget https://github.com/prasmussen/gdrive/releases/download/2.1.1/gdrive_2.1.1_linux_386.tar.gz이제 gdrive 실행을 해봅니다.
먼저 구글드라이브에 있는 파일 리스트를 봅니다.
gdrive listGoogle 인증을 하라는 메세지가 나오게 됩니다.
Authentication needed# Go to the following url in your browser:# https://accounts.google.com/o/oauth2/auth?access_type=offline&client_id=367116221053-7n0vf5akeru7on6o2fjinrecpdoe99eg.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&response_type=code&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&state=state
웹브라우저를 실행하고 위에서 나온 URL을 주소창에 붙이고 인증을 합니다. 그러면 아래처럼 코드를 줍니다. 코드를 다시 코맨드 창으로 돌아와서 붙여 넣으면 됩니다.
이제 파일을 구글 드라이브에 폴더를 만들어서 백업해 봅니다.
gdrive mkdir __백업# Directory 1l0nTwWhHSONxltMbplI9XEhR2TxnPf45 created
디렉토리를 생성하고 디렉토리 아이디를 알려주는데 업로드할 때 폴더명을 사용하지 않고 디렉토리ID를 사용하므로 저것을 복사해 둡니다. 나중에 gdrive list 코맨드로 알아낼 수도 있습니다.
아래와 같이 파일을 업로드 하면 됩니다. backup.tgz이라는 파일을 “__백업”이라는 구글드라이브 폴더에 업로드하는 것입니다.
gdrive upload --parent 1l0nTwWhHSONxltMbplI9XEhR2TxnPf45 backup.tgzUsing Google Drive from the Linux Command Line
웹은 node.js 의 전성시대가 되었지만 PHP는 여전히 웹프로그램을 작성하는데 상당히 괜찮은 솔루션입니다. 개발자에게도 데이터과학자에게도 말입니다.
PHP 7.4는 그 이 버전에 비해 비약적인 성능 향상이 있었습니다. 7.2나 7.3에 비해서 말입니다.
그리고 PHP 8.0도 그 만큼은 아니지만 성능향상이 있습니다. 그래서 다른 이유가 없다면 PHP 8.0을 설치하거나 업그레이드를 해주는 것이 좋습니다. 그런데 오래된 리눅스 버전에 PHP의 최산 버전을 설치하는 것은 항상 문제가 있었습니다.
오래된 Ubuntu에 PHP 8.0을 설치하는 방법입니다.
sudo add-apt-repository ppa:ondrej/php
sudo apt-get update끝입니다.
추가로 제 서버에는 워드프레스 때문에 php 7.4 패키지가 몇개 설치되어 있습니다.
php7.4-bz2
php7.4-cli
php7.4-common
php7.4-curl
php7.4-fpm
php7.4-gd
php7.4-json
php7.4-mbstring
php7.4-mysql
php7.4-opcache
php7.4-readline저것들을 다 삭제하고 PHP 8.0과 저 패키지에 대응하는 8.0 패키지를 설치해 주면 됩니다.
주의 할 것은 php7.4-json는 있지만 php8.0-json이라는 패키지는 없으니 설치를 시도하지 마세요. PHP 8.0에 json 패키지가 내장되었다고 합니다.
apt install php8.0-bz2 php8.0-cli php8.0-common php8.0-curl php8.0-fpm php8.0-gd php8.0-mbstring php8.0-mysql php8.0-opcache php8.0-readline
RethinkDB는 NoSQL입니다. document storage 계열입니다.
MongoDB와 비슷한 것입니다.
개발 또는 데이터분석을 하다보면 RDBMS를 쓰는 것이 부담스럽고 조금편하고 가벼운 것을 사용하고 싶을때가 있습니다. 그럴 때 RethinkDB나 MongoDB는 그럴 때 쓸 수 있는 좋은 대안입니다.
우분투(Ubuntu)에서 apt로 rethinkdb를 설치하기 위해서 레파지토리를 등록해줘야 합니다.
이렇게 하면 됩니다. 아래의 4줄을 차례로 실행해서 rethinkdb를 설치하세요.
source /etc/lsb-release && echo "deb https://download.rethinkdb.com/repository/ubuntu-$DISTRIB_CODENAME $DISTRIB_CODENAME main" | sudo tee /etc/apt/sources.list.d/rethinkdb.list
wget -qO- https://download.rethinkdb.com/repository/raw/pubkey.gpg | sudo apt-key add -
sudo apt-get update
sudo apt-get install rethinkdb
2021년 7월 이전에 위와 같은 방법으로 설치를 했는데 업그레이드를 하려면 다음의 명령어로 키를 갱신한 후에 다시 설치하면 된다고 합니다.
wget -qO- https://download.rethinkdb.com/repository/raw/pubkey.gpg | sudo apt-key add -v -
원문은 https://rethinkdb.com/docs/install/ubuntu/ 입니다.
이 글은 여기까지입니다. 질문, 오류 지적은 언제나 환영입니다. 😐
Linux를 사용하다면 보면 프로세스를 데모나이즈(daemonize)해야 하는 일이 생깁니다.
작성한 스크립트나 실행파일 등을 대몬으로 돌려야 하는 경우를 말하는 것입니다.
데몬은 백그라운드로 실행하고 세션을 종료해도 멈추지 않고 계속 작동하는 프로세스를 말합니다.
프로세스 –> 백그라운드 –> 코맨드를 따로 줄때까지 안죽음
일반 프로그램을 위와 같이 만들어 주는 것을 대모나이즈라고 합니다.
데모나이즈는 보통 shell script를 하나 작성해서 실행, 종료를 하게 만듭니다. 이때 대몬이 되는 프로세스가 pid 파일을 만들도록 해야 하고 종료시킬 때 pid를 찾아서 종료하고 재실행하고 하는 것들을 만들어줘야 합니다.
이게 해보면 매우 귀찮은 일입니다.
inin.d 스크립트를 작성하는 것은 학습 장벽이 있습니다.
이 글에서는 설명하지 않습니다.
systemd를 사용해서 간단한 설정 코드를 작성하면 쉽게 대모나이즈 할 수 있습니다만 systemd가 없는 환경도 있습니다.
역시 이 글에서는 설명하지 않습니다.
supervisord는 python으로 만든 프로세스를 대모나이즈 해주는 유틸리티입니다.
이 글에서 설명하려고 하는 것입니다.
supervisord는 두가지 방법으로 설치할 수 있습니다.
apt install supervisor조금 낮은 버전이 설치될 수 있습니다. 버전에 따라서 버그가 있어서 문제가 있을 수 있습니다.
python으로 제작했기 때문에 pip로 설치가 가능합니다.
sudo pip3 install supervisor이렇게 설치하면 supervisor의 설치된 경로가 apt로 설치했을 때와 다르고 초기 설정 파일이 없거나 하는 문제가 있을 수 있지만 최신 버전이 설치되는 장점이 있습니다.
설치되는 경로는 이렇습니다.
/usr/local/bin/supervisord
설정 파일의 경로는 아래의 디렉토리이고 이 디렉토리에 형식을 맞춰서 파일을 작성해주면 됩니다.
여러 개 만들어서 넣을 수 있습니다.
/etc/supervisor/conf.d다음 내용은 supervisord를 사용한 대모나이즈 설정의 예입니다.
jupyterhub를 대모나이즈 하는 설정입니다.
[program:jupyterhub]
user=root
command=/usr/bin/python3.8 -m jupyterhub --no-ssl -f /etc/jupyterhub/jupyterhub_config.py
directory=/srv/jupyterhub
autostart=true
autorestart=true
startretries=3
exitcodes=0,2
stopsignal=TERM
redirect_stderr=true
stdout_logfile=/var/log/jupyterhub.log
stdout_logfile_maxbytes=1MB
stdout_logfile_backups=10
stdout_capture_maxbytes=1MB
사용할 때 몇가지 삽질을 방지하기 위한 요령이 있지만 이 글에서는 생략하겠습니다. 글이 너무 길어집니다.
여기까지입니다. 질문, 오류 지적은 언제나 환영입니다.
Linux에서 Python을 소스코드로 빌드해서 설치하려고 할 때 위와 같은 메시지가 보이면서 빌드가 안될때가 있습니다.
원인은 랭귀지 설정이나 환경설정이 빌드에 맞지 않기 때문에 발생하는 것인데 일일히 원인을 찾아서 해결하기가 매우 번거롭습니다. 로케일 설정(locale)같은 것이나 몇개를 수정하면 된다는 글을 찾아 볼 수 있지만 생각만큼 잘 되지 않고 많은 시간을 허비해야 합니다.
가장 간단한 해결책은 root로 로그인 또는 su로 root 전환을 해서 빌드하면 됩니다. 빌드할 때 sudo를 사용해도 잘 되지 않으므로 확실하게 root로 로그인해서 빌드하면 됩니다.
VPS(클라우드나 가상시스템) 을 사용하는 경우가 이미 생성된 이미지를 그대로 복구했을 때 hostname이 제대로 설정되어 있지 않으면 sudo 명령을 사용할 때 보안 문제로 에러가 발생하며 정상작동하지 않습니다.
아래의 명령어로 현재 Linux에 설정되어 있는 hostname을 알아냅니다.
cat /etc/hostsname
그리고 /etc/hosts 를 열어서 줄을 추가해줍니다.
만약 위의 /etc/hostname에서 알아낸 hostname이 yourhostname 이라면 아래와 같이 합니다.
127.0.0.1 yourhostname