npm run start를 했을 때 나올 수 있는 에러입니다.

npm WARN This failure might be due to the use of legacy binary "node"

해결 방법은 npm으로 모듈을 설치할 때 옵션을 주고 하면 됩니다.

npm install --no-bin-links

그리고 다시 npm run start를 하면 정상 실행이 될 것입니다.

영문처리만 지원하는 소프트웨어에서 폰트를 사용하기 위해서는 TTF 파일 또는 OTF 파일의 영문 이름을 알아야 하는 경우가 있습니다.

이 영문 이름은 폰트관리자, 서체관리자, 폰트포지(FontForge)로 제대로 알아내기 어렵습니다.

Python 스크립트로 알아낼 수 있습니다. 다음의 스크립트를 실행해서 간단히 확인하세요.

import os
import sys
from matplotlib import font_manager

def main(font_path):
    if sys.platform == 'win32':
        font_list = font_manager.findSystemFonts()
        file_path = font_path
        font_attribute = font_manager.FontProperties(fname=file_path)
    return font_attribute.get_name()

if __name__ == '__main__':
    font_path = sys.argv[1]
    font_name = main(font_path)
    print(font_name)
    sys.exit(0)

docker build를 하던 중에 이런 오류가 날 때가 있다.

서버가 방화벽 안쪽에 있고 외부 네트워크로 나가기 위해서는 proxy를 써야하는 환경에서 HTTP_PROXY를 지정하지 않았기 때문에 생긴다.

환경변수에 HTTP_PROXY를 적어주면 된다.

Get "https://registry-1.docker.io/v2/": proxyconnect tcp: tls: first record does not look like a TLS handshake

Ubuntu에서 패키지를 설치하다보면 패키지를 받아야 할 레파지토리를 추가해줘야 하는다 그때 add-apt-repository를 사용합니다.

그런데 제목과 같이 에러가 발생하는 경우가 있습니다.

에러

sudo: add-apt-repository: command not found

설치 방법

아래와 같이 software-properties-common 패키지를 설치해주면 됩니다.

sudo apt-get install software-properties-common

Aerospike는 추가, 삭제가 빠른 SSD기반의 대용량 데이터를 처리할 수 있는 NoSQL입니다.

Schemaless(스키마 없는) NoSQL이라고 하지만 Schema의 변경이 아주 자유롭지는 않습니다.

제거가 조금 까다롭습니다.

설치 방법

설치 방법은 아래의 문서를 보고 따라서 하면 됩니다.

https://docs.aerospike.com/server/operations/install/linux/ubuntu

제거 방법

제거 방법은 아래의 문서를 참조하면 되는데 아래에 명령어 세트를 적어 두었으니 그걸 참고해서 지워도 됩니다.

https://discuss.aerospike.com/t/how-to-remove-and-clean-up-an-aerospike-server-installation/4839

제거 코멘드

# 패키지 확인
sudo dpkg -l | fgrep aerospike

# 패키지 제거
sudo dpkg -r aerospike-tools
sudo dpkg -r aerospike-server-community

# 디렉토리 확인
sudo ls -al /etc/aerospike
sudo ls -al /opt/aerospike
sudo ls -al /var/log/aerospike
sudo ls -al /var/run/aerospike

# 제거
sudo rm -Rf /etc/aerospike
sudo rm -Rf /opt/aerospike
sudo rm -Rf /var/log/aerospike
sudo rm -Rf /var/run/aerospike

# 아래의 파일이나 디렉토리가 없어야 함
sudo ls -al /etc/init.d/aerospike
sudo ls -al /etc/logrotate.d/aerospike
sudo ls -al /usr/bin/aql
sudo ls -al /usr/bin/asadm
sudo ls -al /usr/bin/asbackup
sudo ls -al /usr/bin/asgraphite
sudo ls -al /usr/bin/asinfo
sudo ls -al /usr/bin/asloglatency
sudo ls -al /usr/bin/asrestore
sudo ls -al /usr/bin/asd
sudo ls -al /usr/bin/asfixownership
sudo ls -al /usr/bin/asmigrate2to3

젠킨스 플러그인 업데이트 도중에 다음과 같이 에러가 발생할 때 해결하는 방법이다.

Failure -
java.io.IOException: Downloaded file /var/lib/jenkins/plugins/workflow-support.jpi.tmp does not match expected SHA-1

플러그인 업데이트 주소를 아래와 같이 지정해준다.

https://updates.jenkins.io/update-center.json

우분투에서 apt로 레파지토리를 등록하고 설치를 할 때 이런 에러가 발생할 때가 있다.

특히 Jenkins

The following signatures couldn't be verified because the public key is not available: NO_PUBKEY FCEF32E745F2C3D5

키 등록을 못한 것이라서 아래의 명령으로 된다. 아래의 키는 예시이므로 키는 자신의 것의로 바꾼다.

sudo apt-key adv --keyserver-options http-proxy=http://proxy.cns.widerlab.io:8080 --keyserver keyserver.ubuntu.com --recv-keys FCEF32E745F2C3D5

만약 서버가 외부 네트워크로 나갈 때 proxy를 사용해야만 한다면 위의 명령으로는 키가 등록되지 않는다. 다음과 같이 proxy를 지정해준다.

sudo apt-key adv --keyserver-options http-proxy=http://proxy.cns.yourproxy.com:8080 --keyserver keyserver.ubuntu.com --recv-keys FCEF32E745F2C3D5

이제 설치하려던 패키지를 설치하면 된다.

우분투에 Mecab(은전한닢) 형태소 분석기를 설치하는 방법입니다.

Mecab 메카브 간략 설명

Mecab를 간단히 설명하면

• Mecab은 C++로 만든 일본어 형태소분석기입니다.
• Mecab-ko는 Mecab를 고쳐서 만든 한국어형태소분기이며 “은전한닢”라고 부릅니다.

예전 포스트가 있니 참고하세요.

MeCab 형태소 분석기, 형태소분석기란 무엇인가? 워드세그멘터와 형태소분석기

설치방법

Mecab-Ko는 Mecab 코어 모듈과 Mecab-ko-dic을 먼저 설치해야 하는데 번거롭습니다.

konlpy에 있는 간략 스크립트를 쓰면 쉽게 설치가능합니다.

sudo apt-get install curl git
$ bash <(curl -s https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh)

Mecab만으로는 형태소분석을 테스트하거나 활용하기 어려우니 Python 모듈도 설치해줍니다.

# python3.10은 아직 문제가 있으니 안전하게 조금 오래된 버전으로 간다.
# python3.10 -m pip install mecab-python3
python3.8 -m pip install mecab-python3

파이썬을 실행해서 테스트 해봅니다.

mecab = Mecab()
' '.join(mecab.morphs("무궁화꽃이피었습니다."))
# '무궁화 꽃 이 피 었 습니다 .'

젠킨스로 git repository를 polling해서 코드가 푸시되었는지 확인한 후에 자동 빌드하는 프로세스를 만들면 로그에 이런 에러가 나면서 실패하는 경우가 있습니다.

Could not initialize class org.eclipse.jgit.internal.storage.file.FileSnapshot

젠킨스의 jgit 관련 클래스가 잘못된 것인데 이건 해결방법이 마땅치 않습니다.

그냥 Jenkins를 LTS가 아닌 최신버전이나 다른 버전으로 바꿔서 설치해야 합니다.

젠킨스를 설치하는데 지런 에러가 날 수 있습니다.

sudo apt update
sudo apt install jenkins

에러는 이렇습니다.

jenkins install Certificate verification failed: The certificate is NOT trusted. The certificate chain uses expired certificate. Could not handshake: Error in the certificate verification.

certification을 재설치해줘야 해결이 됩니다.

sudo apt install ca-certificates
sudo apt update
sudo apt install jenkins

2022년 최신판입니다.

늘 똑같은데 최근에 설치하는 방법이 좀 바뀌었군요.

우분투 리눅스에 R을 설치하는 법은 거의 바뀌지 않기 때문에 https://cloud.r-project.org/ 에 방문해서 코드를 복사한 후에 같은 방법을 쓰면 늘 되지만 가끔 방식이 바뀌므로 방문해서 바뀐 것을 확인해봐야 합니다.

빠른 설치 방법

설명을 생략한 코드 복붙이 필요하면 아래의 순서대로 하시면 됩니다.

sudo apt update -qq
sudo apt install --no-install-recommends software-properties-common dirmngr
wget -qO- https://cloud.r-project.org/bin/linux/ubuntu/marutter_pubkey.asc | sudo tee -a /etc/apt/trusted.gpg.d/cran_ubuntu_key.asc
sudo add-apt-repository "deb https://cloud.r-project.org/bin/linux/ubuntu $(lsb_release -cs)-cran40/"
sudo apt install --no-install-recommends r-base
R --version

한줄씩 따라가며 설치하기

복붙만 하다가는 바보가 됩니다. 어떤 순서로 설치하는지 알아둘 필요가 있습니다. 그래야 설치하다 문제가 생기면 어느 부분이 문제인지 알고 처리하는 법을 배울 수 있습니다.

시간이 없고 하기도 싫으면 굳이 지금 할 필요는 없습니다.

# 패키지 인덱스를 업데이트합니다.

sudo apt update -qq

# 헬퍼 패키지 2개를 설치합니다.

sudo apt install --no-install-recommends software-properties-common dirmngr

# 레파지토리 키를 설치합니다.

wget -qO- https://cloud.r-project.org/bin/linux/ubuntu/marutter_pubkey.asc | sudo tee -a /etc/apt/trusted.gpg.d/cran_ubuntu_key.asc

#  R 4.0 레파지토리를 등록합니다.

sudo add-apt-repository "deb https://cloud.r-project.org/bin/linux/ubuntu $(lsb_release -cs)-cran40/"

# 설치합니다.

sudo apt install --no-install-recommends r-base

# 버전을 확인합니다.

$ R --version
R version 4.1.3 (2022-03-10) -- "One Push-Up"
Copyright (C) 2022 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under the terms of the
GNU General Public License versions 2 or 3.
For more information about these matters see
https://www.gnu.org/licenses/.

현재 시점에서는 R 4.1.3이 최신 버전이고 곧 새버전이 출시된답니다.

관련 포스트

우분투 18.04에 R 설치하기 – Install R on Ubuntu 18.04

우분투 18.04에 자바11 설치하는 방법입니다.

18.04가 이제는 구버전이기도 하고 Java가 너무 구버전이 설치되어 있어서 업그레이드가 필요할 때가 많습니다. 보통 Java로 만들어진 애플리케이션들이 비교적 최근 버전의 자바를 요구하는 경우입니다.

설치하기

오픈JDK구버전을 제거합니다.

sudo apt-get remove openjdk*

오라클JDK도 제거합니다.

sudo apt-get remove oracle*

깔끔하게 청소해줍니다.

sudo apt-get autoremove --purge
sudo apt-get autoclean

openjdk 설치해야 하는데 커스텀 레파지토리를 추가하고 설치합니다.

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt install openjdk-11-jdk

버전을 확인해서 11.x.xx 가 보여야 합니다.

java --version

openjdk 11.0.11 2021-04-20
OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.18.04)
OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.18.04, mixed mode, sharing)

Pandas로 큰 CSV파일을 읽다보면 이런 에러가 나올 수 있습니다.

field larger than field limit (131072) read csv

즉 131072개의 컬럼까지만 읽을 수 있다는 것입니다. CSV의 컬럼이 131072개 이상이 있다는 것은 특이한 경우이긴 하지만 차원이 매우 높은 벡터 데이터가 있다거나 할 수 있기 때문에 실제로 이런 CSV파일이 없는 것도 아닙니다.

해결방법은 매우 간단합니다. csv.field_size_limit 함수로 시스템 최대치까지 늘려주시면 됩니다.

csv의 필드 크기 제한을 시스템 한계까지 늘려주면 해결할 수 있습니다.

import sys
import csv

csv.field_size_limit(sys.maxsize)

CUDA_ERROR_OUT_OF_MEMORY 에러

Tensorflow 작업을 하다보면 이런 에러가 보일 때가 있습니다.

보통 Jupyter notebook을 사용하는 서버 환경에 이런 에러가 보이는데

원인은 GPU를 사용하면서 GPU의 메모리를 할당받고 해제하지 않은 프로세스가 있거나 많기 때문입니다.

이 프로세스가 지금 실행하고 있고 중요한 것이 아니면서 Jupyter notebook으로 실행된 메모리 점유만 하고 사용하지 않는 것이라면 그냥 kill 하면 됩니다.

먼저 nvidia-smi로 GPU의 할당 내역을 보고 nvidia-smi –gpu-reset으로 해제를 시도합니다.

sudo nvidia-smi
sudo nvidia-smi --gpu-reset

하고 나서도 해제가 안된다면 킬 해줍니다.

sudo kill -09 24089

하고 나면 깔끔해진 것을 볼 수 있습니다.

이제 메모리 오류가 발생했던 코드를 다시 실행하면 더 이상 에러가 발생하지 않습니다.

apt install을 하는데 다음과 같은 에러가 나오는 경우가 있습니다.

apt-get update failed because certificate verification failed because handshake failed on nodesource

위 에러는 우분투 리눅스에 설치된 certification에 문제가 생겼기 때문입니다.

다음과 같이 재설치하면 해결됩니다.

sudo apt install ca-certificates

젯브레인 툴(JetBrains IDE)에서 소스 코드에 빨간 밑줄이 쳐지면 오류가 있다는 표시입니다.

빨간 줄 위에 마우스를 올리고 조금 기다리면 툴팁(풍선 처럼 뜨는 작은 팝업)으로 오류 메세지를 보여줍니다.

오류를 쉽게 인지하고 수정할 수 있게 해주기 때문에 상당히 유용한 기능입니다.

이걸 Error Description Tooltip 이라고 부르는데

그런데 마우스 올리고 시간이 조금 지나야 보이기 때문에 빨리 보려면 기다리는 시간이 답답할 때가 있습니다.

화면 예시

Error Description shortcut

단축키를 기억하고 있으면 툴팁을 바로 나오게 할 수 있습니다.

Error Description 툴팁을 바로 나오게 하는 단축키 입니다.

• 윈도우 Windows: CTRL + F1
• 맥 Mac: CMD + F1

Nvidia의 AI 데모를 볼 수 있는 사이트입니다.

굉장히 재밌는 것들이 많습니다.

사이트주소: https://www.nvidia.com/en-us/research/ai-demos/

NVIDIA GAUGAN2

텍스트를 입력받아서 사진을 생성해줍니다.

단순한 그래픽이 아닌 실사와 다름없는 사실상 실사인 사진를 생성해줍니다.

LYRICSTUDIO

노래의 가사를 만들어줍니다.

몇개의 단어와 노래를 입력받아 쓸만한 가사를 만들어줍니다.

NVIDIA VID2VID CAMEO

2D사진을 넣으면 3D 동영상으로 가상의 아바타를 만들어줍니다.

NVIDIA IMAGE INPAINTING

이미지를 강화합니다. 이미지에서 피사체 중 하나를 지우거나 배경을 지울 수 있습니다.

이미지 강화는 여러 용도로 이용할 수 있습니다. 특히 상업용으로 사진을 사용하기 위해서 사진에서 상표나 인물 보기 싫은 대상체를 제거할 수 있습니다.

NVIDIA GANIMAL

애완동물의 표정을 다른 동물에게 입힙니다.

재미삼아 만든 것으로 보입니다만 어떤 용도로 쓸 수 있을지 고민을 해봐야 겠습니다.

NVIDIA GAMEGAN

스스로 게임하는 인공지능을 만듭니다.

강화학습이라고 부르는 이 인공지능으로 유명한 것은 알파고가 있습니다.

쉘스크립트(shell script)로도 If elif 를 사용할 수 있습니다.

가끔 쓰기 때문에 기억이 잘 나지 않아서 말이지요.

그리고 case 구문을 지원하기 때문에 여러 조건을 확인해야 하는 것도 가능하지만

case문은 가독성이 너무 떨어지기 때문에 거의 사용하지 않습니다.

어쨌든 shell script (bash 기준)에서 if, elif, else 구문은 이렇게 씁니다.

#!/bin/bash

a="1"
if [[ $a == "1" ]]; then
    echo "a is 1"
elif [[ $a == "2" ]]; then
    echo "a is 2"
elif [[ $a == "3" ]]; then
    echo "a is 3"
elif [[ $a == "4" ]]; then
    echo "a is 4"
else
    echo "a is not 1, 2, 3, or 4"
fi

리눅스에서 fullname, FQDN 이름을 알아내는 방법입니다.

여러가지 방법이 있지만 hostname 명령어를 사용하는 것이 가장 쉽습니다.

hostname -A

주의할 것은 반드시 -A로 A가 대문자여야 하는 것입니다.

소문자로 쓰면 안되는 경우가 있으므로 주의하세요.

리눅스 curl 코맨드로 https url을 당겨올 때 에러가 날때가 있습니다.

curl: (77) error setting certificate verify locations:
  CAfile: /etc/pki/tls/certs/ca-bundle.crt
  CApath: none

원인은 /etc/pki/tls/certs/ca-bundle.crt 가 없기 때문입니다.

다음과 같이 하면 처리됩니다.

sudo mkdir -p /etc/pki/tls/certs
sudo cp /etc/ssl/certs/ca-certificates.crt /etc/pki/tls/certs/ca-bundle.crt

자모비 Jamovi 라는 도구를 알게 되서 소개 드립니다.

R과 통합할 수 있다고 되어 있고 R구문을 지원한다고 나와있습니다.

아직 많이 사용해보지는 않았지만 지금까지는 그럭저럭 쓸만한 것 같습니다.

접속 주소: https://www.jamovi.org/

R언어의 유명한 인용문 10개에 대한 유튜브 동영상입니다.

재미삼아 보세요.

버킷테스트는 인터넷 사이트나 앱에서 흔히 하는 환경을 분리한 사용자 군을 대상으로 한 실험을 말합니다.

버킷테스트는 A/B테스트와 밀접한 관계가 있고 동일한 용어로 취급하기도 합니다.

그러니 A/B테스트에 대해서 잘 모른다면

예전에 A/B 테스트에 대해서 포스팅한 것이 있으니 먼저 참고하시기 바랍니다.

A/B 테스트 포스팅 글 👈

버킷테스트 개념

두 개의 양동이에 실험할 대상을 따로 떠내서 실험을 다르게 하던 것에서 출발한 것입니다.

버킷 = Bucket = 양동이

왜 버킷테스트라고 부르나?

버킷테스트는 사실상 A/B테스트와 거우 동일한데 A/B 테스트라고 하지 않고 버킷테스트라고 하는 이유가 있습니다.

A/B테스트는 원래 실험환경을 갖추고 통제된 환경에서 실험을 시작하지만 버킷테스트는 통제되지 않은 상황의 군집에서 일부를 꺼내서 실험을 하기 때문에 버킷테스트라고 부릅니다.

어떻게 하나?

예를 들어 설명해 보겠습니다.

먼저 실험설계를 합니다.

실험설계

유명한 포털사 네이박은 자신들이 운용하는 포털페이지의 기본 글꼴을 “맑은 고딕”에서 “탁한 고딕”으로 바꾸려고합니다. 이유는 “탁한 고딕”이 가독성이 더 높고 편안해서 사용자들이 글을 더 빨리 이해하고 클릭도 많이 할 것이라는 의견이 나왔기 때문입니다.

버킷테스트 진행

1. 포털에 접속하는 사용자에게 발행한 쿠키를 기준으로 A그룹과 B구그룹으로 완전하게 분리할 수 있는 두 그룹을 만듭니다. 실험을 하는 동안 A그룹과 B그룹의 멤버들이 변화가 있어서는 안됩니다.
2. A그룹은 전체 사용자의 1% B그룹은 전체 사용자의 1% 동일하게 하고 나머지 98%의 사용자는 내버려둡니다.
3. 1%라는 수치는 포털의 전체 사용자수에 따라 달라지며 검정력 테스트라는 방법으로 필요한 샘플수를 알아낼 수 있습니다.
4. A그룹은 내버려두고 B그룹이 보는 페이지에만 “맑은 고딕” 대신에 “탁한 고딕”을 적용합니다.
5. 실험을 3주정도 진행합니다.
6. 실험기간 동안 두 그룹의 클릭한 수, 페이지당 체류시간, 페이지 뷰 수 등 필요한 수치를 모두 뽑아냅니다.
7. 가설검정을 통계적인 검정법으로 테스트합니다.
8. B그룹의 클릭수 또는 클릭율이 더 높다면 대립가설 채택합니다.
9. 전체 사용자를 대상으로 사이트의 폰트를 “탁한 고딕”으로 바꿉니다.

실험이 끝난 후에는 통계적 평가를 그대로 따르면 됩니다.

여기에서 가장 중요것은 A와 B그룹이 동일한 숫자여야 하고 서로 섞이지 않아야 하며 완전히 통제되야 한다는 것입니다.

A/B 테스트의 대해서 포스팅합니다.

무척 많이 쓰는 용어지만 잘 모르는 분들이 많습니다.

특히 A/B 테스트는 어설프게 알면 크게 당하기 쉽습니다. 만만해 보여도 개념을 잘못 잡으면 큰 착각을 하게됩니다.

개념

A/B 테스트는 A와 B가 유의미한 차이가 있는지 검정한다는 뜻입니다.

통계학에서 다루는 개념이며 실험입니다.

A와 B의 의미는 대조군을 A, 실험군을 B라고 의미없이 붙이는 것에서 나온 것입니다.

대조군은 원래 상태에 있는 것을 말하고

실험군은 원래 상타에서 뭔가를 바꾼 것을 말합니다.

알기 쉬운 예

콩발의 첨가물 테스트라는 아날로그식 예를 들어보겠습니다.

이 예제 테스트의 목적은

콩밭에 새로운 첨가물을 주고 이 첨가물이 전에 쓰던것 보다 더 콩의 수확량을 늘리는지 확인하려고 합니다.

다음과 같이합니다.

1. 콩밭 1000제곱비터가 2개 있고 하나를 A 하나를 B라고 이름 붙입니다.
2. A와 B에 동일한 종자의 콩을 심습니다. 다른 것 심으면 실험은 망합니다.
3. A에는 원래 쓰던 첨가물을 쓰고 B에는 새로 개발한 첨가물을 씁니다.
4. 동일한 조건으로 콩을 키웁니다. 물도 똑같이 주고, 햇빛도 똑같이 쬐게하고, 땅도 동일하게 다져줍니다.
5. 콩을 수확합니다.
6. A와 B에서 각각의 콩들을 무작위로 동일한 양을 꺼내서 무개를 잽니다. 무작위로 꺼내는 것이 싫으면 가능하다면 다 꺼내서 재도 되지만 그렇게 하는 경우는 없습니다.
7. A와 B의 콩무게가 유의미한 차이가 있는지 확인합니다. 이걸 가설검정이라고 합니다.
8. B의 콩무게가 더 무겁다면 B에 사용한 비료를 다음에 씁니다.

통제된 상태라는 것의 의미

여기서 중요한 것은

A와 B 모두 통제된 상태여야 합니다. 이 뜻은 A와 B가 콩을 기르는 동안 한쪽은 티가 많이 오고 한쪽은 그늘이 져서 햋볕이 잘 들어오지 않거나 하는 불평등한 상황이 되면 안된다는 것이고 첨가물을 다르게 준 것 외에는 조건이 동등해야 하는 것을 말합니다.

A와 B의 개체수가 동일해야 함

A와 B의 콩줄기의 숫자가 동일해야 합니다. 하지만 그러기는 매우 어려우니 대충 콩밭의 사이즈라도 동일해야 합니다. 한쪽이 크거나 하면 그것으로 인해서 콩의 수확양이나 성장 조건이 달라질 수 있기 때문입니다.

콩밭의 사이즈는 통상 한쪽이 다른 한쪽의 2%가 넘지 않게 합니다.

실험이 끝나면 가설검정을 해야 함

사실 B 콩밭에 첨가물을 다른 것을 준 이유는 콩 수확량이 증가할 것이라는 기대 때문입니다.

통계학에서는 귀무가설과 대립가설이라는 것을 정의하고 그것으 실험의 결과를 판단합니다.

여기에서 귀무가설은 A의 콩무메가 B의 콩무게와 차이가 없다.

대립가설은 B의 콩무게가 A의 콩무게와 차이가 있다.

이렇게 합니다.

여기서 실험결과가 귀무가설에 맞는지 대립가설에 맞는지를 확인하는 것을 가설검정이라고 합니다.

가설검정 공식

가설검정을 확인할 때는 공식이 있습니다.

무작정 A와 B에서 무작위로 콩을 골라서 무개를 재서 한쪽이 더 많은지 똑같은지 비교 하는 것은 안됩니다.

그렇게 하면 대부분의 경우 미세하게나마 한쪽의 콩무게가 더 무겁습니다.

쓸모없는 실험입니다.

상식적으로 생각해도 그게 정말 오류가 많을 수 있다는 것을 알 수 있습니다.

그래서 통계적으로 그 차이가 유의미한지 아닌지를 보는 연구된 방법을 쓰는데 그 방법은 매우 다양하고 많습니다.

그래서 각 상황에 맞게 어떤 통계적 검정 방법을 사용해야 하는지와 지켜야 할 것을 알아야 하는데 그걸 공부하는 학문이 통계학입니다.

위의의 콩무게와 같은 것은 스튜던트의 T테스트라는 테스트 공식으로 확인합니다.

스튜던트의 T테스트는 한쪽 집단의 평균과 다른 한쪽의 평균이 유의미한 차이가 있는지 의미없는 차이만 있는지 확인하는 유명한 방법입니다.

스튜던트의 T테스트는 엄청나게 유명한 테스트 방법입니다.

공식은 검색해서 찾아 보면 잘 나오므로 복잡하게 여기에서 설명하지 않겠습니다.

엑셀, Python, R을 비롯한 많은 통계 소프트웨어에 이런 가설검정법은 대부분 내장되어 있습니다.

웹페이지에서 사용하는 콘텐트 편집기로 TinyMCE라는 유명한 것이 있습니다.

워드프레스를 포함한 많은 웹상의 편집기들이 이 편집기를 씁니다.

https://www.tiny.cloud/

TinyMCE 대안으로 Froala 라는 것이 있어 소개합니다.

https://froala.com/

장점

가볍고 깔끔합니다.

여러 플랫폼에 연동이 됩니다.

단점

자료가 많지 않아 문제가 생겼을 때 해결책을 찾기 어렵습니다.

네이버 블로그는 많은 디지털마케터들의 마케팅 도구, 수단이 되어 왔습니다.

한국에서 가장 큰 검색 포털이 네이버이고 그 다음이 카카오의 다음검색이기 때문입니다.

블로그 글을 작성해서 조회수를 올리고 어떤 상품이나 제품을 한국사람에게 보여줘서 광고나 홍보의 목적으로 노출하려면 네이버에 블로그를 올려야 합니다.

올린 글을 사람들에게 잘 검색되서 보여지고 검색 결과의 상단부에 위치할 수 있게 관리하는 것을 SEO(Search Engine Optimization, 서치엔지최적화)라고 합니다.

그리고 이런 SEO에 가장 효과가 좋은 것은 사상실 스팸(SPAM) 기술입니다.

이런 스팸성 기술을 방어하기 위한 노력은 오래전에 시작되었습니다.

세계 최고의 검색회사인 구글의 검색 결과의 랭킹은 유명한 PageRank 알고리즘에서 출발했습니다.

거기에 비해 네이버는 너무 오랫동안 검색 기술에 투자를 하지 않았고 구글의 기술력과 규모가 급속도로 발전하는 사이에 그 격차가 너무나 멀어졌습니다.

그리고 전통적으로 검색에서 사용되었던 단순한 TF/IDF나 콘텐트 기반의 검색 링킹으로는 SEO를 잘 알고 경험도 많은 블로거, 마케터, 콘텐츠 관리자들을 상대하기 버거워졌습니다.

그래서 네이버는 C-rank 알고리즘을 만들어 블로그 검색에서 Creater의 신뢰도를 검색랭킹의 자질(feature)중 하나로 사용하게 됩니다.

사실 구글의 페이지랭크는 콘텐트의 영향력을 기반으로 랭킹을 계속 업데이트하기 때문에 생산자의 신뢰도가 약하게 나마 그 자체에 포함되어 있다고 볼 수 있습니다. 물론 지금은 그보다 훨씬 복잡하고 많은 자질과 알고리즘을 쓴다고 알려져 있어 저렇게 단순하지 않을 것입니다. 하지만 네이버는 그런것조차 되어 있지 않았다는 것입니다.

어쨌든 네이버의 블로그글은 C-rank를 사용하기 때문에 이제 단순히 인기 키워드가 사람들이 검색을 많이 할 것 같은 키워드로 상위에 위치하는 것은 이미 어렵게 되어 있고 꾸준히 콘텐트를 올리고 사람들의 조회수를 늘려서 작성자의 신뢰도 점수를 올리지 않으면 블로그 콘텐츠를 상위에 노출하는 것은 어렵다는 것입니다.

그래서 네이버의 블로그 마케팅을 하려면 C-rank 알고리즘을 이해해야 합니다.

네이버 C-rank에서 사용하는 자질

오래전의 내용이기 때문에 지금과 많이 다르겠지만 아래의 표에 있는 것이 네이버 C-rank에서 사용하는 항목들입니다.

아래의 자질들이 나타내는 것을 요약해보면 스팸성 글들은 하위에 위치하도록 하겠다는 의도가 보입니다.

어떤 플랫폼이나 서비스에서도 스팸은 서비스의 품질을 떨어뜨리는 것입니다. 하지만 무작정 필터링할 수도 없는 것이 문제입니다. 그래서 결국 스팸 콘텐츠는 랭킹을 떨어뜨려 하위에 보이게 하도록 하는 거이 가장 좋은 방법입니다.

네이버의 C-rank 자질을 보면 그런 의도가 보입니다.

네이버 C-rank 때문에 블로그 마케팅은 불가능한가?

많은 블로그 마케터들이 여전히 성과를 내고 있습니다. 바꿔 말하면 방법이 있으며 여전히 C-rank가 방어하지 못하는 구멍이 있다는 것입니다.

이 방법에 대해서는 나중에 포스팅을 해보겠습니다.

네이버 C-rank 블로그 글

https://m.blog.naver.com/naver_search/220774795442

CMS (Content Management System)는 콘텐츠를 관리하는 시스템입니다.

여기서 말하는 콘텐츠는 글을 뜻합니다. 몇장의 이미지와 동영상이 포함될 수도 있지만 내용물의 중심은 글입니다.

글의 형식은 산문입니다. 블로그가 될 수도 있고 보고서가 될 수도 있습니다.

보통은 블로그, 뉴스레터 형식입니다.

대표적인 CMS는 워드프레스가 있습니다. 워드프레스는 지구상에서 가장 많이 사용되는 CMS입니다.

하지만 워드프레스는 PHP에 MySQL로 구동되서 조금 무겁다고 느껴지고 개인이 셀프 설치를 하려면 서버 호스팅을 받아야 하는 기술 장벽과 비용 장벽이 있습니다. 유/무료 서비스를 사용할 수도 있지만 커스터마이징 해서 사용하기 어렵다는 단점을 가지게 됩니다.

Ghost는 Node.js와 MySQL을 사용하는데 최종 결과물을 정잭 콘텐츠로 생성해서 배포하는 것까지 지원합니다.

상당힌 깔끔하고 가볍습니다.

다만 워드프레스 만큼 기능이 다양하지 않고 복잡한 커스터마이징은 되지 않습니다.

하지만 현재 워드프레스를 추격하며 가장 핫하게 떠오르는 CMS툴입니다.

자기의 서버에 설치를 할 수도 있고 서비스에 가입해서 사용할 수도 있습니다.

고스트의 주소입니다.

https://ghost.org

그리고 유명한 콘텐츠 큐레이션, 뉴스레터 서비스인 퍼블리도 ghost를 사용하고 있다고 알려져 있습니다.

d3 기반이나 Javascript 그래프, 플롯 라이브러리들은 쓰기 편하고 예쁜것들이 많지만

기능이 너무 많고 무겁고 복잡한 것도 많습니다.

d3 기반의 간단하고 깔끔한 라이브러리가 있어서 소개합니다.

metrics-graphics입니다.

아래 스크린샷을 보면 느끼겠지만 간단하고 깔끔합니다.

간단한 것이 없어서 고민했다면 한 번 사용해보세요.

사이트

https://metricsgraphicsjs.org/

소스코드

https://github.com/metricsgraphics/metrics-graphics

데이터 프로세싱을 할 때 고속으로 파일을 읽어서 계산을 하거나 비정형 데이터를 처리할 때 Go lang, Rust, C/C++을 써야 할 때도 있습니다.

Python, R, Shell script 만으로는 해결이 안되는 것들이 있습니다.

데이터 작업을 할 때 컴파일러를 포함한 빌드 언어의 문제는 여러가지가 있지만 큰 문제는

• 인터랙티브 모드로 실행이 되지 않아서
• 복잡한 코드일 수록 빌드 시간이 너무 길어서

위의 두 가지입니다.

데이터 과학에서는 첫번째 문제가 더 큰 장벽이 됩니다만 가끔 계산속도가 빠른 코드로 집계를 하거나 기계학습, 수리적 계산을 해야 할 때는 속도만을 위해서 사용성을 포기하고 컴파일 랭귀지를 사용할 때가 있습니다.

어쨌든 C/C++을 사용할 때 빌드 시간이 길어서 생기는 문제를 해결하는 획기적이면서 간단한 방법을 알게되어 소개드립니다.

Unity Build라는 것입니다.

원리는 간단한데 소스 코드를 한 개의 파일로 만들어서 빌드하는 것입니다.

자세한 내용은 아래의 블로그에 잘 설명되어 있으니 참고해 보세요.

간단합니다. 순서대로 아래의 명령을 실행하면 됩니다.

sudo apt update && sudo apt upgrade -y
sudo apt install software-properties-common -y
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt install python3.10 python3.10-dev

python3.10-dev 설치는 선택사항입니다.

우분투 18.04에서 Python3.6을 제거하는 방법입니다.

제거를 하고 싶은 이유는

우분투에 Python 새버전을 추가로 설치하다보면 구버전이 계속 남아서 패키지를 설치할때 혼동이 되거나 오류가 발생하기도 해서 꼭 구버전을 제거하고 싶을 때는 다은과 같이 합니다.

그런데 제대로 안되는 경우가 많아서 하지 않는 것이 좋습니다. 우분투가 기본 패키지 버전을 관리하거나 시스템을 관리하는데 파이썬을 설치하기 때문에 함부로 제거하면 이런 시스템에 문제가 발생합니다.

어쨌든 파이썬을 제거하려고 한다면 다음의 명령대로 하면 됩니다.

sudo add-apt-repository --remove ppa:fkrull/deadsnakes  # 레파지토리 제거. 선택사항
sudo apt-get update  # apt 업데이트
sudo apt-get remove --purge python3.6  # 패키지 퍼지

우분투 18.04에 R을 설치하는 방법입니다.

요점

• apt로 설치하는 것입니다.
• Ubuntu 20.04에 설치하는 방법과는 조금 다를 수 있습니다.
• 시스테에 최소 1Gb 메모리가 필요합니다.

리눅스 필요 패키지 설치

필요한 리눅스 패키지를 먼저 설치합니다.

sudo apt install apt-transport-https software-properties-common

R패키지가 있는 CRAN 레파지토리를 등록하고 GPG 키도 등록

R패키지를 설치하려면 CRAN을 apt에 등록하고 gpg키도 등록해줘야 합니다.

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E298A3A825C0D65DFD57CBB651716619E084DAB9
sudo add-apt-repository 'deb https://cloud.r-project.org/bin/linux/ubuntu bionic-cran35/'

R 설치

apt를 업데이트해주고 r-base를 설치하면 끝납니다.

sudo apt update
sudo apt install r-base

R버전 확인

다음의 명령어로 버전을 확인합니다.

R --version

최신버전인지 확인합니다.

R version 4.1.2 (2021-11-01) -- "Bird Hippie"
Copyright (C) 2021 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under the terms of the
GNU General Public License versions 2 or 3.
For more information about these matters see
https://www.gnu.org/licenses/.

젠킨스(Jenkins)의 웹서비스 포트는 8080입니다.

우분투 리눅스에서 젠킨스의 포트를 변경하려면 아래의 파일을 수정해야합니다.

sudo vim /etc/default/jenkins

8080이 기본 포트인데 다른 적당한 포트로 변경해 줍니다.

파일 안에서 아래의 줄을 찾아서 포트를 변경하면 됩니다.

# HTTP_PORT=8080
HTTP_PORT=9090

변경했으면 젠킨스를 재시작합니다.

sudo /etc/init.d/jenkins restart

끝

R과 Rstudio를 Windows에서 사용하다보면 한글로 나와야 할 메세지가 깨져 보일 때가 있습니다. 특히 에러메시지나 경고메세지가 보일 때 그렇습니다.

아래 그림에서 보이는 것 처럼 마름모꼴 도형으로 깨져 보입니다.

언어설정을 영어로 변경한다

언어 설정을 영어로 변경하면 영어로는 메세지를 볼 수 있습니다.

Sys.setenv(LANG = "en_US.UTF-8")

윈도우에서 경고 메세지를 한글로 보는 방법은 없다

깨진것을 고쳐서 한글로 보는 방법은 아직 없습니다. 영어로 바꿔서 봐야 합니다. 다음과 같이 모든 메세지를 영어로 변경해주면 됩니다.

원인은 R이 UTF-8을 쓰고 Windows가 euc-kr을 쓰기 때문이다

R은 멀티바이트 언어 즉, 로마 알파벳 계열을 사용하지 않는 언어인 한국어, 중국어, 일본어같은 것을 표현할 때 메세지를 모두 UTF-8을 사용하는데 윈도우는 내부에서 UTF-8을 처리할 수는 있지만 화면에 표현할 때는 무조건 euc-kr를 사용합니다. 애플리케이션에 따라서는 이 문제를 해결한 것들이 있지만 Rstudio는 그 처리를 해주지 않습니다.

그래서 영어로 봐야 합니다.

apt를 사용하다보면 에러 메세지가 보일 때가 있습니다.

E: Sub-process /usr/bin/dpkg returned an error code (1)

무슨 종류의 에러인지 메세지만 보고 알기 어려워 해결법 찾기가 어렵지만 알고보면 간단합니다.

설치한 패키지의 의존성이 파손된 것입니다.

다음의 명령으로 의존성 문제가 생긴 것을 해결해주면 됩니다.

sudo rm /var/lib/dpkg/info/*
sudo dpkg --configure -a
sudo apt update -y

리눅스에서 텍스트파일 조인하기

리눅스 코맨드로 csv 2개를 결합하는데 특정 컬럼의 값을 기준으로 조인해서 붙이고 싶을 때가 있습니다.

DB에서 SQL로 조인하는 것처럼 하는 것 말입니다.

리눅스에서 이런 것은 오래전부터 당연히 되지만 명령이 복잡하고 선행 조건이 있습니다. 그래서 외우기 보다는 된다는 것만 알고 스니펫을 적어 두고 찾아서 쓰는 것이 더 편할 수 있습니다.

자세히 봐놓지 않으면 무척 헷갈리고 실제로 해보면 잘 안되기 때문에 천천히 읽어보시기 바랍니다.

조건

언어 설정을 한국어/한글로 바꾸기

우선 파일 안에 한글이 있고 조인을 할 컬럼에 한글이 포함되어 있다면 현재 환경의 언어 설정을 한글로 지정해줍니다. 조인할 파일에 한글이 아예 없으면 안 해도 됩니다.

export LC_ALL="ko_KR.utf8"

파일의 줄바꿈을 CRLF에서 LF로바꾸기

파일을 리눅스나 유닉스에서 생성했다면 문제가 없겠지만 윈도우에서 생성했거나 외부에서 가져왔을 때 텍스트 파일의 줄바꿈 문자를 바꿔줘야합니다.

조인할 두 파일에서 조인에 사용할 컬럼은 모두 정렬되어 있어야합니다. 그것은 명령에서 처리하면 됩니다.

우선 전체 코드는 다음과 같습니다.

#!/bin/bash

# 환경에 언어를 설정하기. 한글 소팅 때문)
$ export LC_COLLATE="ko_KR.utf8"

# 내용 확인
$ cat 1.txt

# 1       홍길동
# 2       전우치
# 4       변학도
# 3       이몽룡
# 5       성춘향

# 내용 확인
$ cat 2.txt

# 성춘향  18세
# 이몽룡  19세
# 전우치  20세

# 결합하기
$ join -t $'\t' -1 2 -2 1 -o 1.1,1.2,2.2 -a1 <(sort -k 2 1.txt | tr -d '\015') <(sort -k 1 2.txt | tr -d '\015') | sort -k 1

# 1       홍길동
# 2       전우치  20세
# 3       이몽룡  19세
# 4       변학도
# 5       성춘향  18세

1.txt는 탭으로 2개의 컬럼이 구분된 파일이고 1번 컬럼은 번호, 2번 컬럼은 사람의 이름입니다.

2.txt는 탭으로 2개의 컬럼이 구분된 파일이고 1번 컬럼은 이름, 2번 컬럼은 나이입니다.

여기에서 하려는 것은 1번의 이름과 2번의 이름을 결합한 다음 1.txt 파일에 컬럼에 나이 컬럼을 하나 추가해서 붙이는 것입니다.

위의 코드에서 마지막 결과물처럼 만들려는 것입니다.

명령어는 아래와 같은데 복잡하므로 분해해서 설명합니다.

join -t $'\t' -1 2 -2 1 -o 1.1,1.2,2.2 -a1 <(sort -k 2 1.txt) <(sort -k 1 2.txt) | sort -k 1

-t $’\t’ : 구분자를 탭으로 하겠다는 것입니다. join 명령어는 구분자를 단일문자만 받기 때문에 \t를 쓰려면 저렇게 앞에 $를 쓰고 따옴표로 둘러싸줘야 합니다.

-1 2 : 이것은 1번 파일에서는 2번째 컬럼을 기준 키로 쓰겠다는 뜻입니다.

-2 1 : 2번 파일에서는 1번째 컬럼을 기준 키로 쓰겠다는 것입니다.

-o 1.1,1.2,2.2 : 출력을 할 때 1.1 (1번째 파일의 1번 컬럼), 1.2 (1번째 파일의 2번 컬럼), 2.2 (2번째 파일의 2번 컬럼)입니다. 콤마로 출력할 컬럼을 구분하고 마침표로 파일 순번과 컬럼 순번을 입력하는 것입니다.

-a1 : 1번 파일을 기준으로 그 다음의 파일을 붙이라는 뜻입니다. 이것을 안 쓰면 결합할 파일에서 출력할 때 키가 겹치는 것만 남습니다. SQL에서는 이너조인(inner join)과 같이 됩니다. 이 옵션을 빼고 실행해 보시면 차이를 금방 알 수 있습니다.

<(sort -k 2 1.txt) : 1번 파일을 컬럼 2번을 기준으로 정렬하라는 것인데 <를 앞에 붙이고 소괄호로 둘러싼 것은 정렬된 파일을 미리 만들지 않고 동적으로 정렬하기 위한 것입니다.

<(sort -k 2 1.txt) : 위에서 설명했습니다.

sort -k 1 : 결과물을 다시 1번 컬럼을 기준으로 정렬합니다.

Tensorflow, Keras, Torch에서 각 버전과 GPU를 사용할 수 있는지를 알아내는 코드입니다.

GPU가 장착된 서버 또는 데스크탑에서도 Nvidia 드라이버와 CUDA를 제대로 설치하지 않아서 사용을 못하는 경우가 많습니다.

GPU가 있고 또 사용할 일이 있을 것 같다면 확인을 하고 시작하는 것이 좋습니다.

# 립러링 프레임워크들의 버전과 GPU 확인

# 1. Tensorflow
import tensorflow as tf
print("Tensorflow version: {}".format(tf.__version__))
print("Tensorflow GPUs: {}".format(tf.test.is_gpu_available(
    cuda_only=False,
    min_cuda_compute_capability=None
)))
from tensorflow.python.client import device_lib
print("Tensorflow device list: {}".format(device_lib.list_local_devices()))

# 2. Keras
from keras import backend as K
import keras
print("Keras version: {}".format(keras.__version__))
print("Keras GPUs: {}".format(K._get_available_gpus()))

# 3. PyTorch
import torch
print("Torch device count: {}".format(torch.cuda.device_count()))
print("Torch device name: {}".format(torch.cuda.get_device_name(0)))
print("Torch CUDA is available: {}".format(torch.cuda.is_available()))

결과는 이런 식으로 나옵니다.

Tensorflow version: 2.6.0
Tensorflow GPUs: True
Keras version: 2.6.0
Keras GPUs: ['/device:GPU:0', '/device:GPU:1']
Torch device count: 2
Torch device name: NVIDIA GeForce RTX 3080
Torch CUDA is available: True

Python 노트북에서 Keras, Tensorflow로 작업을 하다가 패키지를 업데이트하거나 해서 GPU 설정을 잘못하면 다음가 같은 에러가 납니다.

cannot import name 'get_config' from 'tensorflow.python.eager.context' (/usr/local/lib/python3.8/dist-packages/tensorflow/python/eager/context.py)

해결책은 그냥 tensorflow gpu 버전을 같이 설치해 주면 됩니다.

pip install --upgrade tensorflow
pip install --upgrade tensorflow-gpu

기계학습, AI, 딥러닝을 구별하려면 알고리즘의 히스토리를 알아야 하기 때문에 공부하지 않고 직관적으로 이해하기 어렵습니다.

기계학습 Machine Learning

기계학습, Machine Learning, 머신러닝, ML 이라는 용어로 통용됩니다.

기계를 학습시켜서 반복적인 작업을 하게 만드는 것을 기계학습이라고 합니다. 이 때 학습이라는 것은 데이터를 넣고 데이터에 있는 패턴을 알아내서 패턴으로 부터 규칙이나 사실을 알아내고 그것을 그대로 다시 활용하는 것을 말합니다.

여기에서 데이터는 결국 숫자들의 뭉치이고 패턴이라는 규칙도 결국 숫자들입니다.

패턴을 어떻게 알아내느냐는 여러가지 방법이 있습니다. 통계학자들이 만들어낸 통계적인 알고리즘, 수학자들이 만들어낸 수학적인 알고리즘 등이고 이것들을 활용해서 만든 SVM, Decision Tree, Logistic Regression, Neural Network 등과 같은 오래된 유명한 알고리즘들이 있습니다.

이 중에 Neural Network (인공신경망, 뉴럴네트워크, NN)이라는 것이 있는데 이것과 SVM과 같은 고차원 문제를 다루는 몇가지 수학적인 알고리즘 따로 구분해서 따서 AI라고 따로 분리합니다.

그리고 인공지능이라는 쪽으로 협소하게 구분해서 AI라고 합니다.

인공지능 AI

인간의 뇌를 모방한 후 알아서 스스로 작동하게 하는 모든 것을 AI라고 합니다. 게임할 때 사람과 싸우는 가상의 존재들도 AI라고 부릅니다. AI는 기본적으로 알고리즘을 이용해 만든 소프트웨어와 데이터 뭉치들입니다. 앞서 설명한 기계학습의 일종입니다.

뉴럴네트워크, Neural Network, 인공신경망

인공신경망은 인간의 뇌구조를 모방한 것인데 임의로 만들어 놓은 많은 숫자들과 함수들을 배열해 놓고 데이터를 흘려 보내서 이 숫자들을 데이터의 규칙에 맞는 최적으로 숫자로 맞추게 됩니다.

그리고 이 숫자들을 나중에 활용할 때 씁니다.

흔히 예로 많이 쓰는 고양이 사진과 멍멍이 사진을 구분하게 만드는 것도 마찬가지입니다. 사진을 넣으면 사진을 조각내서 색생과 밝기 같은 것을 숫자들로 만들고 이 숫자들을 뉴럴네트워크라는 수학적인 모델에 무수히 많이 반복해서 흘려 넣습니다. 그러면 뉴럴네트워크 내에서 고양이 사진과 개 사진을 구별할 수 있는 숫자 뭉치가 나옵니다.

딥러닝, Deep Learning

뉴럴네트워크가 다 좋은데 2가지 큰 문제가 있었습니다.

첫번째, 연산을 너무 많이 한다는 것. 그러니까 CPU와 메모리를 너무 많이 쓰고 시간도 오래 걸립니다.

두번째, 숫자를 만들어 내는 층을 많이 만들면 모델이 엉망이 된다는 것입니다. 은닉레이어라고 하는데 이 층을 많이 만들 수 없었습니다.

그런데 2010년 전후로 이 알고리즘이 대격변이 일어납니다. 알고리즘의 결함을 크게 개선했고 GPU와 같은 하드웨어의 급속적인 발전으로 이 숫자 뭉치를 만들어내는 층을 더 깊게 할 수 있고 더 많이 더 빠르게 할 수 있게 되었습니다.

그 뒤 이 숫자를 찾아내는 층이 더 깊어졌고 알고리즘으로 만들어낸 모델들의 정확도가 비약적으로 높아졌습니다.

이것을 딥러닝, 심층학습이라고 부릅니다.

현재의 대세는 딥러닝

데이터와 GPU가 많다면 현재는 가장 정확한 것은 딥러닝입니다.

인공지능, 자율주행, 가상현실, 게임, 대부분의 영역에서 덥러닝은 가장 활발하며 아직도 급속도로 발전하고 있습니다.

딥러닝은 뉴럴네트워크의 개선형이며 딥러닝을 만든 사람이 뉴럴네트워크의 이미지가 너무 안좋아서 다른 이름을으로 불리길 원했을 뿐 실제로는 같은 계열입니다.

하지만 여전히 많은 부분에서 전통적인 ML 기술도 쓰이고 있고 여전히 유용합니다. 예를 들어 사람의 신용평가와 같은 기계학습 모델에 딥러녕을 쓸 필요도 없고 잘 되지도 않습니다. 데이터가 충분하지 않기 때문에 이런 것은 데이터가 부족해도 잘 돌아가는 융통성있는 알고리즘이 필요하기 때문입니다.

어쨌든 경우에 따라 ML도 하고 AI도 하게 되는데 그래서 이런류의 기술을 ML/AI 라고 합쳐서 많이 부릅니다.

Ubuntu에서 패키지를 업데이트 하는 도중에 다음과 같은 에러 메시지를 보는 경우가 있습니다.

이거 생각보다 잘 복구가 되지 않는데요.

dpkg: error processing package update-notifier-common (--configure):

여러가지 방법을 써봤지만 잘 안되고 가장 확실한 것은 다음과 같이 하는 것입니다.

cd /var/lib/dpkg
sudo mv info info.bak
sudo mkdir info
sudo apt-get upgrade

GPU를 사용하기 위해서는 드라이버를 설치하고 몇가지 작업을 해줘야 합니다.

Python에서 GPU를 쓸 수 있게 되어 있는지 아닌지 확인할 때 pytorch를 쓴다면 다음과 같이 하면 됩니다.

import torch

print("쿠다 가능 :{}".format(torch.cuda.is_available()))
print("현재 디바이스 :{}".format(torch.cuda.current_device()))
print("디바이스 갯수 :{}".format(torch.cuda.device_count()))

for idx in range(0, torch.cuda.device_count()):
    print("디바이스 :{}".format(torch.cuda.device(idx)))
    print("디바이스 이름 :{}".format(torch.cuda.get_device_name(idx)))
    

결과는 이런식으로 나옵니다.

쿠다 가능 :True
현재 디바이스 :0
디바이스 갯수 :2
디바이스 :<torch.cuda.device object at 0x7fd3cd576460>
디바이스 이름 :GeForce RTX 3080
디바이스 :<torch.cuda.device object at 0x7fd3cd5766d0>
디바이스 이름 :GeForce GTX 1080

오랜만에 Gensim을 설치해서 사용하려고하니 오류가 나옵니다.

ValueError: numpy.ndarray size changed, may indicate binary incompatibility. Expected 88 from C header, got 80 from PyObject

number의 ndarray 사이즈가 바뀌었다는 오류메세지인데 해결책은 간단합니다.

numpy를 다시 설치하면 됩니다.

pip uninstall numpy
pip install numpy

추가로

numpy는 매우 중요한 패키지이기 때문에 가능하면 최신으로 유지하는 것이 좋습니다. 하지만 일부 ML/AI 패키지들이 numpy 구버전을 요구하는 경우가 있습니다.

이런 경우는 뚜렷한 해결책은 없습니다. 그냥 낮은 버전의 numpy를 사용하는 패키지를 제거하는 것이 좋습니다.