데이터 과학, 데이터 사이언스, 데이터 분석, 빅데이터, 개발, Data science, Big Data, Statistics, Computer Science, Data Analytics, Data Analysis
젯브레인 툴(JetBrains IDE)에서 소스 코드에 빨간 밑줄이 쳐지면 오류가 있다는 표시입니다.
빨간 줄 위에 마우스를 올리고 조금 기다리면 툴팁(풍선 처럼 뜨는 작은 팝업)으로 오류 메세지를 보여줍니다.
오류를 쉽게 인지하고 수정할 수 있게 해주기 때문에 상당히 유용한 기능입니다.
이걸 Error Description Tooltip 이라고 부르는데
그런데 마우스 올리고 시간이 조금 지나야 보이기 때문에 빨리 보려면 기다리는 시간이 답답할 때가 있습니다.
단축키를 기억하고 있으면 툴팁을 바로 나오게 할 수 있습니다.
Error Description 툴팁을 바로 나오게 하는 단축키 입니다.
MeCab 형태소분석기에 대해서 간단히 설명하려고 합니다.
MeCab은 이제 우리나라에서 상당히 유명한 형태소 분석기가 되었지만 Mecab(메카부)는 일본어 형태소 분석기입니다.
영어로는 “미캡”이라고 읽어야 하는 것이 맞겠지만 원래 프로젝트 페이지에 카타가나 일본어 표기로 “메카부”라고 되어 있고 일본인들도 대부분 메카부라고 읽기 때문에 “메카부”라고 읽는 것이 맞습니다.
이 포스트에서도 메카부로 읽고 쓰겠습니다.
원래 NTT(일본 통신)에서 배포하는 오픈소스 일본어 형태소분석기이고 제작자는 구글로 이직한 것으로 알려져 있습니다.
상당히 좋은 성능으로 오랫동안 일본에서 가장 많이 쓰이는 오픈소스 형태소분석기 중 하나였습니다.
한국에는 변변한 오픈소스 형태소분석기가 없었던 시절 일본어와 문법체계가 비슷한 한국어를 위해 Mecab를 한국어 용으로 포팅한 은전한닢이라는 프로젝트가 생겨 Mecab를 한국어 용으로 사용하면서 한글 및 한국어 자연어처리 발전에 상당히 기여했습니다.
없습니다. 일본어는 한국어와 다르고 일본어에는 필요 없는 것과 한국어에만 있는 것을 적용하는 작업이 필요한데 그 작업을 해놓은 것이 은전한닢입니다.
세종계획 말뭉치와 다른 소스를 사용하고 있다고 알려져 있고 세종계획말뭉치로 학습을 해서 사용해보면 거의 같습니다.
현재는 여러곳에서 파생된 패키지와 소스를 받을 수 있습니다.
https://en.wikipedia.org/wiki/MeCab
https://fasiha.github.io/mecab-emscripten/
https://github.com/fasiha/mecab-emscripten#mecab-on-the-web
은전한닢을 ElasticSearch7에서 쓸 수 있게 해놓은 것이 있습니다.
cron과 같은 유형의 스케줄러는 데이터 처리를 할 때 반드시 필요합니다.
데이터과학자들은 주로 젠킨스(Jenkins)나 airflow를 사용하겠지만 Python이나 Go로 직접 작성해야 하는 경우도 종종 생깁니다.
패키지 “github.com/jasonlvhit/gocron” 를 사용하는 방법입니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 |
package main import ( "fmt" "github.com/jasonlvhit/gocron" "time" ) func task() { fmt.Println("태스크를 실행합니다.") } func taskWithParams(a int, b string) { fmt.Println(a, b) } func main() { // 파라미터 없이 잡을 실행 gocron.Every(2).Seconds().Do(task) gocron.Every(1).Minute().Do(task) gocron.Every(2).Minutes().Do(task) gocron.Every(1).Hour().Do(task) gocron.Every(2).Hours().Do(task) gocron.Every(1).Day().Do(task) gocron.Every(2).Days().Do(task) gocron.Every(1).Week().Do(task) gocron.Every(2).Weeks().Do(task) // 파라미터를 지정해서 잡을 실행 gocron.Every(1).Second().Do(taskWithParams, 1, "hello") // 지정한 요일에 잡을 실행 gocron.Every(1).Monday().Do(task) gocron.Every(1).Thursday().Do(task) // 지정한 시각에 잡을 실행 - 'hour:min:sec' - seconds optional gocron.Every(1).Day().At("10:30").Do(task) gocron.Every(1).Monday().At("18:30").Do(task) gocron.Every(1).Tuesday().At("18:30:59").Do(task) // Begin job immediately upon start gocron.Every(1).Hour().From(gocron.NextTick()).Do(task) // Begin job at a specific date/time t := time.Date(2019, time.November, 10, 15, 0, 0, 0, time.Local) gocron.Every(1).Hour().From(&t).Do(task) // NextRun은 다음번 실행될 시간을 알려줌 _, time := gocron.NextRun() fmt.Println(time) // 지정한 태스크 제거 gocron.Remove(task) // 모든 스케줄 작업을 제거 gocron.Clear() // 모든 펜딩잡을 시작 <-gocron.Start() // 새 스케줄러를 생성해서 동시에 2개의 스케줄러를 실행 s := gocron.NewScheduler() s.Every(3).Seconds().Do(task) <-s.Start() } |
일반 계정에서 http_proxy 환경변수를 설정해서 작업을 하다가 sudo를 사용해서 root 권한을 사용할 때 http_proxy 설정이 적용되지 않아 힘들때가 있습니다.
sudo visudo를 하거나 sudo vim /etc/sudoers을 해서 sudoers 파일에 다음의 줄을 추가해 주면 됩니다.
http_proxy 뿐만 아니라 다른 환경변수도 동일한 방법으로 넘겨주는 것이 가능합니다.
|
1 2 3 4 5 6 |
Defaults env_keep +="http_proxy" Defaults env_keep +="https_proxy" Defaults env_keep +="HTTP_PROXY" Defaults env_keep +="HTTPS_PROXY" |
기계학습으로 생성한 분류 모델, 예측 모델에서 빠지지 않고 나오는 혼동 행렬 (confusion matrix) 입니다.
기계가 얼마나 참과 거짓을 혼동하는지 확인하는데 사용하는 표이기 때문입니다.
간단하죠.
혼동행렬에서는 특이도, 정확도, 민감도, 정밀도, 재현율 다섯개의 값은 외워야 합니다.
이중에서 가장 많이 쓰는 것은 정밀도(precision)와 재현율(recall)입니다.
기계학습 모델의 성능을 한 지표로만 설명하라고 할 때 쓰는 것은 정확도(Accuracy)와 혼동행렬에는 없지만 F1-measure (F1 값)이 있습니다.
F1값은 정밀도화 재현율의 조화평균입니다.
여기서 특이도와 민감도는 ROC 및 AUC 를 계산할 때 쓰고
정밀도와 재현율은 AP 와 Precision-Recall 그래프를 계산할 때 씁니다.
아래는 혼동행렬(Confusion Matrix)입니다. 표가 좀 안 이쁘지만 힘들게 그렸으니 알아서 잘 봐주세요.
| 예측값 Forecast | |||
| 참 TRUE | 거짓 FALSE | ||
| 실제값 Actual | 참 TRUE | TP (True Positive) | FN (False Negative) |
| 거짓 FALSE | FP (False Positive) | TN (True Negative) |
각 지표값의 정의적 설명과 계산법입니다.
| 민감도 (Sensitivity) | (TP / (TP + FN)) 양성 중 맞춘 양성의 수 |
| 특이도 (Specificity) | (TN / (FP + TN)) 음성 중 맞춘 음성의 수 |
| 정밀도 (Precision) | (TP / (TP + FP)) 양성이라고 판정 한 것 중에 실제 양성 수 |
| 재현율 (Recall) | (TP / (TP + FN)) 전체 양성 수에서 검출 양성 수 |
| 정확도 (accuracy) | ((TP + TN) / (TP + FN + FP + TN)) 전체 개수 중에서 양성과 음성을 맞춘 수 |
민감도: 기계가 양성. 즉, positive를 얼마나 잘 꺼내서 맞췄는가를 봅니다.
특이도: 기계가 음성. 즉, Negative인 것을 양성이 아니라고 했는지를 봅니다.
민감도와 특이도는 보통 질병이나 의료에서 많이 쓰는 평가 지표입니다.
정밀도: 기계가 참이라고 했는데 실제 참인 것의 비율입니다. 기계가 얼마나 참을 순도 높게 찍어 내는지 보는 것입니다. 많이 맞추고 아니고는 별로 의미가 없이 기계가 참이라고 한 것 중에 참을 본 것이기 때문에 민감도와 헷갈리면 안됩니다.
재현율: 전체의 실제 참들 중에서 얼마나 기계가 참이라고 골라낸 비율입니다.
정확도: 전체 개수 중에서 기계가 실제 참을 참이라고 하고 실제 거짓을 거짓이라고 한 비율입니다.
처음에 보면 무척 헷갈리는데 외우는 것 보다는 이름과 계산법을 잘 기억하고 의미와 용도를 기억하는 것이 좋습니다. 기억이 안나면 그때 그때 찾아봐도 되지만 매우 빈번하게 쓰이는 것이므로 데이터과학을 공부한다면 그냥 암기해버리는 것이 효율적입니다.
Go언어로 CSV파일을 한줄씩 읽어오는 방법입니다.
파일을 메모리에 올려서 한 번에 처리하면 파일이 큰 경우에는 메모리를 다 쓰기 때문에 스왑을 사용해서 문제를 만듭니다.
조금 느리더라도 파일은 1줄씩 읽거나 조금씩 읽어야 합니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 |
// csv.gz 파일에서 데이터를 한 줄씩 읽어오는 방법 package main import ( "compress/gzip" "encoding/csv" "fmt" "io" "log" "os" "strings" ) func main() { file, err := os.Open("product_titles.csv.gz") if err != nil { log.Fatal(err) } defer file.Close() gzipReader, err := gzip.NewReader(file) if err != nil { log.Fatal(err) } defer gzipReader.Close() csvReader := csv.NewReader(gzipReader) csvReader.Comma = '\t' csvReader.FieldsPerRecord = -1 for { record, err := csvReader.Read() if err == io.EOF { break } if err != nil { log.Fatal(err) } // 첫번째 필드만 꺼내오기 fmt.Println("record count:", len(record)) if len(record) < 1 { log.Println("record is empty") continue } field1 := strings.Trim(record[0], " ") if len(field1) < 1 { log.Println("field1 is empty") continue } fmt.Println("field1:", field1) } } |
Nvidia의 AI 데모를 볼 수 있는 사이트입니다.
굉장히 재밌는 것들이 많습니다.
사이트주소: https://www.nvidia.com/en-us/research/ai-demos/
텍스트를 입력받아서 사진을 생성해줍니다.
단순한 그래픽이 아닌 실사와 다름없는 사실상 실사인 사진를 생성해줍니다.
노래의 가사를 만들어줍니다.
몇개의 단어와 노래를 입력받아 쓸만한 가사를 만들어줍니다.
2D사진을 넣으면 3D 동영상으로 가상의 아바타를 만들어줍니다.
이미지를 강화합니다. 이미지에서 피사체 중 하나를 지우거나 배경을 지울 수 있습니다.
이미지 강화는 여러 용도로 이용할 수 있습니다. 특히 상업용으로 사진을 사용하기 위해서 사진에서 상표나 인물 보기 싫은 대상체를 제거할 수 있습니다.
애완동물의 표정을 다른 동물에게 입힙니다.
재미삼아 만든 것으로 보입니다만 어떤 용도로 쓸 수 있을지 고민을 해봐야 겠습니다.
스스로 게임하는 인공지능을 만듭니다.
강화학습이라고 부르는 이 인공지능으로 유명한 것은 알파고가 있습니다.
Go언어로 csv.gz 파일을 만드는 코드입니다.
csv는 단순한 텍스트 파일이기 때문에 공간 절약을 위해서 요즘은 데이터 플랫폼들이 csv를 gzip으로 압축한 것을 바로 처리할 수 있도록 지원합니다.
그래서 파일을 만들때 단순한 csv를 만들지 않고 csv를 gzip으로 압축하는 것이 더 유리합니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
// An example of writing to a csv.gzip compressed file. package main import ( "compress/gzip" "encoding/csv" "fmt" "log" "os" ) func main() { csvGzipFile, err := os.Create("output.csv.gz") if err != nil { fmt.Println("Error:", err) return } defer csvGzipFile.Close() gzipWriter := gzip.NewWriter(csvGzipFile) if err != nil { log.Fatal(err) } defer gzipWriter.Close() csvFileWriter := csv.NewWriter(gzipWriter) if err != nil { fmt.Println("Error:", err) return } defer csvFileWriter.Flush() records := [][]string{{"item1", "value1"}, {"item2", "value2"}, {"item3", "value3"}} for _, record := range records { err := csvFileWriter.Write(record) if err != nil { fmt.Println("Error:", err) return } } } |
Go언어로 CSV 파일을 만드는 코드입니다.
데이터 과학 업무를 하다보면 데이터처리를 할 때 CSV 파일을 빈번하게 읽거나 만드는 일이 있습니다.
특히 사이즈가 큰 파일은 처리 속도도 매우 중요하기 때문에 Go나 Rust, C++로 처리해야 할 수 있습니다.
Go언어로 CSV 파일을 처리하는 방법을 알아 두면 그럴 때 편하게 쓸 수 있습니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
package main import ( "encoding/csv" "fmt" "os" ) func main() { csvFile, err := os.Create("output.csv") if err != nil { fmt.Println("Error:", err) return } defer csvFile.Close() records := [][]string{{"item1", "value1"}, {"item2", "value2"}, {"item3", "value3"}} writer := csv.NewWriter(csvFile) for _, record := range records { err := writer.Write(record) if err != nil { fmt.Println("Error:", err) return } } writer.Flush() } |
When you work on data science. you frequently deal with CSV files. and sometimes the CSV files are so big. in that case, processing speed is also important.
So you need to know how can you deal with CSV files with high-performance computer languages like Go, Rust, C++.