Python MySQL을 쓰다가 다음과 같은 에러를 만날 때가 있습니다. Pandas의 데이터를 MySQL 테이블 넣거나 할 때 생기는 문제입니다. 경고이기 때문에 큰 문제는 없지만 경고 메세지를 화실하게 해결하고 싶을 때가 있습니다.
Data truncated for column ~다음과 같이 해결하면 됩니다.
비용 이상감지는 이상감지를 비용과 밀접한 관련이 있는 데이터에 하는 것입니다.
이상감지는 시간에 따른 흐름과 추세의 패턴이 있는 시계열 데이터가 과거의 패턴에서 많이 벗어났는지를 감지하는 모델을 말합니다.
이상감지는 통계적 모델, 기계학습, AI 등 모든 종류의 모델을 다 사용합니다.
이상감지는 주로 사고를 미리 감지하기 위한 것이 많은데 온라인 서비스의 다운 징후, 온라인 서비스 사용자 또는 트래픽의 급증과 급감, 각종 공장 또는 장치의 사고나 고장 위험 등을 위해서 모델을 만들고 운영합니다.
BI와 대시보드, 그라파나, 키바나 같은 것에 연동하거나 별도의 시각화를 만들기도 합니다.
이상감지의 세부 갈래 중 하나인 비용이상감지는 사고 중에서도 비용지불에 대한 이상감지에 중점을 둡니다.
전기료, 수도요금, 클라우드서비스 비용 등과 같은 것입니다.
하지만 전기료, 수도요금은 실시간으로 데이터를 추적하기 어렵고 특별히 이상이 발생하기 어렵기 때문에 이상감지가 유용하지 않습니다. 대신 최근에 많이 사용되는 클라우드 비용 관리에는 큰 효과가 있습니다.
비용이상감지를 사용하면 클라우드 비용의 과다 지출에 대한 사전 징후를 미리 감지해서 비용 낭비를 방지할 수 있습니다. 체크해야 할 항목이 매우 많기 때문에 어떻게 운영하느냐에 따라 다르겠지만 전체 비용에 대해서 비용을 구성하는 모든 하위 지표를 모니터링해서 그중에 문제를 발생시키는 가장 이상한 지표들을 빨리 감지하는 용도로 쓸 수 있습니다.
그외에 광고 캠페인의 운영에 대한 지출 비용에 대한 이상여부를 감지하는데도 사용할 수 있습니다.
광고 캠페인은 최대 지출 비용을 정해두고 사용하는 경우에는 예상했던 기간보다 더 빨리 광고비가 소진되는 것을 발견해서 이상 징후를 감지하고 캠페인 중에 최대 비용을 정하지 않고 신용카드를 등록한 후 집행된 만큼 지불하는 경우에는 매우 유용합니다.
BigQuery에서 with 구문을 많이 사용하거나 Sub query, Inline view를 과도하게 사용하면 나오는 오류입니다.
쿼리를 분할하거나 단계를 간단하게 줄이는 방법밖에 없습니다.
join할 때 on 구문에 조건이 많을 때에도 이 에러가 나오므로 view를 생성하거나 하는 방법으로 회피할 수 있습니다.
랜덤컷포레스트 (Random Cut Forest)는 AWS에서 만든 이상감지모델입니다.
감지가 매우 정확한 편이지만 처리 속도가 매우 느린 알고리즘입니다.
랜덤컷포레스트의 Rust소스를 github에서 발굔해서 여겨에 소개합니다.
https://github.com/aws/random-cut-forest-by-aws/tree/main/Rust/src
아직 실행은 해보지 못했습니다.
ChatGPT(챗GPT)는 채팅(대화)를 위해 만든 인공지능 소프트웨어입니다.
채팅을 위해 만든 GPT라는 뜻인데
GPT 모델은 인공지능 모델을 한 방식입니다.
건축에 빗대어 얘기하면 인공지능을 만드는 설계방식의 한 종류라고 생각하면 됩니다.
인공지능 모델은 수학적인 구조를 실제로 작동하게 만든 자료와 소프트웨어 덩어리를 말합니다.
즉 컴퓨터 프로그램입니다.
GPT를 만든 곳은 OpenAI(오픈에이아이)라는 비영리연구회사입니다.
이 회사의 초기 투자자로는 테슬라의 일런 머스크가 있고 현재 가장 큰 투자자는 마이크로소프트입니다.
GPT는 생성가능한 선행 학습된 트랜스포머 라는 뜻인데
트랜스포머는 구글이 만든 언어 해석 및 합성을 위한 인공지능모델입니다.
GPT는 구글이 만든 트랜스포머의 변형 및 개량형입니다.
실현가능한 초거대언어모델이라는 점이 장점입니다.
초거대모델은 엄청나게 많은 문서자료를 학습해서 그 문서들의 모든 맥락고 의미를 거대한 자료로 압축해 놓은 것을 말합니다.
초거대 모델을 학습하기 위해서 막대한 컴퓨터계산이 필요합니다.
다른 모델들은 이렇게 많은 문서자료를 학습해도 제대로 학습하지 못해서 그리 똑똑하지 않거나 학습하는데 컴퓨터계산이 너무 많이 들어서 100년이 걸려도 학습이 안 끝날 수 있습니다.
GPT는 초거대 모델을 한 번 만드는데 4주 정도 소요되고3 00억 정도의 돈을 쓰는 것으로 알려져 있습니다.