Pandas로 큰 CSV파일을 읽다보면 이런 에러가 나올 수 있습니다.field larger than field limit (131072) read csv즉 131072개의 컬럼까지만 읽을 수 있다는 것입니다. CSV의 컬럼이 131072개 이상이 있다는 것은 특이한 경우이긴 하지만 차원이 매우 높은 벡터 데이터가 있다거나 할 수 있기 때문에 실제로 이런 CSV파일이 없는 것도 아닙니다.
해결방법은 매우 간단합니다. csv.field_size_limit 함수로 시스템 최대치까지 늘려주시면 됩니다.
csv의 필드 크기 제한을 시스템 한계까지 늘려주면 해결할 수 있습니다.
import sys
import csv
csv.field_size_limit(sys.maxsize)
