MySQL에 대량 데이터 빨리 넣기

 테스트를 할 때 필수적인 사항은 대량의 데이터가 준비되어 있어야 한다는 것이다. 대량의 데이터를 DB에 넣는 방법 중에 파일로 만들어서 넣는 방법이 빠르다고 해서 해보았다.

---

 우선 CSV 파일을 만든다. 이때, 데이터는 CSV 파일에 적힌 그대로 들어가는데 VARCHAR라고 ''를 붙이게 되면 ''까지 같이 들어가게 된다. 그러니 그냥 문자열을 적는다.

 CSV 파일을 만들어서 서버에 옮기고 아래와 같이 실행하면 된다.

load data local infile '[파일경로]' into table [insert할 테이블명]
fields terminated by '[데이터 구분자. CSV의 경우 ,]'
lines terminated by '\n'
IGNORE 1 LINES // 첫번째 줄에는 각 컬럼명이 표시되어 있으므로 첫번째 줄을 무시하도록 한다.
(col1, col2, col3, ...); // insert를 원하는 컬럼명

실행하면 결과는 아래와 같다.

290만건의 데이터를 insert하는데 5분 11초 정도 걸렸다. 환경에 따라 속도는 차이가 날 수 있다.

데이터가 정말 들어가고 있는지 확인하려고 테이블을 select를 하면 데이터를 insert 하는 단일 트랜잭션으로 동작하기 때문에 확인할 수가 없다. 아니면 mysql에서 아래의 명령어를 사용해보자.

SHOW PROCESSLIST;