Problemas com importação de tabela em csv

[chrystofferkh 0]

Olá amigos, bom dia. Venho procurar ajuda.

Dias atrás importei uma tabela em csv de 9GB e funcionou perfeitamente.

Conferimos a quantidade de linhas que ficou no bd e com o csv, revisamos algumas linhas.. tudo certo.

Agora tenho que fazer a mesma coisa, mas com outra tabela e outro arquivo csv também de 9GB, quase 10GB.

Fiz os mesmos comandos apenas alterando o nome do arquivo e o nome da tabela... terminado fomos conferir, o bd ficou com mais linhas do que o próprio arquivo!! O que pode estar gerando essas linhas a mais? Não tenho como conferir linha por linha, pois são mais de 18 milhões de linhas com 39 'campos' dentro da tabela...

Edit: Bom, importei novamente e descobri um dos problemas. Ele importou normal agora.. mas perde linha quando eu removo colunas que não vou usar na tabela. Por exemplo...

O arquivo tem 19.444.896 linhas, quando importo o bd fica exatamente com a mesma quantia de linhas... quando removo as tabelas que não são necessárias o bd diminui para 19.443.743 linhas. No arquivo todas as linhas estão preenchidas pois são todas de campos obrigatórios. Resumindo, quando removo colunas que não vou usar, perco linhas

[lokaodomau 61]

Este arquivo é gerado por vocês por outro banco MySQL ou por uma fonte externa?

 

Estão importando pelo comando LOAD DATA INFILE? Estão especificando os delimitadores dos campos/colunas?

 

Este assunto também me interessa, pois não consegui resolver um problema semelhante.

[chrystofferkh 0]

Então,eu executei pelo LOAD DATA sim:

LOAD DATA LOCAL INFILE  'ARQUIVO.csv'
INTO TABLE `TABELA`
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

[lokaodomau 61]

O que pode ter acontecido é que algum campo no CSV possui mais de 1 linha, algum campo como observação, onde o usuário tenha "livre acesso".

[lokaodomau 61]

E para o caso de o usuário também ter colocado aspas duplas na observação, seria bom utilizar o ESCAPED BY '\'