Manipulação de múltiplos arquivos grandes

[Pathfinder 0]

Bom dia!

 

Tenho uma tarefa a realizar, e queria sugestões de como implementar (não a codificação em si, mas como realizar). Um ponto de partida!

 

Tenho um arquivo X com todas simulações de configurações possíveis de valores para um sistema funcionar, bem ou mal. Arquivo com mais de 20 milhões de linhas. X tem mais de 20 variáveis distintas.

 

Em um arquivo Y tem todas configurações confirmadas em simulador que geram erro, parada ou desperdício de insumos. Y tem entre 6 e 8 variáveis por linha. Temos mais de 20 mil linhas em Y.

 

A idéia é filtrar todas linhas de X de forma que em um arquivo de saída só saiam as linhas validadas por todas regras de Y.

 

Um complicador é o volume de linhas. Se cada linha do arquivo X que não passasse por uma das regras de Y não fosse mais analisada, aceleraria em muito tempo a execução do script. Ou seja, talvez gerar um arquivo de saída temporário, e na próxima execução o arquivo X a ser analisado seria o temporário, em vez do original.

 

Por último, pergunto se alguém conhece algum serviço na nuvem onde eu possa rodar esse script mais rápido em um computador de altíssima performance?

 

 

 

 

 

 

 

 

 

 

 

 

[Motta 645]

Pensou em jogar isto em Banco de Dados ? Uma tabela teria os dados brutos e outras os dados refinados.