Ir para conteúdo
Pathfinder

Manipulação de múltiplos arquivos grandes

Recommended Posts

Bom dia!

 

Tenho uma tarefa a realizar, e queria sugestões de como implementar (não a codificação em si, mas como realizar). Um ponto de partida!

 

Tenho um arquivo X com todas simulações de configurações possíveis de valores para um sistema funcionar, bem ou mal. Arquivo com mais de 20 milhões de linhas. X tem mais de 20 variáveis distintas.

 

Em um arquivo Y tem todas configurações confirmadas em simulador que geram erro, parada ou desperdício de insumos. Y tem entre 6 e 8 variáveis por linha. Temos mais de 20 mil linhas em Y.

 

A idéia é filtrar todas linhas de X de forma que em um arquivo de saída só saiam as linhas validadas por todas regras de Y.

 

Um complicador é o volume de linhas. Se cada linha do arquivo X que não passasse por uma das regras de Y não fosse mais analisada, aceleraria em muito tempo a execução do script. Ou seja, talvez gerar um arquivo de saída temporário, e na próxima execução o arquivo X a ser analisado seria o temporário, em vez do original.

 

Por último, pergunto se alguém conhece algum serviço na nuvem onde eu possa rodar esse script mais rápido em um computador de altíssima performance?

 

 

 

 

 

 

 

 

 

 

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

Pensou em jogar isto em Banco de Dados ? Uma tabela teria os dados brutos e outras os dados refinados.

Compartilhar este post


Link para o post
Compartilhar em outros sites

Crie uma conta ou entre para comentar

Você precisar ser um membro para fazer um comentário

Criar uma conta

Crie uma nova conta em nossa comunidade. É fácil!

Crie uma nova conta

Entrar

Já tem uma conta? Faça o login.

Entrar Agora

  • Conteúdo Similar

    • Por rcamu
      Pessoal, alguém poderia me enviar um exemplo de formulário ou sistema de cadastro para entradas de produtos onde eu tenho 1 cliente e possa incluir vários produtos?
       
      Isso será utilizado num sistema de estoque que estou fazendo e preciso ter uma tela de saída de produtos onde eu informo o cliente e depois vou incluindo os produtos que comprou(quantidade, valor unt, valor total do item etc) e no final soma o valor total da saída.
    • Por WebSantaCatarina
      Boa tarde pessoal. Estou desenvolvendo o site de uma cervejaria artesanal. Porém, esbarrei num probleminha. O site já está pronto. O único problema é que ele deve ter em sua entrada, uma mensagem perguntando se o usuário é maior de idade (caso sim, ele pode navegar, se não, sai do site).
       
      Preciso que essa mensagem apareça apenas na primeira entrada do usuário, para que ele não ficasse aparecendo cada vez que voltasse à home page.
       
      Até cogitei a possibilidade de fazer um arquivo index.html com a pergunta e os dois botões. O problema é que se alguém entrar no site por buscadores, e o caminho for uma página que não seja a home, tal mensagem não será exibida.
       
      Seria algo como este http://www.emporiodacerveja.com.br/
       
      Alguém pode me ajudar?
       
      Valeu galera :D
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.