Jump to content
Pathfinder

Manipulação de múltiplos arquivos grandes

Recommended Posts

Bom dia!

 

Tenho uma tarefa a realizar, e queria sugestões de como implementar (não a codificação em si, mas como realizar). Um ponto de partida!

 

Tenho um arquivo X com todas simulações de configurações possíveis de valores para um sistema funcionar, bem ou mal. Arquivo com mais de 20 milhões de linhas. X tem mais de 20 variáveis distintas.

 

Em um arquivo Y tem todas configurações confirmadas em simulador que geram erro, parada ou desperdício de insumos. Y tem entre 6 e 8 variáveis por linha. Temos mais de 20 mil linhas em Y.

 

A idéia é filtrar todas linhas de X de forma que em um arquivo de saída só saiam as linhas validadas por todas regras de Y.

 

Um complicador é o volume de linhas. Se cada linha do arquivo X que não passasse por uma das regras de Y não fosse mais analisada, aceleraria em muito tempo a execução do script. Ou seja, talvez gerar um arquivo de saída temporário, e na próxima execução o arquivo X a ser analisado seria o temporário, em vez do original.

 

Por último, pergunto se alguém conhece algum serviço na nuvem onde eu possa rodar esse script mais rápido em um computador de altíssima performance?

 

 

 

 

 

 

 

 

 

 

 

 

Share this post


Link to post
Share on other sites

Pensou em jogar isto em Banco de Dados ? Uma tabela teria os dados brutos e outras os dados refinados.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By rcamu
      Pessoal, alguém poderia me enviar um exemplo de formulário ou sistema de cadastro para entradas de produtos onde eu tenho 1 cliente e possa incluir vários produtos?
       
      Isso será utilizado num sistema de estoque que estou fazendo e preciso ter uma tela de saída de produtos onde eu informo o cliente e depois vou incluindo os produtos que comprou(quantidade, valor unt, valor total do item etc) e no final soma o valor total da saída.
    • By WebSantaCatarina
      Boa tarde pessoal. Estou desenvolvendo o site de uma cervejaria artesanal. Porém, esbarrei num probleminha. O site já está pronto. O único problema é que ele deve ter em sua entrada, uma mensagem perguntando se o usuário é maior de idade (caso sim, ele pode navegar, se não, sai do site).
       
      Preciso que essa mensagem apareça apenas na primeira entrada do usuário, para que ele não ficasse aparecendo cada vez que voltasse à home page.
       
      Até cogitei a possibilidade de fazer um arquivo index.html com a pergunta e os dois botões. O problema é que se alguém entrar no site por buscadores, e o caminho for uma página que não seja a home, tal mensagem não será exibida.
       
      Seria algo como este http://www.emporiodacerveja.com.br/
       
      Alguém pode me ajudar?
       
      Valeu galera :D
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.