Volume de dados muito grade o que fazer

[EduardoSerious 0]

Ola

 

estou fazendo um sistema para um equipamento medico que gera pra mim

+- 2000 inteiros por segundo que variam de 30mil a -30mil

que devem ser guardados para depois serem exportados para programas que geram gráficos e analises

cada sessão de exame demora la seus 10min então são mais de 1 milhão de inteiros

 

vale apena usar banco de dados ou é ate melhor exportar para o txt isso ai

obrigado

 

[advaldomesquita 93]

Eduardo, vamos devagar com seu ambiente.

Grandes volumes requerem um hardware que o suporte também, e claro tudo tem seu custo.

Em alguns clientes eu trabalho com uma volumetria de 1milhão de registros por segundo e em outros pouco mais de 10 mil e tanto o hardware qto o software mudam muito.

 

O sistema que esta fazendo eh via WEB? Desktop? O banco de dados que esta pensando em utilizar eh o SQLServer que versão? Ou seria outro?

 

Estas exportações sao on-line ou agendadas (tempos em tempos)?

 

[]´s

[EduardoSerious 0]

Sistema tem que ser desk, o banco pensava em sqlserver mesmo mas pode mudar sem problemas

 

as exportações ocorrem ao fim de cada exame, que variam de tempo dependendo do paciente

[Motta 645]

... equipamento medico que gera pra mim ...

 

 

Em que isto é gerado ? Texto ?

 

... para programas que geram gráficos e analises ...

 

 

Ver a documentação deste programas e ver qual a interface (SGBD, texto , xml etc) que eles melhor trabalham.

 

Em geral é Banco de Dados.

 

==========================

 

Uma solução que me ocorre :

 

1) O equipamento grava texto num diretório qualquer

2) Um programa ou job que rode de x em x minutos :

__2.1) Carrega os arqivos para tabelas do BD

__2.2) Apaga ou muda os arquivos de diretório

3) O software de analise ler do BD

[EduardoSerious 0]

 

Em que isto é gerado ? Texto ?

 

 

Ver a documentação deste programas e ver qual a interface (SGBD, texto , xml etc) que eles melhor trabalham.

 

Em geral é Banco de Dados.

 

==========================

 

Uma solução que me ocorre :

 

1) O equipamento grava texto num diretório qualquer

2) Um programa ou job que rode de x em x minutos :

__2.1) Carrega os arqivos para tabelas do BD

__2.2) Apaga ou muda os arquivos de diretório

3) O software de analise ler do BD

 

os valores gerados sao inteiros, eles trabalham melhor com txt

 

mas gravo isso no banco como. normal? cada numero 1 registro?

[Motta 645]

Depende do que é gerado , como é este modelo de dados ?

Inteiro seria bigint , int etc deoendendo da precisão requerida.

 

Mas BD em geral é a forma mais segura de gurdar dados, questão de dimensionar bem o Banco , atento a fatores como volume, crescimento etc.

[EduardoSerious 0]

sao int16

 

o crescimento é o problema , sao 2000 int16 por segundo de cada sensor

sao 47 sesores entao gera mais dados que muita loja virtual grande

[Motta 645]

23.715.072.000.000 BYTES ANO

2,5 tera

f0)@ mas possível

 

mas o software de analise lê isto tudo !?

[EduardoSerious 0]

sim sim ele tera que ler tudo

mas dividido em sessoes neh de 10min a 15min neh

 

2,5 tera poxa nao tinha feito essa conta

[Motta 645]

Possível num bd bem modelado e dimensionado.

[advaldomesquita 93]

Não vejo o crescimento como o problema principal, pois isso se revolve com hardware e uma modelagem correta.

O problema maior é como você vai ser os dados desta base em tempo real.

 

A uns dias atras conversei com um amigo que fez um trabalho para uma empresa de imagens, e eles utilizaram o SQL2012 e tiveram que utilizar o mesmo esquema que é utilizado em BIGDATA, ou seja, particionamentos de bases, leitura/escrita em cloud, BI a parte da base "on-line" entre outros recursos. No caso, fui o consultor para DB da equipe e o trabalho foi bem maior que uma simples solução em BI.

 

[]´s