Usamos cookies para medir audiência e melhorar sua experiência. Você pode aceitar ou recusar a qualquer momento. Veja sobre o iMasters.
Olá pessoal,
Fui encarregado de importar a base de dados do IBGE para a nova base da empresa onde trabalho. Os dados vem em arquivos CSV e vou colocá-los na base de dados que será criada. Meu superior pediu para que eu criasse um tipo de cronograma com as etapas, mas quando eu mostrei ele disse que está incompleto e eu deixei de considerar muita coisa, então eu queria saber o que eu poderia colocar.
O meu cronograma foi assim:
Avaliar riscos e dificuldades
Entender estrutura dos dados CSV
Verificar se ferramenta ETL (Pentaho data integration) atende à todas as situações dos arquivos (existem arquivos com mais de uma dimensão para as informações)
Criar modelagem de 3 tabelas para teste
Realizar a extração e carga dos dados de teste
Realizar série de consultas para verificar consistencia dos dados
Criar modelagem para toda a base e documentar no Visual Paradigm
Realizar extração e carga dos dados para a nova base.
Realizar bateria de testes.
Essas foram as etapas que eu defini e fui criticado por estar MUITO incompleto (sim, com ênfase no muito =/), eu sou recém formado em sistemas de informação e essa é minha maior tarefa até hoje, eu ainda não tenho uma visão experiente para fazer algo melhor por isso conto com a ajuda de vocês.
Desde já eu agradeço.
Abraços.
>
São qts tabelas ?
Vai manter o modelo original ?
Eu suponho que é um modelo integro ?
Em todo caso peça uma "cola" um cronograma no padrão.
Mas na boa vai levar mais tempo fazendo o cronograma que importando as tabelas .....
Inicialmente são 26 tabelas, algumas chegam a ter mais de 100 campos. Sim, vamos manter o modelo íntegro, mesmas tabelas e mesmos campos. Sério que fazer um cronograma pode demorar tanto? =O
Estava de pilha ....
Este trabalho neste nível requer planejamento mesmo.
Liste as tarefas que serão necessárias e o tempo estimado.
Alguns wizard já criam as tabelas mas muitas vezes a tipagem e parametros ficam ruins
Abra as atividades por tabela ou grupos pois algumas darão + trabalho.
Mas peça uma "cola" para sacar o padrão.
[]s
Ola,
Eu fiquei na dúvida:
De qual DB é usado hoje e para qual será migrado?
Se for de MySQL para MySQL direto... o phpmyadmin tem muitas ferramentas de migração de dados.
Resta saber quando tempo demora para terminar todo o processo.
Só vejo uma forma... testar e saber este tempo.
Precisa ver a frequência das atualizações, se vai locar (impedir novas atualizações durante o processo) o DB durante a migração.
Não sei o que tem a ver com o ETL e outros sistemas .... Eu entendo que esteja desativando o atual servidor de DB e criando um novo servidor ... e nada muda já que o db já foi desenvolvido e tem as tabelas
Talvez rever os diagramas em busca de melhoras nas formas normais ou retirar redundancias do projeto atual
>
Ola,
Eu fiquei na dúvida:
De qual DB é usado hoje e para qual será migrado?
Se for de MySQL para MySQL direto... o phpmyadmin tem muitas ferramentas de migração de dados.
Resta saber quando tempo demora para terminar todo o processo.
Só vejo uma forma... testar e saber este tempo.
Precisa ver a frequência das atualizações, se vai locar (impedir novas atualizações durante o processo) o DB durante a migração.
Não sei o que tem a ver com o ETL e outros sistemas .... Eu entendo que esteja desativando o atual servidor de DB e criando um novo servidor ... e nada muda já que o db já foi desenvolvido e tem as tabelas
Talvez rever os diagramas em busca de melhoras nas formas normais ou retirar redundancias do projeto atual
Desculpe mas acho que vc não entendeu, não há um banco pronto, os dados estão em arquivos CSV ( uma espécie de tabela do excel) e por isso preciso do ETL
Realmente tem razão, entendi outra coisa :D
Precisa fazer as formas normais para otimização do banco
Muito estranho ter 100 campos ... pode fazer tabelas menores para otimização de buscas ...
Até onde sei ETL é feito para fazer exatamente isso ... receber outras fontes de dados e incluir no BD mas nunca usei para te ajudar !!!
São qts tabelas ?
Vai manter o modelo original ?
Eu suponho que é um modelo integro ?
Em todo caso peça uma "cola" um cronograma no padrão.
Mas na boa vai levar mais tempo fazendo o cronograma que importando as tabelas .....