Conceito de como funciona um datawarehouse

[Victor Magalhães 0]

Bom galera, não sei se é no local correto, mas se não for é so avisar que eu tiro.

Estava estudando pra faculdade o que é um data warehouse e tinha que fazer um trabalho , um conceito geral, então eu fiz e resolvi compartilhar o conhecimento que tive com vocês, espero que gostem e bom estudos.

 

DATA WAREHOUSE

 

 

CONCEITOS

É o repositorio central de dados de toda a organização com o objetivo de prover suporte à decisão. É um grande banco de dados e esse banco vai ser um banco central onde vai ser tudo preparado para as pessoas fazerem suas análises, ele pode ser:

ORIENTADO POR ASSUNTO: contêm informações sobre os processos de negocio da empresa, podendo ser a área financeira, area de arrecadação, area de contabilidade e etc sendo todos os assuntos necessarios para tomada de decisão na empresa.

 

NÃO VOLATIL

Você não pode apagar os dados do banco , só é permitido fazer novas cargas ou seja os dados sempre vão ser acrescidos(inseridos), evidentemente deve se preocupar com espaço, pois o banco vai crescer por muito tempo, claro que pode conversar com seus gestores sobre os dados que não são mais usados na empresa “dados que não são mais usados” , para que eles possam permitir que façam um SPURGO(ou seja a elimição de dados).

 

VARIAVEL NO TEMPO

Contém dados não atualizaveis que se referem a algum momento especifico ou seja os dados vão sempre está concentrado no tempo, resumindo a variavel principal do banco(data warehouse) vai ser o tempo, deve se está se perguntando porque? A resposta é por que você vai concentrando o acumulo de dados ao decorrer do tempo, ou seja isso tem que ser controlado e todas as análises vão ser feita com relação ao tempo, a um periodo , podendo ser um mês, um semestre, um ano e etc. Lembrando que ao inserir os dados no banco (data warehouse) eles não são atualizados, então tem que tomar cuidado com isso.

 

OBJETIVOS

TORNA R A INFORMAÇÃO MAIS ACESSIVEL PARA A ORGANIZAÇÃO

Podendo ser ultilizados por usuarios operacionais (isso não é muito comum, pois é mais usados por gerente e executivos).

 

SER UMA FONTE SEGURA PARA PROTEGER A INFORMAÇÃO DA EMPRESA –

Tem que ser seguro pois é lá no banco principal(data warehouse) onde vai ser guardado o historico de tudo que ocorreu na empresa. Se por ventura os sistemas operacionais(funcionarios chão de fabrica) não guarda historico e atualiza dados então o data warehouse vai guardar tudo isso, então o historico de todo acontecimento vai ser registrado, por exemplo: uma pessoa que era solteira em um determinado periodo e fez uma compra mas agora ela é casada, então e empresa vai ter as duas situações no banco de dados e isso é de suma importância guarda o historico.

DEVE SER A BASE PARA A TOMADA DE DECISÃO

Então o datawarehouse deve sempre ser a base para a tomada de decisão, já que ele reune todas a informações da empresa durante anos ou seja é uma fonte importantissima de tudo que vem ocorrendo na empresa.

 

BENEFÍCIOS PARA QUEM TRABALHA COM O DATAWAREHOUSE

 

ELIMINA AS REDUDANCIAS

Varios sistemas cadastrado vários elementos diferentes, mas com a mesma terminologia, então na verdade acaba-se eliminando as redudancias de uma das etapas de pré processamento dos dados, exemplo: tabelas semelhantes que ocorrem no mesmo banco ou seja elas são unificadas uma tabela de clientes que está no sistema de financeiro e outra tabela de clientes que está no sistema de fornecedores, então acaba-se unificando todos os clientes em uma tabela só, então vai ser consultado em uma única tabela, é muito importante pois o dawarehouse ajuda a eliminar essas redundancias.

 

PADRONIZA AS TERMINOLOGIAS

Então acaba-se padronizando todas as entidades no banco de dados(tabelas), isso facilita pois haverá somente uma consulta.

 

DEMOCRATIZA A INFORMAÇÃO

Se eu tenho um banco de dados para que todos possa consultar e tomar suas decisões, nada melhor do que difundir isso na empresa, existem empresa que não vão distribuir todas informações para qualquer funcionario da empresa, mas pode ser criado situações no datawarehouse onde o funcionario chamado “chão de fabrica” possa tá trabalhando e que possa ver quanto ele está vendendo, o quanto ele está anualmente ganhando com a venda daqueles produtos, ou seja isso vai insentivar o o funcionario. Isso não há problema pois sabemos que o datawarehouse é somente de consulta que ninguém vai atualizar nada, então todo mundo vai somente consultar e isso não tem problema algum, mas isso acontece em alguma empresas.

 

AGILIZA O PROCESSO DE DECISÃO

Agiliza o processo de decisão e muito, pois está tudo reunido então pode-se rapidamente decidir sobre o rumo da empresa.

 

LIBERA TEMPO DO EXECUTIVO

Namedida que é rapido, e não é volatil, então não é preciso se preocupar em tá perdendo os dados ou seja ele registra tudo, um exemplo: se o executivo passou uma semana sem ir trabalhar, ele não precisa se preocupar com o que aconteceu na empresa, pois vai está tudo armazenado no datawarehouse acompanhado com relatórios padrão, pode se criar graficos e etc, que ele pode está acompanhando ao decorrer do tempo no seu dia a dia.

 

 

 

FATORES CRÍTICOS

Como nem tudo são flores, no data warehouse não é diferente, pois não é facil montar um datawarehouse e também é preciso de um apoio muito grande .

 

ALTA DIREÇÃO COMO PATROCINADORA DO PROJETO

Primeiro obviamente é uma obrigação contar com a alta direção, já que o administrador vai conversar com os tomadores de decisão, então a alta direção vai ter que patrocinar tudo, quando falamos de alta direção, referimos ao presidente, ao diretor geral ou até memso o dono, pois eles tem que está ciente, tem que está trabalhando e acompanhando o trabalho de perto, se a alta direção não colocar isso como meta, como prioridade existe uma probabilidade muito grande do projeto não ir pra frente.

 

ESCOLHA DE CONSULTORIA

A consultoria tem que ser adequada e experiente, pois já houve vários projetos fracassados, por consultoria pequenas que depois abandonam o projeto, não dão suporte e lembrando que o data warehouse, passa a vida toda, gerando e armazenando informações.

Existem projetos que o datawarehouse fica parado por aproximadamente 6 meses, então tem que tomar muito cuidado.

 

CONSTRUÇÃO DE UM DATAWAREHOUSE

 

OLTP

On line Transactional Processing: processamento online de transações.

Resumindo é aquilo que se processa e que executa(registra) as operações do dia a dia de uma organização, tudo que vai ser usado em um data warehouse para a contrução, vai vim dos OLTP, podendo ser sistemas, planilhas, texto xml e etc.

Toda OLTP é orientado à aplicação ou seja é trabalhando com o sistema transacional.

São sempre atualizaveis, como um update ao banco, outra caracteristica é que no OLTP o desempenho tem um fator critico, ou seja se um banco parar, então isso não dá certo.

Exemplo: Movimentação bancária, outra caracterisca é que é sempre usado a ultima versão dos dados.

 

MODELO RELACIONAL

Suportado pelos banco de dados relacionais: Oracle, PostgreSql, DB2 e etc.

 

OLAP

On line Analytical Processing: Processamento 'on line' de análise.

Podendo ter multiplas respostas é um modelo muito flexivel gerado a suporte de decisão. Sempre vai ser baseado no tempo para permitir e analisar tendencias e padrões em grande quantidade de dados: ao longo do tempo(historico) e em diferentes localizações(geograficos).

Diferente do OLTP, o OLAP trabalha com orientação à assunto. Outra caracteristica e diferente do OLTP é sempre tirado como se fosse uma foto ou um registro daquele periodo e no OLAP os dados são somente de leituras, diferente do OLTP o OLAP não é tão criticos, pois pode passar um pouco mais de tempo pesquisando, pois o banco é multidimensional então isso pode demorar um pouco.

 

 

 

MODELO MULTIDIMENSIONAL

A ideia é muito parecido com um cubo, onde os processos é bem mais rapido do que os modelos relacionais, pois são pré-processadas.

 

BANCO DE DADOS MULTIDIMENSIONAIS

Permite a criação, gerenciamento e consulta de dados no formato puramente multidimensional, tem uma execelente performace para consulta, outra caracteristica os dados são gravados via cargas batch(são comando que rodam no windows automaticos, muito parecido com os scripts do linux), outra caracteristica é que não há atualizações por parte do usuario, há não ser que o gestor disse que foi mudado algum dado de 5 anos atrás, então o administrador tem que dá um jeito de poder tá incrementando essa informação.

Exemplo: SQL Analisys Server, EssBase, Oracle express.

 

 

AMBIENTE DO DATAWAREHOUSE

 

Resumindo o OLTP que é o seus banco transacionais, depois tem que criar uma estrutura para extração e integração dos dados e logo depois jogar todos esses dados no DATA WAREHOUSE e logo depois o gestor ou usuario, vai ter um front end para poder acessar os dados , gerando relatórios e graficos, ou seja o front end, não é mais acessado através dos bancos transacionais (OLTP) mas sim através do datawarehouse.

[Wallyson B. Sampaio 0]

Gostei muito cara, me ajudou muito valeu ^^