[BI] Data Warehouse X Data Mart

Construir um projeto de Data Warehouse (DW) é dispendioso e demora um bom tempo. Tudo depende do tamanho da empresa, do número de bases de dados que irão integrar o projeto, interfaces com outros sistemas, quantidade de pessoas na equipe, comprometimento e dedicação para implementação, ferramentas utilizadas, etc.

Percebendo isso, os arquitetos, resolveram segmentar a construção do DW, começando por departamentos a criação do mesmo. Ao invés de fazer o caminho tradicional, que é construir um DW e a partir dele os Data Marts (DM), fizeram o contrário. Começava-se pelos DM´s e esses iriam fazer a alimentação no Data Warehouse (DW). As vantagens são muitas. A principal é o tempo de implementação. Há alguns casos que um DM para área comercial foi construído em apenas 3 meses.

Os Data Marts são bancos de dados modelados multidimensionalmente, orientados aos departamentos de uma empresa, por exemplo, a área comercial, financeira, marketing e logística construíram vários Data Marts (DM) cada uma. Ao final de dois anos, eles passaram a alimentar um DW que depois de implementado, passou a fazer o caminho inverso, que é de alimentar os DM. Então com essa fundamentação, podemos definir que os DM podem surgir de duas maneiras.

Top-down: é quando a empresa cria um DW e depois parte para a segmentação, ou seja, divide o DW em áreas menores gerando assim pequenos bancos orientados por assuntos aos departamentos.

Botton-up: é quando a situação é inversa. A empresa por estratégia sua, prefere primeiro criar um banco de dados para somente uma área. Com isso os custos são bem inferiores de um projeto de DW completo. A partir da visualização dos primeiros resultados parte para outra área e assim sucessivamente até resultar em um Data Warehouse.

Ou seja, podemos ir comprandos gavetas a medida que for necessário, no final teremos um fichário. Ou podemos comprar um grande fichário e ir preenchendo as gavetas.

A infra-estrutura de software e hardware é semelhante, porém a arquitetura dos dados pode ser bem diferente. No DW podemos ter o modelo de dados híbrido ou pode ser completamente relacional, já no DM o modelo é totalmente dimensional. A complexidade de tratamento das informações no DW são maiores, porque temos de olhar toda a estrutura da empresa, já no DM fica mais fácil, pois estamos olhando apenas uma parte dela. Portanto, cabe a cada empresa avaliar a sua demanda e optar pela melhor solução.

Ralph Kimball é um defensor da teoria de que o DW deve ser dividido para depois ser conquistado, ou seja, que o mais viável para as empresas é desenvolver vários Data Marts para posteriormente integrá-los e, assim, chegar-se ao DW. Na sua avaliação, as empresas devem construir Data Marts orientados por assuntos. Ao final, teriam uma série de pontos de conexão entre eles, que seriam as tabelas Fato e Dimensã o em conformidade. Dessa forma, informações entre os diferentes Data Marts poderiam ser geradas de maneira íntegra e segura. Kimball batizou esse conceito de Data Warehouse Bus Architeture.

Bill Inmon rebate essa teoria e propõe justamente o contrário. Na sua avaliação deve-se construir primeiro um Data Warehouse, modelando-se toda a empresa para se chegar a um único modelo corporativo, partindo-se posteriormente para os Data Marts construídos por assuntos ou departamentais. Inmon defende a idéia de que o ponto de partida seriam os CIF – Corporate Information Factory – uma infra-estrutura ideal para ambientar os dados da empresa. O CIF seria alimentado pelos sistemas transacionais. A construção de um ODS (Operational Data Store) seria facultativa, mas essa iniciativa ajudaria a reduzir a complexidade da construção de um DW, uma vez que todo o esforço de integração entre os sistemas transacionais da empresa seria depositado nele.

Os principais passos tomados ao longo da construção de um Data Mart são:

* Projetar

* Construir

* Popular

* Acessar

* Gerenciar

Projetar Este é o primeiro passo no processo de implementação de um Data Mart. Esta etapa abrange desde a requisição do Data Mart, passando pela coleta de informações sobre os requisitos até o desenvolvimento das estruturas física e lógica do Data Mart.

Construir Este passo inclui a criação do banco de dados físico e de todas as estruturas lógicas que permitirão acesso rápido e eficiente aos dados.

Popular Popular o Data Mart engloba extrair os dados das fontes, filtrá-los, modificar toda a informação coletada até a mesma atingir o formato e o nível de detalhe desejados e mover o resultado para o Data Mart em si.

Acessar Esta etapa envolve o uso dos dados armazenados: consultar, analisar, criar relatórios, gráficos e publicá-los. O usuário geralmente utiliza uma interface gráfica para consultar o banco de dados e visualizar os resultados das operações.

Gerenciar Este passo envolve a manutenção do Data Mart durante todo seu ciclo de vida. Efetua-se controle de acesso, otimização de performance, gerenciar o crescimento do data mart e recuperação de falhas.