miércoles, 16 de mayo de 2018

Desarrollo de un entorno Hadoop de Cloudera como Datawarehouse

El tiempo es oro. El entorno empresarial cambia constantemente y llegar tarde a un mercado potencial puede llevar a perderlo. Hay que buscar la manera de ser los primeros con la calidad necesaria. Y para ofrecer calidad hay que conocer muy bien el mercado y los riesgos. Y para todo ello tener accesible todos los datos pertinentes es más necesario que nunca.

Cliente: Empresa de seguros

Necesidad: Estudiar el mercado y los clientes consolidados para ofrecer nuevos tipos de seguros.

Situación previa: Los datos estaban dispersos por internet, en el data warehouse corporativo de la empresa, en los logs de las webs corporativas y en los departamentos afectados. Se había desarrollado algunos cubos OLAP en SQL Server Analysis Services para estudiar la posibilidad de desarrollar los nuevos mercados pero la información era insuficiente y no se podía afinar la política de precios para cubrir los riesgos potenciales ni determinar lo que los clientes estarían dispuestos a pagar por los riesgos cubiertos.

Implementación: Tras descartar un desarrollo clásico con los recursos de la empresa por el tiempo que se estimaba que llevaría desarrollarlo se creó un entorno Hadoop con Cloudera en el que se volcaron todos los datos disponibles sin apenas tratamiento. Se crearon los programas que capturaban en tiempo real los datos de las campañas y estudios de opinión que se creaban en la web. Y se dio acceso a los departamentos implicados para consultar los datos en tiempo real. Se enriquecieron los cubos OLAP de SSAS con nuevos datos y se crearon otros cubos nuevos. Y tambien se crearon cubos OLAP virtuales directamente en el Cluster de Cloudera con Atscale para una consulta directa de los datos sin la necesidad de volver a copiarlos en otro sistema. A esos nuevos cubos virtuales se podía acceder con hojas Excel, Power BI o Tableau dependiendo de la preferencia del departamento. Se indexó toda la información con Cloudera Search para poder hacer búsquedas no estándar. También se formó a determinados empleados de la empresa a poder hacer búsquedas de información con Apache Hue y con Apache Impala.

No hay comentarios:

Publicar un comentario