miércoles, 16 de mayo de 2018

El tiempo es oro

El entorno empresarial cambia constantemente y llegar tarde a un mercado potencial puede llevar a perderlo. Hay que buscar la manera de ser los primeros con la calidad necesaria. Y para ofrecer calidad hay que conocer muy bien el mercado y los riesgos. Y para todo ello tener accesible todos los datos pertinentes es más necesario que nunca.

Cliente: Empresa de seguros

Necesidad: Estudiar el mercado y los clientes consolidados para ofrecer nuevos tipos de seguros.

Situación previa: Los datos estaban dispersos por internet, en el data warehouse corporativo de la empresa, en los logs de las webs corporativas y en los departamentos afectados. Se había desarrollado algunos cubos OLAP en SQL Server Analysis Services para estudiar la posibilidad de desarrollar los nuevos mercados pero la información era insuficiente y no se podía afinar la política de precios para cubrir los riesgos potenciales ni determinar lo que los clientes estarían dispuestos a pagar por los riesgos cubiertos.

Implementación: Tras descartar un desarrollo clásico con los recursos de la empresa por el tiempo que se estimaba que llevaría desarrollarlo se creó un entorno Hadoop con Cloudera en el que se volcaron todos los datos disponibles sin apenas tratamiento. Se crearon los programas que capturaban en tiempo real los datos de las campañas y estudios de opinión que se creaban en la web. Y se dio acceso a los departamentos implicados para consultar los datos en tiempo real. Se enriquecieron los cubos OLAP de SSAS con nuevos datos y se crearon otros cubos nuevos. Y tambien se crearon cubos OLAP virtuales directamente en el Cluster de Cloudera con Atscale para una consulta directa de los datos sin la necesidad de volver a copiarlos en otro sistema. A esos nuevos cubos virtuales se podía acceder con hojas Excel, Power BI o Tableau dependiendo de la preferencia del departamento. Se indexó toda la información con Cloudera Search para poder hacer búsquedas no estándar. También se formó a determinados empleados de la empresa a poder hacer búsquedas de información con Apache Hue y con Apache Impala.

martes, 19 de diciembre de 2017

Las empresas no pueden permitirse perderse nada. Big data para todos

Ahora las empresas tienen la posibilidad de utilizar un entorno hardware relativamente económico y escalable a medida que vayan creciendo para almacenar todos los datos relativos a su negocio. Aunque todavía no sepan para que pueden llegar a servir sus datos las empresas no quieren tener que arrepentirse en el futuro de no haberlos recogido. El software es gratuito y permite llegar a manejar tantos datos como Google o Facebook. No se quedará nunca pequeño.

Cliente: una empresa inmobiliaria.

Necesidad: Almacenar de manera ordenada en un único sistema todos los datos históricos y actuales que se generan en la empresa.


Situación previa: Se tenía el sistema de gestión de inmuebles y contable de la empresa y un data mart con los datos que la gerencia estimaba necesarios para seguir la evolución de la empresa en una instancia de SQL Server con Analisis Services. Los datos se integraban con Integration Services a partir de fuentes diversas. Los informes se creaban con SQL Reporting Services y Power BI.

Implementación: Se creó un cluster de Hadoop (Hortonworks) donde se iban a almacenar todos los datos operativos de la empresa. Así se almacenarón todos los informes, cartas, comunicaciones, correos electrónicos que se conservaban dispersos por la empresa. Se modificaron los informes para que escribieran también una copia en formato de ficheros .csv para tener un registro auditable histórico de los informes generados. Se recogieron de manera sistemática los datos que se estimaban oportunos de la BBDD del sistema de gestión operativa de la empresa. Se capturaron los logs de dicho sistema y del servidor web de la empresa con Filebeats y Elasticsearch. Se volcaron todos los datos que gestionaban los comerciales de clientes e inmuebles en un formato estandarizado a Hadoop.

Posteriormente se identificaron nuevos conjuntos de datos útiles para el seguimiento de la empresa y se crearon nuevos modelos multidimensionales con SSAS e informes con Power BI para los gestores de la empresa. Se instaló y configuró Dremio para facilitar y agilizar otras consultas de Power BI directamente sobre los datos almacenados en los distintos tipos de ficheros del Cluster.

Todo el diseño de almacenamiento y proceso de la información se hizo conforme al Reglamento General de Protección de Datos (RGPD) que entrará en vigor el 25 de mayo de 2018.

martes, 20 de junio de 2017

Migración a SQL Server de empresa inmobiliaria

Las Bases de datos comunes para toda la empresa facilitan la comunicación entre los departamentos y la gestión de los gerentes.

Cliente: una empresa inmobiliaria.

Necesidad: Homogeneizar los distintos datos que manejaban los departamentos de la empresa. Situación previa: La mayor parte de la información estaba en un programa de gestión específico para empresas inmobiliarias pero además había varias BBDD de Access y muchas hojas Excel que manejaban los distintos departamentos. Existía mucha información duplicada y aparentemente contradictoria.

Implementación: Se agruparon todos los datos que estaban dispersos por la organización en Microsoft Server con Integration Services. Una vez creado el modelo de datos y la BBDD, hubo que modificar los procesos de la empresa. También se crearon tablas multidimensionales con Analisis Services para llevar un mejor control desde gerencia de la marcha de la empresa. Finalmente se generaron informes para consultar desde ordenadores o teléfonos móviles con el servidor de informes de Power BI de Microsoft.

 Coste: 500 días + licencias

miércoles, 14 de diciembre de 2016

Optimización de cubos OLAP de SSAS (SQL Server Analysis Services)

El desarrollo de las soluciones de inteligencia empresarial no sirven para siempre. Se van degradando con el tiempo, crecen en datos, se van introduciendo pequeños cambios que en muchos casos deterioran los tiempos de respuesta. La empresa empieza a demandar más. Se generan muchos más informes. En fin, que lo que antes funcionaba cada vez lo hace peor.

Cliente: Empresa industrial

Necesidad: Disponibilidad en todo momento de los datos de los cubos multidimensionales de la empresa y con unos tiempos de respuesta razonables para los usuarios.

Situación previa: Las aplicaciones cliente de generación de informes y cuadros de mando funcionaban muy lentas y el servidor OLAP se quedaba indisponible numerosas veces.

Implementación: Se llevó a cabo un estudio del rendimiento de sistema activando y generando trazas del servidor de SSAS para detectar dónde se estaban produciendo los retrasos y bloqueos. Se estudió el modelo multidimensional para relacionar los retrasos con las trazas y las consultas mdx que se generaban que más tiempo consumían. Cuando se empezaron a sacar conclusiones se introdujeron los cambios que no suponían grandes disrupciones en el servicio para mejorarlo en lo posible. En un entorno de preproducción se introdujeron finalmente los cambios en el diseño de los cubos que se estimaron necesarios para mejorar el rendimiento (nueva agrupación de dimensiones, nuevas particiones, nuevas medidas agregadas, ...) y se realizaron las pruebas y cambios pertinentes para cubrir las necesidades de la empresa.Se optimizó y automatizó con Integration Services (SSIS) el proceso de actualización de los cubos.

viernes, 26 de noviembre de 2010

Guía de elección del servicio de alojamiento web

Introducción
El proceso de elección del servicio de alojamiento web puede parecer una tarea desalentadora. ¡Una primera búsqueda rápida en google ofrece millones de resultados! ¿Quiénes son todas estas empresas? Nadie lo sabe realmente. En el mercado del alojamiento web no existe apenas reconocimiento de marca, lo que significa que el consumidor tiene que investigar bastante para asegurarse de que llega a un proveedor de alojamiento web de calidad.

¿En qué consiste dicho servicio de alojamiento web?
Un proveedor de alojamiento web es una empresa que alquila el uso de servidores (ordenadores) y ancho de banda de transmisión para los que desean publicar un sitio web. El servicio de alojamiento web proporciona a su cliente una cuenta, que puede ser utilizada para cargar documentos HTML, scripts PHP, gráficos, y mucho más.

¿Qué hay que buscar?
Hay muchas variables que definen un servicio de alojamiento. Esta guía pretende presentar las variables más importantes que deberían considerarse. Las empresas suministradoras de los servicios no siempre ofrecen toda esta información en sus páginas, por lo que es posible que haya que ponerse en contacto con ellas por correo electrónico o teléfono para obtener las respuestas deseadas.

Tipos de alojamiento web
Las soluciones de servidores web corporativos, los sitios web personales, y los sitios pequeños de comercio electrónico requieren cada una de ellas soluciones de alojamiento web muy diferentes. Una empresa grande puede querer sin ningún genero de dudas un servidor web dedicado, que sea administrado las 24 horas del día, los 7 días de la semana, por un equipo de administradores altamente cualificados. Por el contrario, alguien que tenga un sitio informal, una web personal, puede encontrar que un servicio de alojamiento básico gratuito es más que suficiente para él.

Al elegir un proveedor de alojamiento web es muy importante considerar en primer lugar cuáles son las necesidades. Después de haberlas establecido llega el momento de elegir el tipo de alojamiento apropiado.

Los tipos se pueden clasificar en las siguientes categorías:
Alojamiento compartido básico - gratuito, cuenta con las funciones mínimas para empezar.
Alojamiento compartido - los más populares, el sitio web está ubicado en un servidor que aloja otros muchos sitios.
Servidor dedicado sin administración (poca o ninguna atención al cliente), la administración del servidor recae en el cliente.
Servidor dedicado con administración (incluye asistencia al cliente), el proveedor se encarga de ella.


Alojamiento compartido básico – gratuito

Para aquellos que empiezan en la creación de sitios web no tiene mucho sentido pagar una cuota mensual por un servicio de alojamiento cuando apenas saben cómo crear un sitio o apenas reciben visitantes. La elección de un alojamiento gratuito es una solución lógica para empezar con un nuevo proyecto. El alojamiento gratuito generalmente incluye una cantidad pequeña de almacenamiento y ancho de banda suficientes para empezar. Las características también tienden a ser limitadas. En pocas palabras el alojamiento gratuito es ideal para practicar el diseño de páginas web o incluso alojar sitios web para la familia, amigos o grupos reducidos. Sin embargo, el alojamiento gratuito no es una solución plausible para webs con mucho tráfico o requisitos exigentes.

Alojamiento compartido


El alojamiento compartido es el tipo de alojamiento web más popular del mercado. Casi todos los negocios pequeños, los sitios web intermedios o incluso de gran tamaño y los sitios web profesionales requieren sólo una pequeña fracción de los recursos de un servidor web completo. Sería antieconómico para estos clientes alojar todo en un servidor propio; el alojamiento compartido es la mejor elección.
Dependiendo del plan específico de alojamiento, deberían estar disponibles más o menos funciones  de servidor web y una cantidad mucho mayor de almacenamiento y ancho de banda que en un alojamiento gratuito. Si se piensa recibir pagos a través de internet, hay que comprobar que el plan de alojamiento lo permite (certificado SSL, …).

La desventaja de tener un servidor compartido es en cuanto a rendimiento y seguridad, debido al hecho de que se comparte con otras decenas o cientos de clientes y además por lo general el número total de direcciones de correo electrónico, bases de datos y dominios no son ilimitados.
Un aspecto importante a tener en cuenta a la hora de elegir al proveedor es que muchos de ellos ofrecen alojamiento o anchos de banda de transferencia ilimitados en su afán de captar clientes, conscientes de que la mayoría no hacen uso de estas características. Pero hay que saber que estos factores sí les cuestan a las empresas proveedoras y es obvio que no van a dejar que se abuse de ello y a aquellos clientes que superen los límites que la empresa internamente tenga fijados, y que no habían hecho públicos, se les va a invitar amablemente a que se pasen a otro tipo de soluciones más caras.

Servidores dedicados - no administrados

En caso de que el alojamiento compartido no proporcione suficiente ancho de banda, almacenamiento o las características requeridas, el hosting dedicado puede ser la solución. Con los servidores dedicados no hay límites en el número de bases de datos y alias de correo electrónico que se pueden crear. El ancho de banda es mucho mayor, los planes típicos de transferencia de datos suelen ser del orden de Terabytes por mes. Si se necesita más espacio de almacenamiento, simplemente se añaden nuevos discos duros a su servidor. Pueden ser más seguros porque no se comparten con nadie. Se puede instalar software adicional específico necesario para su web. El único inconveniente: hay que saber mucho acerca de la administración de servidores.
Convertirse en un experto administrador de servidores requiere una gran cantidad de formación y conocimientos de informática. Si se dispone de poco dinero en efectivo y se está dispuesto a aprender administración de servidores de la manera difícil, adelante, tampoco es imposible. Sin embargo, si el presupuesto es lo suficientemente grande, el hosting dedicado administrado puede ser una solución mejor.

Servidores dedicados – administrados

Si el sitio web tiene grandes requerimientos y el alojamiento compartido no sirve, y no se sabe configurar el servidor web ni adaptarlo a las necesidades, se va a necesitar mucha ayuda para que todo funcione y cuando dejen de funcionar. La solución es un proveedor que proporcione administración.
Este es un mercado muy especializado, con una amplia gama de precios que dependen de la cantidad de seguridad, fiabilidad y el nivel de asistencia que se necesita. Al elegir un proveedor administrador de servidores dedicados no es conveniente apresurarse en un contrato a largo plazo sin saber bastante sobre el proveedor de servicios.

Los servidores dedicados pueden ser virtuales (reserva de recursos, sin especificación de la máquina en donde se alojan) o físicos (ordenadores totalmente independientes). En los virtuales se ofrecen desde máquinas más pequeñas con precios más ajustados a las necesidades hasta las máquinas que pueden cubrir las necesidades más exigentes. Se pueden ampliar en función de picos de carga de manera transparente y pagar sólo por lo que se necesita.

¿Cuánto ancho de banda de transferencia de datos es necesario?

Tiene que ver con la cantidad de datos que se envían desde el servidor web hasta los equipos de los visitantes. Si se tiene una gran cantidad de visitantes y todos descargan archivos de gran tamaño, se necesita una gran cantidad de ancho de banda para atender a todos. Muchos administradores no planifican bien e inadvertidamente sus sitios web dejan de admitir visitas en la mitad del mes debido a que estos fueron mucho más populares de lo que ellos esperaban. Para evitar que esto ocurra, hay que vigilar cuidadosamente el consumo de ancho de banda y planificar.

La principal diferencia entre el plan básico y el caro de cualquier proveedor de alojamiento es la cantidad de ancho de banda por mes. La mayoría de los proveedores expresan la cantidad de ancho de banda en GB (Gigabytes, 1 GB = 1.000 MB). A continuación se muestra una forma sencilla de calcular la cantidad de ancho de banda que se necesita cada mes.

Total = visitas al día * páginas vistas por visita * El tamaño medio de las páginas * 30 (número de días al mes)
Ejemplo de un sitio con 1000 visitas diarias, 4 páginas vistas por visita, y un tamaño de página de 45 KB (kilobytes):
1000 * 4 * 45KB * 30 = 4.500.000 KB = 4500 MB = 4.5 GB

En este ejemplo se requiere un plan con un mínimo de 4,5 GB de ancho de banda al mes. Sin embargo, para permitir el crecimiento, sería conveniente elegir un plan con un ancho de banda mayor, para prevenir que haya una cantidad inusualmente grande de visitantes en un mes.

Líneas dedicadas

Algunas opciones de alojamiento, más comúnmente entre los planes de servidor dedicado, vienen con una conexión dedicada de una determinada velocidad. En general estas líneas dedicadas varían desde  256 kb/s (kilobits por segundo) hasta 100Mb/s (megabits por segundo). Estas opciones son ideales para sitios web con un flujo constante de tráfico, que no necesitan atender transferencias puntuales de gran cantidad de datos. Si se dispone de una línea dedicada, en vez del contrato de una cierta cantidad de GB al mes, el sitio no será capaz de atender picos de visitas.
A continuación se muestra una tabla de la cantidad de ancho de banda (en GB) que sería capaz de ofrecer una línea dedicada, en condiciones ideales, con la carga de transferencia repartida uniformemente durante las 24 horas de todos los días del mes. Nota: es probable que no se consigan las velocidades máximas, y se ha incluido una cantidad media más real, que probablemente estará más cerca de los GB que se consigan realmente.

Línea Dedicada / GB por mes / GB reales por mes

256kb/s ~ 82 GB 75 GB
512kb/s ~ 165 GB 130 GB
1 Mb/s, 324 GB ~ 270 GB
10 Mb/s 3240 ~ 2700 GB GB
100 Mb/s 32.400 GB ~ 27.000 GB

La mayor parte de la información proviene de: http://www.tizag.com/webhost/

Finalmente sólo nos cabe informar que nosotros proporcionamos cualquiera de las soluciones anteriormente expuestas.

miércoles, 22 de septiembre de 2010

Nueva web

 

Seguimos trabajando para encontrar la información allá donde se encuentre.

Sentimos las molestias que se pudieran ocasionar a nuestros clientes y lectores por el cambio de web.

Si no encuentra lo que busca aquí, puede buscarlo en demodatos.wordpress.com.

Esperamos que el cambio sea para mejor,

Un saludo

miércoles, 1 de septiembre de 2010

Bienvenidos

Bienvenido a nuestro blog.

Somos una empresa especializada en extraer información de los datos.

Todos nos movemos en un mundo donde la información es importante y donde su desconocimiento nos lleva a perder nuestro tiempo, nuestro bien más preciado y del que no existe sustituto. Por lo que defendemos el derecho del acceso a la información, no sólo la que viene en los periódicos. Nuestro objetivo es conseguir datos para todos.

Nuestros clientes suelen ser organizaciones que quieren mejorar el rendimiento de sus actividades. Para lograr este fin analizamos el flujo de información, los procesos de negocio, detectamos problemas y cuellos de botella y sugerimos maneras de optimizarlos. Al mismo tiempo iniciamos un sistema de monitorización que permite seguir la marcha de la organización en tiempo real para que las personas apropiadas sepan en todo momento como funciona y puedan detectar los problemas cuando surgen y eviten de esta manera perder tiempo, dinero y clientes. También estudiamos donde se encuentran los datos, los reorganizamos y proporcionamos herramientas para poder analizarlos.

Nuestro campo de acción incluye por una parte, en lo que se refiere a los negocios, lo que en inglés se conoce como Business Intelligence (BI) y Business Process Management (BPM). En español los términos están menos establecidos y los podemos encontrar como inteligencia empresarial o inteligencia de negocios y gestión de procesos de negocio entre otras variantes menores.
Por otra parte, desde un punto de vista más genérico, de la gestión de la información, nuestro trabajo incluye ETL (Extract, transform and load), data warehousing y data mining. En español, se trata de extraer los datos allá donde se encuentren, de transformarlos y cargarlos en un sitio conveniente para su almacenamiento; y finalmente de analizarlos y presentarlos (minería de datos).