Treo Blog

En este espacio puedes explorar las últimas tendencias y noticias en tecnología, seguridad informática e infraestructura TI.

  • Jonathan Rodriguez Paipa

Los datos sin integración son solo datos

Por Jakub Lewkowicz


Crédito: Pexels

A medida que las iniciativas de transformación digital han cobrado impulso debido a la pandemia de coronavirus, las empresas están obteniendo muchos más datos dispares que deben reunirse. Están buscando soluciones de integración de datos para agilizar ese proceso.


Una encuesta realizada por IDC en diciembre del año pasado encontró que el 94% de los ingenieros de datos, especialistas en integración de datos, administradores de datos y directores de datos integran hasta cinco tipos de datos.


Este proceso de integración comienza con el proceso de ingestión e incluye pasos como limpieza, extracción, transformación, asignación de carga (ETL) y transformación.



Una vez completada, la integración de datos permite, en última instancia, que las herramientas de análisis produzcan inteligencia empresarial eficaz y procesable y la compile todo en una única vista unificada.


Sin datos unificados, un solo informe generalmente implica iniciar sesión en múltiples cuentas en múltiples sitios, acceder a datos dentro de aplicaciones nativas, copiar los datos, reformatear y limpiar, todo antes de que pueda ocurrir el análisis, lo que puede llevar mucho tiempo para los científicos y desarrolladores de datos. para configurar.


Un factor importante que requiere una estrategia de integración de datos eficaz es el hecho de que hay muchos tipos diferentes de datos que ingiere una organización.


Los datos pueden provenir principalmente de tres fuentes diferentes, según Sameer Parulkar, director de marketing de productos de Red Hat Integration . Uno son los datos que se almacenan en sistemas ERP tradicionales, almacenes de datos o lagos de datos. Otro son los datos en movimiento, que pueden provenir de millones de dispositivos, diferentes puntos de contacto con el cliente y puntos de interacción, así como tiendas físicas. Por último, están los datos en acción, que son generados por desarrolladores, científicos de datos y arquitectos para desarrollar aplicaciones o servicios.


“Todos estos datos deben recopilarse, agregarse, administrarse y almacenarse, pero existen diferentes formatos de datos. Existen diferentes definiciones de datos en diferentes puntos de contacto, en diferentes fuentes de datos. Todo esto tiene que conciliarse de una forma u otra de forma segura. ¿Qué pasa con la calidad de los datos? Todos estos son elementos importantes y puntos débiles comunes con la integración de datos ”, dijo Parulkar.


Las diversas formas de datos también se gestionan a través de muchos tipos diferentes de tecnologías de gestión de datos.


En la parte superior de la lista se encuentran las hojas de cálculo y las bases de datos relacionales. Otros tipos comunes son las bases de datos analíticas y los mainframes, según Stewart Bond, director de investigación del servicio de software de inteligencia e integración de datos de IDC.


“Sorprendentemente, los lagos de datos se encuentran al final de la lista, pero aún quedan más del 50% de las personas que respondieron la encuesta en diciembre”, dijo Bond. “Tuve que responder a muchas preguntas sobre si los lagos de datos acabarían con la necesidad de integración de datos. Y no, no lo mata en absoluto. Todavía tienes todos esos diferentes tipos de datos almacenados en ese lugar. Aún necesita integrar esos datos para que tengan algún sentido ".


Mientras tanto, recopilar todos los datos es solo una cara de la moneda, según Bond. También se trata de comprender esos datos para aprovechar al máximo las integraciones de datos.


“Han existido muchas integraciones de datos para reunir múltiples conjuntos de datos dispares, tratar de comprender las correlaciones entre ellos y luego obtener algún tipo de información”, dijo Bond. "Solo puede obtener esa información cuando reúne los datos".


Bond agregó que las integraciones de datos se usan con mayor frecuencia para datos maestros, que son datos sobre las personas, los lugares y las cosas que le interesan a su organización.


“Ha conseguido que estos datos se distribuyan por el lugar y, por lo tanto, reunirlos es un problema de integración de datos, reconciliar todas las diferentes versiones de esos datos es un problema de integración de datos de gestión de datos maestros, y ahora debe encontrar el más importante, no necesariamente la versión más reciente de la verdad, pero la mejor versión de la verdad para esa entidad en particular en esa organización y el contexto dentro del cual se utilizan esos datos ”, dijo Bond.


Otros desafíos de datos comunes que enfrentan las organizaciones se reducen a la forma en que se almacenan los datos. Por ejemplo, a los datos de los sistemas heredados a menudo les faltan marcadores, como las horas y fechas de las actividades, y los datos que se obtienen de fuentes externas pueden no tener el mismo nivel de detalle en los datos que los de las fuentes internas.


“Cuanto más sepa sobre sus datos, mayor será la calidad de los datos que tendrá y mejor podrá integrar esos datos”, agregó Bond.


Además, diferentes partes de la organización necesitan todo ese contexto, ya sea gobernanza de datos, gestión de calidad de datos, análisis, ciencia de datos, inteligencia artificial o aprendizaje automático. "Los datos sin inteligencia, son solo datos", dijo Bond.


Todo esto ha exacerbado la necesidad de herramientas de integración de datos que puedan simplificar cada paso del proceso para ahorrar tiempo.


Las organizaciones buscan soluciones que tengan una gran cantidad de conectores prediseñados y que puedan migrar a modelos de nube híbrida sin necesidad de reconstruir las integraciones. Las herramientas de integración de datos de hoy deben poder funcionar de forma nativa en un entorno de nube única, de múltiples nubes o de nube híbrida.


“A medida que las organizaciones están cambiando a la nube híbrida y la nube completa, hay varios sistemas diferentes que necesitan conectarse en las instalaciones y entre las diferentes aplicaciones y servicios que están utilizando. Entonces, a medida que eso crece, los desafíos de integración se vuelven cada vez más difíciles ”, dijo Eric Madariaga, director de marketing de CData Software .


La pandemia ha acelerado la transformación digital y, con ella, las iniciativas de integración de datos


"La pandemia ha acelerado la transformación digital, y durante mucho tiempo he dicho que los datos son el elemento vital de la transformación digital", dijo Bond de IDC. "Todo es virtual y los datos son mucho más parte de lo que hacemos en estos días que nunca".


Cuando la pandemia golpeó por primera vez, hubo un impacto negativo en los presupuestos de big data y análisis, y la integración de datos es parte de eso.


Sin embargo, a medida que la situación económica cambió un poco con el tiempo, los presupuestos para gastar en big data y análisis comenzaron a aumentar y los presupuestos han seguido aumentando a medida que la economía comienza a volver a crecer, explicó Bond.


“Cuando observa lo que sucedió durante la pandemia en muchas industrias, todos se están adaptando a esta nueva forma de llegar a los clientes”, dijo Parulkar de Red Hat.


Por ejemplo, los gobiernos están tratando de ayudar a sus ciudadanos para que no tengan que ir físicamente a algún lugar para acceder a sus servicios, las tiendas minoristas están tratando de encontrar nuevas formas para que sus clientes envíen sus artículos, los soliciten en línea o los realicen en la acera. recogida, así como el crecimiento de muchos servicios de entrega diferentes como DoorDash y GrubHub. Los datos juegan un papel importante para hacer que todos estos procesos sean más eficientes, explicó Parulkar.


La demanda de integraciones de datos ya existía antes de la pandemia, pero cuando se produjo, las prioridades cambiaron, explicó Arawan Gajajiva, arquitecto principal de soluciones de Matillion.


“Las empresas están generando cantidades exponenciales de datos cada año y están reconociendo que necesitan acorralar, discutir y obtener valor de sus datos, por lo que eso no ha cambiado con COVID. Lo que sí he visto, sin embargo, es que cuando COVID nos golpeó el año pasado, las prioridades cambiaron ”, dijo Gajajiva. “No es que no tuvieran un enfoque de datos, es solo en qué datos estaban enfocados. Y, por tanto, un gran ejemplo es que estamos viendo que los clientes realmente estaban priorizando la carga de los datos COVID en sus almacenes de datos ".


Cuando se trata de tipos de datos, IDC vio un aumento significativo en la demanda de datos espaciales en los últimos nueve meses. Este tipo de datos se puede usar para trazar un mapa de dónde está el virus y cuáles son los números en una ubicación particular que luego se puede utilizar para las medidas de rastreo de contactos.


El tamaño, pero también el tipo de organización, es importante cuando se trata de iniciativas de integración de datos


Las organizaciones han tenido que reestructurar su infraestructura para manejar la afluencia de datos y empresas de diferentes tamaños lo están abordando de diferentes maneras.


Las grandes empresas tienen equipos que se dedican a administrar datos y administrar todo el proceso para obtener los datos donde deben estar, y también brindarles a las personas las herramientas que necesitan para poder procesar los datos, ya sean herramientas analíticas, alertas y notificaciones, explicó Mike Albritton, director gerente de ArcESB.


“Por otro lado, las pequeñas y medianas empresas, el mercado de las PYMES, pueden tener o no equipos que se encarguen de ese proceso, por lo que a menudo buscan algo más listo para usar, o tal vez incluso buscan un proveedor de servicios. para venir y ayudar a establecer algún tipo de proceso para ellos ”, dijo Albritton.


Parulkar de Red Hat agregó que a medida que aumenta el tamaño de una empresa, la integración de datos y el análisis de datos y la calidad de los datos se vuelven mucho más importantes.


Por otro lado, Bond de IDC dijo que tiene mucho más que ver con la cantidad de datos que necesita para funcionar como organización que con su tamaño.


“Con una startup que nació en la nube y tal vez su negocio se centra en los datos, tienen necesidades de integración de datos mucho mayores porque los datos son una parte fundamental de lo que hacen como negocio. Otra empresa que no se basa en esos datos, y obtienen datos como un subproducto de lo que hacen y usan datos de eso para mejorar en lo que hacen, sus necesidades de integración de datos pueden no ser tan importantes como esa startup que nació con datos ".


Los proveedores de herramientas de integración de datos están agregando nuevas funcionalidades como inteligencia artificial y aprendizaje automático para predecir lo que está sucediendo y también para construir automatizaciones que manejarán las integraciones. La inteligencia artificial y el aprendizaje automático se están infundiendo en estos productos de gestión de datos e integración de datos y utilizan inteligencia sobre los datos y, a veces, inteligencia de los datos para automatizar algunas de esas actividades.


“Los datos son esencialmente el combustible de la IA. Si no tiene esos datos, ¿cómo va a hacer sus modelos de IA? ”, Dijo Parulkar de Red Hat.


Además, cosas como la transmisión de datos, la conectividad de datos y el intercambio de datos en tiempo real son cada vez más importantes a medida que los clientes adoptan microservicios, prácticas de DevOps y más arquitecturas impulsadas por eventos, agregó Parulkar.


Las API también son cada vez más frecuentes para integrarse entre empresas en lugar del proceso tradicional de EDI. Las API son mucho más ágiles, mucho más rápidas de comercializar y mucho más fáciles de conectar para los clientes en el espacio de integración de datos, según Albritton.


Otra tendencia es llevar capacidades analíticas a la nube, lo que abre muchos más recursos.


“Vemos que la gente se traslada a la nube debido al costo y la escalabilidad, pero ahora, una vez que haya puesto su carga de trabajo de análisis en la nube, tendrá muchos servicios en la nube diferentes, como AI y ML, que ahora están disponibles para cuando esté listo ”, dijo Gajajiva.


Fuente: SD Times

5 vistas0 comentarios
D&S colores.png

Un Servidor en Quien Confiar

CONTACTO

contactodirecto@datayservice.com

PBX + 57 6 8812277

Calle 54 # 26-60

ZIP 170004

Manizales, Colombia

REDES

logo-facebook.png
linkedin_circle-512.webp
logo-instagram-1.png

 © Data&Service, todos los derechos reservados.