jueves, 12 de noviembre de 2015

¿Qué es Big Data y porqué se ha vuelto tan importante?

El Big Data o Datos masivos, también es llamado datos a gran escala, es en el sector de tecnologías de la información y la comunicación una referencia a los sistemas que manipulan grandes conjuntos de datos y a los procedimientos usados para encontrar patrones repetitivos dentro de los mismos. Las dificultades más habituales en estos casos se centran en la captura, el almacenamiento, la búsqueda, en cómo compartir, el análisis, y la visualización de todos los datos e informaciones.

Fotografías de Pictures of  Big Data http://bigdatapix.tumblr.com/

El Big Data o Datos masivos, también es llamado datos a gran escala, es en el sector de tecnologías de la información y la comunicación una referencia a los sistemas que manipulan grandes conjuntos de datos y a los procedimientos usados para encontrar patrones repetitivos dentro de esos datos. Las dificultades más habituales en estos casos se centran en la captura, el almacenado, búsqueda, compartición, análisis, y visualización.
¿Qué es Big Data y porqué se ha vuelto tan importante? pues bien, en términos generales podríamos referirnos como a la tendencia en el avance de la tecnología que ha abierto las puertas hacia un nuevo enfoque de entendimiento y toma de decisiones, la cual es utilizada para describir enormes cantidades de datos (estructurados, no estructurados y semi estructurados) que tomarían demasiado tiempo y serían muy costosos de cargar en una base de datos relacional para su análisis.

¿Cuándo es demasiada información de manera que sea elegible para ser procesada y analizada utilizando Big Data? El concepto Big Data se aplica para toda aquella información que no puede ser procesada o analizada utilizando los procesos o herramientas tradicionales. Hablamos de Big Data cuando se habla en términos relativos de petabytes y exabytes en capacidad de datos.

Gigabyte = 109 = 1,000,000,000
Terabyte = 1012 = 1,000,000,000,000
Petabyte = 1015 = 1,000,000,000,000,000
Exabyte = 1018 = 1,000,000,000,000,000,000

Existe en una gran variedad de datos, además del volumen de información hay que tener en cuenta como se clasifica y segmenta la misma, ya que los datos pueden ser representados de diversas maneras en todo el mundo, por ejemplo en los diferentes usos que se les dé en dispositivos móviles, audio, video, sistemas GPS, incontables sensores digitales en equipos industriales, automóviles, medidores eléctricos, veletas, anemómetros, etc., los cuales pueden medir y comunicar el posicionamiento, movimiento, vibración, temperatura, humedad y hasta los cambios químicos que sufre el aire, de tal forma que las aplicaciones que analizan estos datos requieren que la velocidad de respuesta sea lo demasiado más rápida posible para lograr obtener la información deseada, correcta y en el momento preciso. Estas son las características principales de una oportunidad para Big Data.

Fotografías de Pictures of  Big Data http://bigdatapix.tumblr.com/
Es importante entender que las bases de datos convencionales son una parte importante y relevante para una solución analítica. De hecho, se vuelve mucho más vital cuando se usa en conjunto con la plataforma de Big Data.

Los seres humanos estamos creando y almacenando información constantemente y cada vez más en cantidades ingentes y astronómicas.

Esta contribución masiva a la acumulación de datos la podemos encontrar en las industrias y corporaciones que mantienen grandes cantidades de datos transaccionales, información acerca de sus clientes, proveedores, operaciones, etc., de la misma manera sucede con el sector público donde se administran enormes bases de datos que contienen censos de población, registros médicos, registros de todo tipo, impuestos, etc., y si a todo esto le añadimos transacciones financieras realizadas en línea o por dispositivos móviles, análisis de redes sociales (en Twitter son cerca de 12 Terabytes de tweets creados diariamente y Facebook almacena alrededor de 100 Petabytes de fotos y videos), ubicación geográfica mediante coordenadas GPS, en otras palabras, todas aquellas actividades que la mayoría de nosotros realizamos varias veces al día con nuestros "smartphones" u otros dispositivos, estaríamos hablando de que se generan un volumen de alrededor de 2.5 quintillones de bytes diariamente en el mundo.

1 quintillón = 10 30 = 1,000,000,000,000,000,000,000,000,000,000

De acuerdo el un estudio llevado a cabo por Cisco, entre los años  2011 y  2016 la cantidad de tráfico de datos móviles crecerá a una tasa anual de 78%, así como el número de dispositivos móviles conectados a Internet excederá al número de habitantes en el planeta. Las naciones unidas proyectan que la población mundial alcanzará los 7.5 billones para el 2016 de tal modo que habrá cerca de 18.9 billones de dispositivos conectados a la red a escala mundial, esto conllevaría a que el tráfico global de datos móviles alcance 10.8 Exabytes mensuales o 130 Exabytes anuales. Este volumen de tráfico previsto para 2016 equivale a 33 billones de DVDs anuales o 813 cuatrillones de mensajes de texto.

En BBVA concluyen en la necesidad de modernizarse y generar más valor con la información tratada, gestionada y analizada a través del Big Data del siguiente modo resumido:

"Desde BBVA, añadiríamos":

Espera pronto una “taquilla de datos personales”, que ayudará al consumidor a gestionar los datos que genere.
Mezcla los datos para añadirles valor; combinaciones distintas te darán resultados distintos.
Big Data dará paso a un nuevo tipo de empresa, la empresa datocéntrica.
¿Qué hacer?

Empresas y profesionales deberían de ponerse como objetivo adquirir capacidades para el análisis de flujos de datos en tiempo real mediante fuentes multiestructuradas y con herramientas para grandes volúmenes de datos: Los trabajadores de IT están adquiriendo nuevos roles haciendo de puente entre las IT y los negocios.

Los trabajos de Big Data requieren analistas de negocio, chief data officers, científicos de datos, profesionales de IT/legal, arquitectos de información, guardianes de datos, etc.
Se necesitan capacidades avanzadas de gestión de información/análisis y experiencia en negocios.




Por Barcala&Partners.

Fuentes de información, extracto parcial de texto o enlaces:
IBM DevelppersWorks. 

Fuente: Gartner | Top Technology Predictions for 2013 and Beyond, February 2013 en el enlace de BBVA 


Artículo relacionado:
Cómo analizar lo que la mente humana no puede.

Integrar el 'big data' en las empresas es clave. Formar a la plantilla ayuda a que todos los departamentos se involucren con los datos.

por ANA TORRES MENÁRGUEZ.

El big data está de moda. Arrasa en el mundo de los negocios y ninguna empresa quiere quedarse fuera. El término no se refiere únicamente a una herramienta informática capaz de procesar ingentes cantidades de datos para sacar ventaja a compañías de la competencia. La salvación de los neófitos digitales no es contratar a un ingeniero que ponga a funcionar un programa que analice lo que la mente humana no puede hacer. El proceso es más complejo y requiere la transformación de la empresa en su conjunto.

El manejo de los datos está cambiando la forma de dirigir las empresas / GETTY
“Para que una compañía sea competente en este ámbito no basta con fichar a expertos en datos –matemáticos, estadísticos o ingenieros de datos-, hay que formar al conjunto de la plantilla para que todos los departamentos entiendan qué es el big data y cómo puede optimizar los resultados”, señala Juan José Casado, director académico del Master in Business Analytics & Big Data del Instituto de Empresa (IE).

El manejo de los datos está cambiando la forma de dirigir las empresas y se ha convertido en parte esencial de la estrategia comercial. Buen ejemplo de ello es el algoritmo personalizado de recomendación de productos de Amazon, capaz de sugerir al cliente qué nuevas adquisiciones encajarían a la perfección con su estilo de vida. "Esa es la meta a la que desearían llegar muchas compañías. La sorpresa es que el análisis de datos puede enriquecer a las empresas en muchos sentidos y no solo en las ventas", asegura Casado. El estudio de las métricas puede mejorar su propio funcionamiento, añade.

Según el estudio The Talent Dividend, elaborado por la revista MIT Sloan Management Review y la empresa de software analítico SAS, basado en entrevistas a 28 ejecutivos de firmas internacionales y encuestas a 2.719 empleados, el 50% de las compañías asegura que entre sus prioridades está aprender a transformar los datos en acciones de negocio.

“Hoy las compañías tienen más acceso a los datos que hace unos años y sin embargo la muestra señala que cada vez tienen menos herramientas para saber cómo usarlos”, remarca Fernando Meco, director de marketing de SAS en relación a los resultados del estudio, elaborado en 2014.

¿Cómo puede una empresa utilizar los datos de forma efectiva? Este es el punto en el que se encuentran las compañías en plena expansión del llamado Internet of Things (el Internet de las cosas), en el que cada vez hay más dispositivos conectados a la Red generando información de forma constante. Hoy, 10.000 millones de objetos están conectados a Internet y en 2020 habrá unos 30.000 millones, según datos de la compañía de inteligencia tecnológica ABI Research.

“No existe el hándicap económico, es una cuestión de voluntad”, asegura Juan José Casado, de IE. El experto recomienda tener en cuenta cuatro aspectos para no fallar en la integración de los datos al ADN corporativo:

- Entender la figura del data scientist: para crear una buena unidad de datos es importante ser consciente de que el rol no lo podrá asumir un solo experto. Hay que crear equipos multidisciplinares con la habilidad de afrontar cuatro retos: analizar cómo se puede transformar el negocio con los datos; detectar qué métodos estadísticos son los que más encajan con ese objetivo de negocio; encontrar los canales de los que se pueden extraer los datos y ser capaz de transmitir al resto de la compañía los resultados del análisis. “El hombre orquesta no existe. Los equipos deben incluir perfiles especializados en estadística, programación y negocio”, señala Casado. “Lo más importante es conseguir cambiar la cultura empresarial y para eso hay que dejar a un lado la experiencia y basar las decisiones en los datos”, remarca.

- Crear el entorno adecuado. La revista Harvard Business Review ha calificado la profesión de data scientist como la más sexy del siglo XXI. En 2015 se requerirán 4, 4 millones de expertos en datos en todo el mundo, según la consultora Gartner Group. “Es muy difícil fichar y retener a estos perfiles porque se mueven por motivaciones distintas a las habituales. No les llama tanto el sueldo sino la capacidad de investigar y la envergadura de los proyectos”, indica Casado. Inculcar a la plantilla el interés por los datos y generar un ambiente de investigación es crucial para que los recién llegados se sientan cómodos.

- Involucrar a los cargos directivos. La transformación de la empresa para la integración de los datos debe estar apoyada por la dirección. “Es difícil que los mandos intermedios consigan cambiar las cosas. Si no se involucra el consejero delegado, el plan no suele triunfar”, opina Casado. Los diferentes departamentos deben tener claro que tienen que poner las cifras y datos que manejan a disposición de la compañía. Con esa información no solo se mejorarán las ventas; también el funcionamiento de la propia empresa. “Por ejemplo, desde recursos humanos pueden desarrollar modelos predictivos para detectar cuáles son los perfiles que mayor probabilidad tienen de convertirse en futuros directivos cruzando sus rasgos con los jefes actuales”, señala el experto de IE. Averiguar qué trabajadores son los más influyentes dentro de la organización también puede ayudar.

- Permitir a los expertos elegir las herramientas de trabajo. “El mejor consejo es no invertir grandes cantidades en máquinas capaces de procesar y almacenar información, sino contratar servicios de cloud”, señala Casado. En su opinión, el problema no es el coste de la tecnología, sino conseguir atraer a perfiles con un buen dominio de datos y dejarles elegir con qué herramientas quieren trabajar.

Fuente: El Mundo (Economía)


1 comentario:

  1. En mi opinión Matrix puede ser más real que este mundo. Aquí lo único que hago es desconectar el enchufe. (Frase de la película Matrix)

    ResponderEliminar

Nos gustaría contar con sus comentarios