Billboard

Computación in-memory: Analizando miles de millones de registros en pocos segundos

Velocidad es la palabra clave que se viene a la mente cuando se habla de computación in-memory, una nueva tecnología, mezcla de hardware y software, que representa un cambio de paradigma respecto del procesamiento tradicional de datos. Quizás la respuesta al desafío hoy de toda empresa con un gran volumen de datos y necesidad de acceder rápido a éstos para convertirlos en información valiosa para el negocio.

Publicado el 28 Feb 2013

Computación in-memory: Analizando miles de millones de registros en pocos segundos

Velocidad es la palabra clave que se viene a la mente cuando se habla de computación in-memory, una nueva tecnología, mezcla de hardware y software, que representa un cambio de paradigma respecto del procesamiento tradicional de datos. Quizás la respuesta al desafío hoy de toda empresa con un gran volumen de datos y necesidad de acceder rápido a éstos para convertirlos en información valiosa para el negocio.

Reaccionar de forma rápida a las distintas condiciones y retos que propone el mercado no sería posible para las empresas si no contarán con herramientas de análisis y un rápido acceso a la información del negocio. La dificultad hoy es que las compañías cada vez cuentan con más y más datos, un volumen creciente que, como ya se ha predicho, seguirá en incremento.

Según datos del estudio “Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East”, la proliferación a nivel mundial de PCs y smartphones con acceso a Internet, y el crecimiento de los datos generados por máquinas, como cámaras de vigilancia, así como el boom de las redes sociales y el tráfico que allí se genera, han contribuido a duplicar el universo digital en tan sólo los dos últimos años, llegando a la descomunal cifra de 2,8 ZB, que en 2020 alcanzará los 40 ZB. Sin embargo, IDC estima que sólo 0,5% de los datos mundiales se analiza. Para las empresas el problema es cómo, una vez almacenados, es posible acceder rápidamente a ellos cuando se requiere y aprovechar ese gran volumen en favor de su negocio. Y es que por más poderosos que sean los servidores encargados de procesar esta data, sus propias características presentan limitaciones, impidiendo acceder a la información tan rápido como hoy exige el mercado.

La respuesta a este desafío, aseguran los especialistas, viene de la mano de la computación in-memory (En inglés, IMC o In-Memory Computing), una tecnología que integra hardware y software, y que, a diferencia del procesamiento tradicional de datos, propone almacenar aquéllos que se desean procesar ya no en discos, sino que memorias RAM o “in-memory”. Al no tener que ir al disco para extraer los datos, se reduce la latencia que tiene un dispositivo físico como éste, notablemente mayor a la de una unidad electrónica (memoria), por lo que interacción de la data a procesar en la CPU es más directa y eficiente, permitiendo acelerar los tiempos de respuesta en escenarios analíticos o transaccionales. Es así como se ahorran ciclos de operación del procesador, pudiendo operar con miles de millones de registros en pocos segundos. Ahora ya no es necesario realizar operaciones internas de red y lectura/escritura en elementos “detrás” de la memoria sobre el mismo servidor.

“Esto permite mejorar la rapidez con la que los usuarios acceden a la información disponible en sus aplicaciones, prácticamente en tiempo real, para tomar las decisiones o hacer los cambios que sean más convenientes para el negocio. Todo, de manera muy sencilla y fácil de implementar”, explica Sven Rusch, HANA Database & Technology Sales Executive, SAP.


En sólo unos pocos segundos

Indiscutiblemente, uno de los principales beneficios de la computación in-memory es la velocidad: análisis que tardaban días enteros o semanas pueden pasar a minutos. Según Claudio Gamboa, Director de Ventas de Consultoría Oracle, “las compañías que corren sus operaciones sobre motores de análisis y gestión de datos tipo ‘in-memory’ pueden llevar a cabo análisis de costos y rentabilidad que involucran cientos de millones de registros en unos pocos segundos”. En tanto, con tecnologías convencionales, esto demoraría más de 30 minutos.

Es importante mencionar también que esta tecnología “busca mejorar los tiempos de respuesta frente a algún usuario o aplicación, pero sin necesidad de tener que modificar drásticamente la arquitectura de un ecosistema de datos”, señala Mauricio Arriagada, Business Group Lead de Servers & Tools de Microsoft Chile.

Otro beneficio relevante, fruto del de-sempeño de la computación in-memory, a juicio del ejecutivo de SAP, es la reactividad. De esta forma es posible replicar, en tiempo “casi real”, los datos contenidos en los sistemas fuente en el motor in-memory. “Esto, por supuesto, permite poner la información al alcance de los usuarios a una velocidad considerablemente mayor”, agrega.


Para cualquier empresa

Cabe preguntarse en qué tipo de empresas sería útil esta clase de procesamiento. ¿En todas? Los expertos indican que en toda compañía que maneje altos volúmenes de información y requiera tomar decisiones de negocio en forma rápida, independientemente de la industria a la cual pertenezca; es decir, clientes con alta exigencia de disponibilidad y rendimiento.

Para Sven Rusch, “estas mejoras en los niveles de desempeño son aplicables a prácticamente cualquier escenario que contemple el uso intensivo de datos dentro del ERP. Por consiguiente, está claro que la tecnología in-memory permite correr los procesos existentes con una considerable mayor agilidad y sin interrupciones”.

Podría ser una empresa de telecomunicaciones, servicios financieros, utilities e incluso Gobierno. O bien un retailer que acaba de lanzar una promoción específica en una tienda y durante las primeras horas constata que no tiene una buena respuesta por parte de los compradores, al cual la computación in-memory entregaría ese análisis rápidamente permitiéndole tomar decisiones y cambiar la promoción o trasladarla a otro sector de la tienda.

De acuerdo al ejecutivo de Microsoft, también se pueden beneficiar clientes que tengan problemas de rendimiento en tres tipos de escenarios: aplicaciones con problemas en la capa de lógica de negocios, donde ésta se desea llevar al motor de datos para mejorar los tiempos de procesamiento; problemas con la escalabilidad vertical en el motor de datos que genera “cuellos de botella” difíciles de resolver; o dificultades administrativas al querer escalar horizontalmente con particionamientos de tablas.


De la mano con movilidad y big data

Según adelantó el Visual Networking Index Global Mobile Data Traffic Forecast Update de Cisco, a fines de este año, habrá más dispositivos móviles que personas en el planeta y en 2017 estos aparatos llegarán a los 10.000 millones. Colosales cifras que no podrían ser pasadas por alto por la computación in-memory, porque implican también un enorme tráfico de datos que crecerá incluso 13 veces en cuatro años. Por lo mismo, las soluciones de procesamiento in-memory disponibles, “más que estar preparadas, son un habilitador tecnológico para el mundo móvil, dado que este nuevo auge lleva a un enorme reto: mejor desempeño para un volumen de información creciendo vertiginosamente, y un número de usuarios cada vez mayor, interesados en adoptar plataformas móviles para acceder a su información”, precisa el ejecutivo de Oracle.

Es así como las alternativas de computación in-memory consideran a los dispositivos móviles como otra fuente más de información, así como una plataforma que permite que los datos en éstos sean presentados a los usuarios con los tiempos de respuesta requeridos. Por lo mismo, se adaptan a las diferentes formas de consultar los datos almacenados en el motor, ya sea desde un dispositivo móvil (smartphones, tablets, etc) o desde interfaces más tradicionales (sitios web, aplicaciones cliente-servidor, capas lógicas de negocio, etc).

Tal como explica Mauricio Arriagada “la lógica del usuario consultando los datos es transparente, y por ende, la aceleración vía in-memory es transversal”, algo que no sería posible con un enfoque tecnológico tradicional. “Es justo aquí -agrega Claudio Gamboa-, donde la computación in-memory genera valor afrontando estos nuevos desafíos con innovación y desempeño”, y aumentando la eficiencia de la operación en su totalidad.

Otra tendencia fuerte en materia de datos es big data, que busca generar inteligencia a partir de un gran volumen de información proveniente de diversas fuentes. Podría creerse que el procesamiento in-memory sería la clave para afrontar esta tendencia. Sin embargo, si bien es un aporte relevante, “principalmente -como aclara el ejecutivo de Oracle- debido a que un proyecto de big data exitoso necesita tener velocidad en el análisis de la información para agilizar la toma decisiones”, los especialistas explican que no es la tecnología principal, sino que una más junto a otras como Hadoop, data warehousing, in databases o computación distribuida, etc.


Una brecha de costos en retirada

Según Gartner, el próximo año ya un 30% de las aplicaciones analíticas de Inteligencia de Negocios se realizará con esta tecnología. En Latinoamérica, la adopción de esta clase de procesamiento es algo que ha ido aumentando exponencialmente, siendo Chile uno de los países que lidera el cambio, a juicio del ejecutivo de Microsoft, quien agrega que la tecnología existe desde hace ya bastante tiempo y aún queda una porción de mercado muy amplia para su adopción.

Tal vez, la principal aprensión para un despegue mayor son los costos, ya que pese a que el precio de la memoria RAM, históricamente superior al del disco, ha ido reduciéndose drásticamente a través del tiempo, sigue siendo una opción más costosa que éste y esa brecha, aunque cada vez menor, “inhibe a los clientes el hecho de empezar a evaluar alternativas tecnológicas relacionadas con la computación in-memory a pesar de los significativos beneficios que podría representar para ellos”, asevera Claudio Gamboa.

Además, se debe considerar que “in-memory no es la respuesta a todos los workloads de datos que se puedan requerir, y los discos siguen siendo necesarios para tener escenarios tolerantes a fallas, con lo cual algunas empresas preferirán el uso de arquitecturas tradicionales acelerando ambientes puntuales vía in-memory u otras arquitecturas”, aclara Mauricio Arriagada.

Otra posible reticencia, aunque en menor medida, es el temor que aún tienen algunos clientes de adoptar nuevas tecnologías. Para Sven Rusch, no debiera existir ninguna aprensión: “Esta tecnología es disruptiva y permite que las empresas y personas pueden acceder a la información del negocio con tiempos de respuesta sin precedentes, mezclando en una sola plataforma tanto las aplicaciones transaccionales como analíticas, a un costo total de propiedad mucho menor”. Sin duda, una velocidad que les permitirá acceder a un nuevo escenario donde podrán mejorar la experiencia de sus clientes y optimizar su negocio para lograr mayor beneficios.

Las alternativas in-memory

Varias propuestas son las que ya existen para el procesamiento in-memory. SAP fue uno de los pioneros con SAP High-Performance Analiytics Appliance (SAP HANA), una aplicación in-memory flexible, multisectorial, válida para varios objetivos e independiente de la fuente de datos, que combina componentes optimizados de software SAP con equipos provistos por sus partners. Frente a la apuesta de la firma alemana, Oracle planteó Oracle Exadata X3 Database In-Memory Machine, que provee en un solo rack más de 200 TB de memoria Flash y DRAM para la provisión de servicios de big data, con todas las prestaciones de una base de datos Enterprise, más el rendimiento extremo que da el acceso directo a memoria tanto en lectura como en escritura. Además de la capa de base de datos, Oracle ofrece las soluciones in-memory Oracle Exalytics In-Memory Machine y Oracle Exalogic Elastic Cloud y este año prevé disponer de procesadores que incorporan funcionalidades de base de datos en su “core”, lo que no sólo aumentará el rendimiento de acceso a la data para su análisis, sino que también permitirá que su procesamiento se vea beneficiado por plataformas de big data que integren su funcionalidad a esas capacidades.

Microsoft, en tanto, salió también al ruedo y anunció Hekaton, proyecto preliminar que promete incorporar procesamiento OLTP (transaccional) in-memory a la siguiente versión de SQL Server. La marca, además, informó que tiene la visión de aplicar los beneficios de arquitecturas in-memory en tres niveles: tipos de datos, ya sea analíticos (BI, OLAP), transaccionales (OLTP) y generados en tiempo real (streaming); escalabilidad, ya sea en el escritorio (manejo de datos con aplicaciones como Excel), en el servidor, o en “clusters” de servers; y despliegue, a través de un software “en caja”, empaquetado en un appliance para un propósito particular o en la nube.

¿Qué te ha parecido este artículo?

¡Su opinión es importante para nosotros!

¡Síguenos en nuestras redes sociales!

Redacción

Artículos relacionados