¿Qué es computación In-Memory?

[nicol10]

Hola Foro, excelente día:

Me encontré con el término de computación en memoria, en inglés es In Memory Computing (IMC); que es una nueva arquitectura para manejar grandes volúmenes de información, como por ejemplo el departamento de Inteligencia de Negocios (BI=Business Intelligence).

Pero Algún Gurú del foro me podrá explicar en lenguaje "llano y entendible" (cómo dijeramos en México "en cristiano") ¿Cómo funciona la computación en memoria?

Lei algo sobre de ello, pero, utilizan mucho lenguaje informático y no logré comprender bien, porque hablan de utilizar la memoria RAM, pero me imagino que tendrá que ser muy Enooorme para procesar tanta información.

Gracias.

[Tururojo]

Bueno basicamente y quien mas rapido lo empezara a usar son la grandes empresas,(dedicados a cualquier tipo de negocio). Se basa en el manejo de grandes cantidades de información sistematizada,Por más poderosos o efectivos que sean los servidores encargados de procesar y almacenar esta información algunas propiedades físicas les impiden acceder a los datos de forma suficientemente rápida (discos duros, etc)como para sostener las necesidades actuales de la industria.

Para esto se pretende utilizar, la computación en memoria (In-Memory Computing, o IMC), tecnología que mezcla hardware y software para acelerar de forma impresionante la búsqueda, escritura y lectura de información en una base de datos.

¿Qué es la computación en memoria? IMC es una arquitectura distinta de la tradicionalmente usada para procesar la información en un computador. Por lo general, la CPU envía la información a través de puentes (conocidos como BUS) hacia la memoria RAM, donde la almacena temporalmente para tener acceso rápido o la envía al disco duro, donde finalmente se guarda para futuros accesos. El problema es que cada etapa extra en la transacción añade una cantidad de tiempo considerable, haciendo más lento el proceso en general.

La computación in memory, en cambio, utiliza directamente un sector del CPU conocido como caché para realizar las transacciones, o directamente la memoria RAM, ambos métodos que ahorran tanto ciclos de operación del procesador, como energía y, principalmente, viajes entre un sector y otro, lo que a la larga impacta con fuerza y positivamente la velocidad y transferencia de datos.

Lee si quieres el informe completo:

Spoiler:

Los grandes volúmenes de información son un problema para cualquier departamento de Business Inteligence, y con el uso cada vez más avanzado de grandes bases de datos en las empresas, la velocidad de operación es una preocupación fundamental: la computación in-memory podría ser la respuesta que se estaba buscando. Nombres, pagos, direcciones, estadísticas, y un sinnúmero de variables, la cantidad de información que actualmente se integra en bases de datos computacionales para facilitar el trabajo de una empresa son cada vez más variados y de mayor volumen. ¿El resultado? lo que debería ser rápido se está volviendo un trabajo cada vez más dificultoso y sosegado. Los departamentos de Inteligencia de Negocios (BI, por sus siglas en inglés), o cualquiera que maneja grandes cantidades de información sistematizada, son los más afectados por este problema. Por más poderosos o efectivos que sean los servidores encargados de procesar y almacenar esta información algunas propiedades físicas les impiden acceder a los datos de forma suficientemente rápida como para sostener las necesidades actuales de la industria. Este desafío está siendo enfrentado por las empresas con diversas herramientas que les ayudan a analizar métricas y optimizar sus procesos. Pero ninguna promete tanto como la llamada computación en memoria (In-Memory Computing, o IMC), tecnología que mezcla hardware y software para acelerar de forma impresionante la búsqueda, escritura y lectura de información en una base de datos, una de las disrupciones más significativas en el mundo del BI. Pero, ¿qué es la computación en memoria? La IMC es una arquitectura distinta de la tradicionalmente usada para procesar la información en un computador. Por lo general, la CPU envía la información a través de puentes (conocidos como BUS) hacia la memoria RAM, donde la almacena temporalmente para tener acceso rápido o la envía al disco duro, donde finalmente se guarda para futuros accesos. El problema es que cada etapa extra en la transacción añade una cantidad de tiempo considerable, haciendo más lento el proceso en general. La computación in memory, en cambio, utiliza directamente un sector del CPU conocido como caché para realizar las transacciones, o directamente la memoria RAM, ambos métodos que ahorran tanto ciclos de operación del procesador, como energía y, principalmente, viajes entre un sector y otro, lo que a la larga impacta con fuerza y positivament la velocidad, según confirmó Juan José Duarte, profesor de Base de datos de la escuela de Ingeniería en Computación de la Universidad Mayor, de Chile. Las empresas que implementan las soluciones basadas en memoria, demostraron (según cifras de SAP) un incremento en la velocidad de al menos 20 veces, mientras que el hardware consume sólo el 10% en costos y tamaño, en comparación a estructuras tradicionales, lo que representa un ahorro en la relación precio-desempeño del 200%. Por ejemplo, en una prueba con la base de datos McObject’s eXtremeDB-64, extremadamente amplia, con una simple instrucción se procesaron 87,78 millones de transacciones por segundo utilizando IMC. Sólo para darle contexto a estas cifras, el cannon para hablar de este tipo de procesos es “transacciones por minuto”. Según la consultora Gartner, en 2014 el 30% de las aplicaciones analíticas de BI se realizarán con la tecnología in-memory, para ir sumando escalabilidad y velocidad de procesamiento, lo que tiene un beneficio directo al adelantarse a escenarios futuros más proactivos. Dentro de esta dinámica, el rendimiento de las corporaciones se verá potenciado gracias al aumento de aplicaciones analíticas, sumado a la estrategía de BI, la minería de datos, predicciones y simulaciones. Ahora bien, cabe preguntarse, ¿cúales son los beneficios concretos de incorporar la computacion en memoría a los procesos de BI de una empresa? Y más aún, ¿qué tipo de empresas pueden verse beneficiadas? La velocidad es la principal ganancia de la computación en memoria, ya que en vez de analizar la información en días o semanas, las empresas pueden realizar consultas complejas en minutos, incluso segundos, en donde sus operaciones de negocio, especialmente las predicciones y respuestas anticipadas, marcarán la diferencia. Por otro lado, con la computación en memoria el poder de computo hará que las organizaciones puedan investigar conjuntos completos de datos en lugar de muestras representativas, lo que significa que estarán seguras de que están elaborando estrategias en base a todas las variables relevantes. Al confiar en que no importando la cantidad de datos que se ingresen los procesadores tendrán el poder de realizar las búsquedas en tiempos mínimos, las organizaciones pueden tener mucha más flexibilidad a la hora de acceder y utilizar provechosamente dicha información. Para quienes estén a cargo de la planificación de ventas y operaciones, la IMC permite la colaboración con el área de operaciones y finanzas, para tomar decisiones estratégicas que mejoren los resultados finales, evaluando de forma colectiva el impacto financiero de la estrategia. Las analíticas de medición inteligente harán que las empresas usen los datos obtenidos para realizar una previsión de la demanda, visualizar la rentabilidad de los segmentos de cliente, e implementar nuevos productos. Las aplicaciones IMC. Recientemente, la compañía alemana de software empresarial SAP, lanzó al mercado latinoamericano su aplicación en memoria denominada HANA (High-Performance Analytic Appliance), la que permite analizar volúmenes masivos de datos en tiempo real facilitando la toma acelerada de decisiones de negocios y promoviendo la acción inmediata. Dada a conocer en detalle durante el SAP Partner Summit 2011, HANA es la nueva aplicación de BI de la compañía, la cual se integra a toda la suite ERP de la empresa, con la posibilidad de funcionamieneto en la nube. HANA es apta para todo tamaño de empresas, así como para cada sector económico, puesto que puede adaptarse a la realidad de cada organización (con alta o baja adopción de tecnologías), cercanía o lejanía geográfica, pudiendo ser operativa desde cinco empleados. La especialización de la solución es, en este caso, a la medida. “SAP HANA es la base y el núcleo de todo lo que estamos haciendo y de lo que haremos, tanto con nuestros producto actuales como con todo los que vayamos a lanzar en el futuro, porque se trata de un nuevo paradigma, de una manera completamente diferente de construir aplicaciones”, explicó Rodolpho Cardenuto, presidente de SAP América Latina y el Caribe. Otra innovación que puede correr gracias a la computación en memoria, es lo que se denomina sistemas de pagos inteligentes, aplicación financiera que calcula y entrega alternativas de financiamiento en facturas abiertas, analizando los datos actuales e históricos, proponiendo con inteligencia los descuentos que se deberían realizar en determinadas facturas. La tecnología en memoria ayudará a que se eliminen conjeturas y suposiciones en cuanto a descuentos, facilitando a los profesionales a predecir el impacto de esos términos financieros sobre la liquidez de los clientes. Una de las compañías que están innovando en la computación en memoria es la australiana Tibco, que entrega ejemplos prácticos de cómo esta tecnología puede elevar la competitividad de las empresas, ayudando a romper la barrera del rendimiento en cualquier aplicación que requiera frecuentes y altos volúmenes de solicitudes de grandes conjuntos de datos almacenados. Algunas de las ventajas se enumeran a continuación: -Industria Aeronáutica: El almacenamiento en caché de millones de registros de vuelo en constante cambio, incluyendo los itinerarios, tarifas y disponibilidad, para garantizar tiempos de respuesta rápidos para búsquedas de disponibilidad de vuelos. -E-commerce: El almacenamiento de datos para los sitios web de comercio electrónico para apoyar a la personalización y los carros de compras, grantizando la experiencia del cliente. “El impacto de la computación en memoria en los departamentos de TI es importante. Hoy en día si se quiere competir en los mercados verticales donde tiene un impacto real (finanzas, telecomunicaciones, comercio minorista, etc.) en la infraestructura y los conocimientos de programación, tomar ventaja de la computación en memoria es un imperativo, donde el análisis y la búsqueda a través de grandes conjuntos de datos lleva a las empresas a diferenciar sus negocios en el futuro”, dice David Hickman, director of service-oriented architecture (SOA) de Márketing de Tibco. Pese a la efectividad de esta tecnología, su llegada a Latinoamérica aún es lenta. Las aplicaciones SAP HANA, por ejemplo, debido a reciente lanzamiento están en una etapa de estudio y aproximación por las empresas de la región. Actualmente, sólo cinco empresas latinoamericanas han implementado esta aplicación. “Estos cinco contratos nos permiten asegurar que con la computación in-memory logramos un rápido pasaje de ‘concepto’ a ‘realidad’, lo que nos entusiasma de cara al futuro inmediato”, dice el ejecutivo regional de SAP. Computación en memoria, en la nube y móvil: la seguridad es el desafío. Este es el sueño de muchos gurús tecnológicos que pronostican que este trinomio será clave para el éxito empresarial, especialmente en todo lo que tiene que ver con la minería de datos, el data warehousing, la virtualización y la BI. Si bien la tendencia parece apuntar en esa dirección (sobre todo con la computación en la nube y la consumerización de dispositivos móviles, cada vez más insertados en ambientes laborales) surgen algunas dudas aún sin respuestas certeras, especialmente ligadas a la seguridad, las aplicaciones necesarias y la real utilidad de utilizar tecnologías que, quizás, no están acordes con el tamaño, dinámica u objetivos de la empresa. Otro tema importante es que, con la proliferación de teléfonos inteligentes, tablets PC y las redes sociales, la demanda de información está siendo en gran medida a través de aplicaciones web y móviles; además, el crecimiento de este segmento es exponencial, por lo que desarrollar aplicaciones enfocadas a “movilizar” todas estas tecnologías de gestión empresarial, será fundamental para atraer y retener clientes. Actualmente, aplicaciones in-memory como Qlikview son de las pocas que soportan completamente movilidad y operación en smartphones. “La tendencia va estar asociada a soluciones de mayor valor agregado que te permitan alojar esas aplicaciones que estas necesitando, en donde la disponibilidad de aplicaciones, la audacia y velocidad de los vendedores y desarrolladores en crear dichas aplicaciones, será fundamental”, dice Mariana Zamoszczyk, gerente de Programas y Servicios IT de IDC Latinoamerica. Gartner también se apunta en este sentido, señalando que para el 2013 el 22% de las funcionalidades de Business Intelligence serán usadas a través de los dispositivos móviles, por lo que la firma consultora recomienda a los departamentos de márketing y productos trabajar de la mano para generar aplicaciones de BI personalizadas. La seguridad no es un tema menor, sobre todo hoy cuando los ciberataques parecen ser transversales en todas las industrias y gobiernos, vislumbrando cierta vulnerabilidad que puede frenar la oleada cloud. “Es una tendencia (la nube) que la vemos clara y que nuestros clientes nos están solicitando, sin embargo, hay algunos temores relacionados con la seguridad (…) no tener claridad sobre los datos de tu empresa en una nube, me pregunto, ¿qué seguridad me da que esos datos estarán bien resguardados?”, concluye Gerardo Dávila, socio de Consultoría de Ernst & Young México. FUente: http://tecno.americaeconomia.com/not...n-las-empresas

[nicol10]

Gracias...pero eso es lo que no entedí muy bien:

¿Son nuevas computadores con una nueva forma de procesar información? O ¿Es un nuevo sistema operativo o soft para procesar información?

[Eloy58]

Iba a poner yo el mismo artículo ... jajajaja

"tas adelantao amigo" Tururojo ... Saludos.

[Tururojo]

Iniciado por nicol10 Gracias...pero eso es lo que no entedí muy bien: ¿Son nuevas computadores con una nueva forma de procesar información? O ¿Es un nuevo sistema operativo o soft para procesar información?

SI lees atentamente lo que te marco en Azul, comprenderas que no es un nuevo sistema operativo o programa para procesar informacion, si no una manera, mas rapida, de acceder a los datos o procesarlos (utilizando la tecnologia actual.... el cache de las CPU y RAM), pero lo que tienes que entender es que es para acceder, buscar, procesar,gestionar (informacion)...........no para almacenar (informacion)

[nicol10]

Ya leí un poco más sobre Computación en Memoria, que no es simplemente "una forma de acceder a la información" y que si es "necesario un software" especializado, pero, la información anterior, me dió una buena pista; les comento un pequeño resumen, ya que es muy extenso (y técnico):

In-memory Database

Una base de datos en-memoria ( IMDB , también sistema de base de datos principal de la memoria o la MMDB ) es un sistema de gestión de base de datos que se basa principalmente en la memoria principal del equipo de almacenamiento de datos . Se pone en contraste con los sistemas de gestión de bases de datos que emplean como almacenamiento un disco físico (disco duro). Las principales bases de datos de memoria son más rápidos que los discos optimizados para bases de datos, ya que los algoritmos de optimización internas son más simples y ejecutan en un menor número de instrucciones de la CPU. Acceso a los datos en la memoria reduce la actividad de lectura de E/S cuando se consultan los datos que proporciona un rendimiento más rápido y más predecible que en el disco. En las aplicaciones donde el tiempo de respuesta es crítico, tales como equipos de redes de telecomunicaciones y las redes de anuncios para móviles, son principales bases de datos de memoria que se utilizan con frecuencia.



La tecnología In-memory:

Con el avance vertiginoso en las tecnologías de RAM, surge la interesante posibilidad de llevar todos los datos físicamente más cerca de la unidad central de proceso, es decir, alojando las bases de datos en memorias RAM de alta capacidad en lugar de hacerlo en discos, a ésta se le llama “in-memory computing”.

Lo que ha hecho que en los últimos años las soluciones “in-memory” sean tan populares, los precios y las capacidades la habilitan para una rango mucho más amplio de aplicaciones, pensando ya en memorias RAM capaces de alojar Terabytes de información. Eliminando el acceso a discos, el procesamiento “in-memory” genera tiempos de respuesta hasta 10.000 veces mayores y se puede procesar datos a una velocidad de 100GB por segundo.

El procesamiento “in-memory” involucra indudablemente la utilización de hardware “servidor” especializado, configurado y certificado para el software en cuestión, e incluso con el software pre-instalado.
SAP HANA, es un producto que implementa “in-memory computing”

Los proveedores de hardware hasta ahora ofreciendo esta solución son HP, IBM, Cisco, Fijitsu, y Dell.


Servidor familia HP 9000

Fuentes:
Wikipedia.

In-Memory Business Data Management and SAP HANA

HP Solution for SAP HANA.


Saludos.

[baduser]

Iniciado por nicol10 Ya leí un poco más sobre Computación en Memoria, que no es simplemente "una forma de acceder a la información" y que si es "necesario un software" especializado, pero, la información anterior, me dió una buena pista; les comento un pequeño resumen, ya que es muy extenso (y técnico): In-memory Database Una base de datos en-memoria ( IMDB , también sistema de base de datos principal de la memoria o la MMDB ) es un sistema de gestión de base de datos que se basa principalmente en la memoria principal del equipo de almacenamiento de datos . Se pone en contraste con los sistemas de gestión de bases de datos que emplean como almacenamiento un disco físico (disco duro). Las principales bases de datos de memoria son más rápidos que los discos optimizados para bases de datos, ya que los algoritmos de optimización internas son más simples y ejecutan en un menor número de instrucciones de la CPU. Acceso a los datos en la memoria reduce la actividad de lectura de E/S cuando se consultan los datos que proporciona un rendimiento más rápido y más predecible que en el disco. En las aplicaciones donde el tiempo de respuesta es crítico, tales como equipos de redes de telecomunicaciones y las redes de anuncios para móviles, son principales bases de datos de memoria que se utilizan con frecuencia. La tecnología In-memory: Con el avance vertiginoso en las tecnologías de RAM, surge la interesante posibilidad de llevar todos los datos físicamente más cerca de la unidad central de proceso, es decir, alojando las bases de datos en memorias RAM de alta capacidad en lugar de hacerlo en discos, a ésta se le llama “in-memory computing”. Lo que ha hecho que en los últimos años las soluciones “in-memory” sean tan populares, los precios y las capacidades la habilitan para una rango mucho más amplio de aplicaciones, pensando ya en memorias RAM capaces de alojar Terabytes de información. Eliminando el acceso a discos, el procesamiento “in-memory” genera tiempos de respuesta hasta 10.000 veces mayores y se puede procesar datos a una velocidad de 100GB por segundo. El procesamiento “in-memory” involucra indudablemente la utilización de hardware “servidor” especializado, configurado y certificado para el software en cuestión, e incluso con el software pre-instalado. SAP HANA, es un producto que implementa “in-memory computing” Los proveedores de hardware hasta ahora ofreciendo esta solución son HP, IBM, Cisco, Fijitsu, y Dell. Servidor familia HP 9000 Fuentes: Wikipedia. In-Memory Business Data Management and SAP HANA HP Solution for SAP HANA. Saludos.