En nuestra serie de preguntas y respuestas «Engineering Energizers», exploramos el trabajo pionero de los líderes de ingeniería de Salesforce. Hoy destacamos a Srini Krishnamoorthy, Vicepresidente de ingeniería de software de Salesforce y líder del equipo de almacenamiento y metadatos de Data Cloud. El equipo de Srini ha desarrollado Zero Copy, una función que transforma la forma en que Salesforce interactúa con fuentes de datos externas, permitiendo el análisis y la toma de decisiones en tiempo real sin necesidad de la migración de datos tradicional.
Descubra cómo el equipo de Srini abordó intrincados retos técnicos para lograr una integración de datos perfecta, garantizó una sincronización de datos coherente en todas las plataformas y amplió el sistema para satisfacer las demandas de los clientes de Salesforce con un uso más intensivo de datos.
¿Qué es Copia Cero y cuál es su propósito dentro del ecosistema de Data Cloud?
Copia Cero es una característica fundacional de Data Cloud, diseñada para abordar el reto de acceder a datos de sistemas externos sin necesidad de complejas y costosas migraciones de datos. Históricamente, las empresas tenían que duplicar o trasladar los datos externos a Salesforce para su análisis, lo que provocaba ineficiencias y retrasos.
Descripción de los componentes de Data Cloud y de cómo Zero Copy encaja en la arquitectura general de Data Cloud.
Copia Cero
Con Zero Copy, Salesforce puede consultar datos directamente desde fuentes externas como Snowflake y Databricks, eliminando la necesidad de duplicación de datos. Esta capacidad permite a los clientes acceder a los datos y analizarlos en tiempo real, lo que garantiza que puedan maximizar el valor de sus inversiones en datos externos sin incurrir en gastos adicionales.
Copia Cero
Como componente clave del ecosistema de Data Cloud, Zero Copy ayuda a romper los silos de datos y garantiza que los datos de los clientes estén siempre actualizados y disponibles para su análisis. Esto respalda la misión de Data Cloud de ofrecer información unificada y procesable, permitiendo a las empresas tomar decisiones informadas de forma rápida y eficaz.
Zero Copy es un componente clave del ecosistema de Data Cloud
¿Cómo apoya Zero Copy a Data Cloud?
Zero Copy potencia significativamente la capacidad de Data Cloud para unificar y analizar datos de clientes procedentes de diversas fuentes. Al facilitar la consulta en vivo, el almacenamiento en caché y la integración de datos en tiempo real, Zero Copy permite a Data Cloud proporcionar una visión completa de 360 grados del cliente, incluso cuando los datos se almacenan en plataformas externas como Snowflake, Databricks, Google BigQuery o AWS Redshift.
Cómo ayuda Zero Copy a Data Cloud a unificar y analizar los datos de los clientes procedentes de diversas fuentes
En tan solo los últimos seis meses, Zero Copy ha permitido a Data Cloud consultar más de 4 billones de registros de sistemas externos sin mover ningún dato. Esta capacidad no solo reduce el tiempo y el coste asociados a los procesos ETL tradicionales, sino que también garantiza que Data Cloud pueda ofrecer información en tiempo real e integración de datos sin fisuras, satisfaciendo las demandas de nuestros clientes más exigentes en materia de datos.
Copia Cero
Crecimiento intermensual del número de registros consultados desde sistemas externos a través de la federación de datos de Copia Cero.
Crecimiento intermensual del número de registros consultados desde sistemas externos a través de la federación de datos de Copia Cero
Crecimiento intermensual del número de registros a los que se accede desde Data Cloud a través del intercambio de datos de Copia Cero.
Número de registros a los que se accede desde Data Cloud a través del intercambio de datos de Copia Cero
Zero Copy también facilita el acceso bidireccional, permitiendo a los sistemas externos consultar los datos de Data Cloud bajo demanda sin necesidad de duplicar los datos. En los últimos seis meses, Zero Copy ha permitido a los sistemas externos consultar más de 250.000 millones de registros de Data Cloud sin problemas, sin mover ningún dato.
¿Cuáles fueron algunos de los principales retos técnicos a los que se enfrentó su equipo durante el desarrollo de Zero Copy?
Uno de los principales retos fue diseñar un sistema que pudiera abstraer el origen de los datos, ya estuvieran almacenados de forma nativa en Salesforce o en plataformas externas como Snowflake o Databricks, sin sobrecargar al usuario con estas complejidades.
Para solucionar esto, nuestro equipo desarrolló una capa de gestión de metadatos que actúa como punto central para determinar dónde residen los datos y cómo se ejecutan las consultas. Cuando se realiza una consulta, el sistema primero consulta la capa de metadatos para identificar la fuente de datos. A continuación, Zero Copy decide si procesa la consulta internamente o la envía al sistema externo
Así es como funciona paso a paso:
- Gestión de la capa de metadatos: el sistema hace referencia a su capa de gestión de metadatos, que contiene información sobre dónde se almacenan los datos (por ejemplo, Snowflake, Databricks)
- Query Pushdown: en función de la ubicación de los datos, Zero Copy determina si procesar la consulta dentro de Salesforce o enviarla al sistema externo. Por ejemplo, si los datos residen en Snowflake, el sistema utiliza las capacidades de cálculo de Snowflake para filtrar y agregar los datos antes de volver a introducirlos en Salesforce
- Recuperación y procesamiento de datos: Una vez que el sistema externo procesa la consulta, Zero Copy recupera sólo los datos necesarios, lo que minimiza la transferencia de datos y reduce la latencia.
- Datos de Salesforce
Este proceso de toma de decisiones paso a paso permite a Zero Copy manejar diversas fuentes de datos sin problemas. Garantiza que los clientes puedan acceder a sus datos externos en tiempo real sin necesidad de duplicarlos o migrarlos, lo que supuso un importante reto que el equipo tuvo que superar.
El equipo de Zero Copy se ha esforzado al máximo para garantizar que los datos externos de los clientes estén disponibles en tiempo real
¿Cómo influyen los comentarios de los clientes en el desarrollo de Zero Copy y cómo ayudan a abordar los retos de escalabilidad?
Los comentarios de los clientes influyen en el desarrollo de Zero Copy y ayudan a abordar los retos de escalabilidad
Los comentarios de los clientes han desempeñado un papel fundamental a la hora de dar forma al desarrollo de Zero Copy, sobre todo en términos de escalabilidad. Inicialmente, preveíamos que la mayoría de los clientes manejarían decenas de millones de filas de datos. Sin embargo, poco después del lanzamiento, nos dimos cuenta de que los clientes necesitaban trabajar con cientos de millones o incluso miles de millones de filas.
La escalabilidad de Zero Copy ha jugado un papel fundamental en el desarrollo de la solución
Esta demanda nos impulsó a invertir fuertemente en la ampliación de las capacidades de Zero Copy, lo que dio lugar a innovaciones como la federación de archivos y el pushdown de consultas. Por ejemplo, basándonos en los comentarios de los clientes, mejoramos el sistema para que admita más de mil millones de filas en una sola consulta. Invertimos en la mejora de nuestro pushdown de consultas, en el que las consultas se procesan en la fuente (por ejemplo, Snowflake) para filtrar y agregar datos antes de devolver sólo los resultados necesarios a Salesforce.
Los clientes pioneros de varios sectores han probado estas funciones en situaciones reales y sus comentarios han sido muy valiosos para perfeccionar el sistema y garantizar que cumple sus requisitos de rendimiento. Estas mejoras no sólo refuerzan la escalabilidad de Zero Copy, sino que también garantizan que Data Cloud ofrezca información unificada y en tiempo real sobre fuentes de datos dispares.
¿Cuál fue el problema más difícil que su equipo resolvió de forma creativa durante la construcción de Zero Copy?
Uno de los problemas más complicados a los que nos enfrentamos fue mantener la coherencia y sincronización de los datos entre sistemas y, al mismo tiempo, permitir la consulta en tiempo real. Para solucionarlo, creamos nuestro modelo de «abstracción de datos bidireccional». Este modelo permite a Salesforce no sólo leer de sistemas externos como Snowflake y Databricks, sino también compartir información obtenida en Salesforce con estas plataformas externas en tiempo real, sin copiar datos
Este enfoque significa que si un cliente realiza un análisis de segmentación o crea una información derivada en Salesforce, puede enviar los resultados a Snowflake sin tener que extraer y volver a importar los datos. El reto consistía en garantizar la coherencia y sincronización de los datos entre los sistemas. Por ejemplo, cuando se trabaja con más de 500 millones de filas en un conjunto de datos activos, cualquier incoherencia o retraso en la sincronización podría dar lugar a desajustes e imprecisiones en los datos
Para solucionar este problema, hemos desarrollado un sistema inteligente de seguimiento de metadatos que registra, rastrea y concilia todas las operaciones de lectura y escritura en todos los sistemas, manteniendo una visión coherente de los datos en todo momento. Este nivel de innovación distingue a Zero Copy, mejorando significativamente la capacidad de Data Cloud para ofrecer a nuestros clientes una integración de datos sin fisuras y análisis en tiempo real.
Más información
- Para profundizar en la función Copia Cero, lee este artículo.
- Conozca el secreto de Data Cloud para escalar volúmenes de datos masivos en este blog.
- Conozca el secreto de Data Cloud para escalar volúmenes de datos masivos en este blog
- Manténgase conectado: ¡únase a nuestra Comunidad de talento!
- Consulta nuestros equipos de Tecnología y Producto para saber cómo puedes participar.