En nuestra serie Engineering Energizers Q&A, exploramos a ingenieros que han sido pioneros en sus campos. Hoy nos reunimos con Rahul Singh, Vicepresidente de Ingeniería de Software, que dirige la empresa con sede en la India Data Cloud. Su equipo se centra en ofrecer una plataforma Data Cloud sólida, escalable y eficiente que consolide los datos de los clientes para mejorar la visión empresarial y personalizar las interacciones con los clientes, satisfaciendo las diversas necesidades de sus clientes.
Descubra cómo el equipo de Rahul abordó los principales desafíos técnicos -incluida la optimización de la escalabilidad de la plataforma, la reducción de los tiempos de procesamiento y la gestión de altas tasas de transacción- para ofrecer soluciones de alto rendimiento…
¿Cuál es la misión de su equipo de Data Cloud?
Una parte importante de nuestra carta es manejar escalas masivas de forma eficiente. Optimizamos nuestra plataforma para soportar altas tasas de transacción y grandes volúmenes de datos con una alta fiabilidad sin comprometer el rendimiento. Esto implica implementar tecnologías avanzadas y soluciones innovadoras que mejoren las capacidades de nuestra plataforma.
También nos comprometemos a contribuir a la comunidad de código abierto. Al compartir nuestros avances y colaborar con otros expertos, impulsamos la innovación y aportamos información valiosa a nuestros proyectos. Esto nos ayuda a mantenernos a la vanguardia y garantiza que nuestras soluciones sean punteras.
>
–>
Rahul explica por qué la cultura de Salesforce es única.
La cultura de Salesforce es única
¿Cuáles fueron algunos de los principales retos técnicos a los que se enfrentó su equipo con Data Cloud?
Un reto importante al que se enfrentó nuestro equipo fue mejorar la eficiencia de nuestra plataforma para gestionar operaciones a gran escala. Un ejemplo clave fue el de uno de nuestros mayores clientes financieros no bancarios de la India. Necesitaban capacidades de procesamiento de datos de principio a fin en un plazo muy estricto de entre 30 y 40 minutos, a pesar de que nuestro SLA habitual es de una a dos horas por módulo.
El objetivo era mejorar la eficacia de nuestra plataforma para gestionar operaciones a gran escala
Este cliente presta servicio a casi 500 millones de clientes, por lo que necesitaba un procesamiento rápido de los datos, desde la ingesta hasta la segmentación y la activación en Data Cloud.
El procesamiento de los datos en Data Cloud es un proceso muy complejo
Además, tuvimos que gestionar y organizar flujos de trabajo en varios servicios de Data Cloud. Esto nos obligó a implementar ajustes y cambios especiales en nuestra infraestructura existente para gestionar una mayor demanda de forma más eficiente.
Para cumplir los estrictos requisitos de SLA de ese cliente, tuvimos que realizar varias optimizaciones en distintas partes de la plataforma. Nuestro equipo colaboró intensamente para abordar no solo los componentes individuales del SLA, sino el SLA global de extremo a extremo. Esto implicó profundizar en varios servicios para identificar y eliminar cuellos de botella. Esto garantizó que pudiéramos cumplir las normas de rendimiento exigidas y, al mismo tiempo, reducir todo el proceso al plazo requerido. Además, implementamos optimizaciones especiales en nuestra infraestructura para gestionar cargas de trabajo mayores de forma más eficiente. Este enfoque colaborativo y detallado nos permitió dar soporte a sus necesidades de escala con una arquitectura moderna. En última instancia, estos esfuerzos lo convirtieron en uno de los mayores y más complejos conjuntos de cargas de trabajo de Data Cloud que hemos tenido en la India. Datos en la nube Por último, mediante la optimización de la asignación de recursos y el aprovechamiento de tecnologías como el autoescalado (horizontal y vertical), una mejor computación precio-rendimiento (por ejemplo, AWS Graviton) y las instancias puntuales/reservadas, diseñamos soluciones muy rentables sin comprometer el rendimiento. Hemos hecho varios ajustes clave: Al realizar estos ajustes, gestionamos las cargas de trabajo de forma más eficiente y cumplimos los estrictos SLA de extremo a extremo exigidos por el cliente indio. Estas optimizaciones fueron cruciales para respaldar las operaciones a gran escala y mantener altos estándares de rendimiento en Data Cloud. Trabajar directamente con los clientes nos proporciona información real sobre sus necesidades y retos específicos a la hora de ampliar sus negocios. Esta estrecha colaboración nos permite adaptar nuestras soluciones a sus necesidades Por ejemplo, los comentarios de un cliente sobre la latencia y los tiempos de procesamiento nos empujaron a reevaluar y mejorar el rendimiento de nuestra plataforma. Al conocer sus puntos débiles y sus necesidades operativas, pudimos introducir mejoras específicas que aumentaron significativamente la eficiencia Además, los intercambios periódicos de información con nuestros clientes nos permitieron adaptarnos a la evolución de sus necesidades. Este diálogo continuo garantizó que nuestras optimizaciones no fueran solo reactivas, sino también proactivas, anticipando futuros retos y oportunidades Una innovación significativa fue el desarrollo de un sofisticado mecanismo de orquestación que gestiona dinámicamente la distribución de la carga de trabajo basándose en señales en tiempo real. Este mecanismo garantizó una utilización óptima de los recursos y minimizó los tiempos de procesamiento, lo que nos permitió manejar grandes volúmenes de datos de forma más eficiente.. Hemos avanzado en nuestra gestión de la carga de trabajo implementando técnicas que aprovechan los metadatos y las estadísticas de las tablas para analizar los volúmenes de datos. Este enfoque estratégico ha mejorado significativamente la eficiencia y la velocidad de nuestras tareas de procesamiento de datos, permitiendo una categorización más precisa de la carga de trabajo. En consecuencia, nuestra plataforma puede manejar ahora conjuntos de datos complejos con mayor agilidad y precisión. Nuestro diseño del plano de control de Data Cloud evoluciona continuamente para escalar sin problemas y satisfacer las crecientes demandas de nuestros microservicios. Es compatible con una variedad de funciones, desde el procesamiento de análisis de datos a gran escala con Spark, la ejecución de consultas complejas con Trino & Hyper, hasta la gestión de casos de uso multimodal no estructurados con nuestra base de datos vectorial recientemente introducida. Nuestra plataforma está equipada para manejar cualquier carga de trabajo, desde pequeños trabajos de Kubernetes hasta despliegues a gran escala que utilizan miles de nodos de varios tipos, lo que garantiza la elasticidad. Prepárate para el futuro Para respaldar esta escalabilidad, utilizamos el escalado horizontal de recursos informáticos más allá de los límites de una única cuenta de AWS y el autoescalado de clústeres EKS. Estas capacidades se ven reforzadas por algoritmos eficientes de equilibrio de carga y enrutamiento de solicitudes, que satisfacen las crecientes necesidades de Data Cloud Everywhere. Data Cloud Everywhere Nos dedicamos a optimizar y desarrollar nuevos algoritmos de gestión y asignación de recursos, perfeccionándolos para garantizar que nuestros recursos informáticos se utilicen de la forma más eficaz, especialmente en escenarios de alta demanda. Esta mejora continua fomenta un mayor rendimiento y adaptabilidad. La escalabilidad es fundamental en nuestra filosofía de diseño. Probamos constantemente nuestros sistemas en distintos escenarios de estrés para asegurarnos de que pueden hacer frente a futuras demandas, identificando cuellos de botella y ajustándolos para conseguir un rendimiento óptimo. La escalabilidad es fundamental en nuestra filosofía de diseño En línea con la visión de Salesforce, nuestro objetivo es desplegar Data Cloud en todas las regiones, preparando la plataforma para escalar hasta 100 veces su capacidad actual. Esta expansión estratégica está diseñada para desarrollar soluciones que no sólo sean eficaces hoy en día, sino que también sean capaces de soportar cargas de trabajo significativamente mayores en el futuro. La escalabilidad es fundamental en nuestra filosofía de diseño Para lograrlo, estamos aprovechando la infraestructura de nube pública como Hyperforce. Esto nos permite escalar nuestros recursos de forma dinámica y elástica, garantizando que nuestra plataforma pueda crecer sin problemas junto con las necesidades cambiantes de nuestros clientes. Este enfoque garantiza que, a medida que aumentan las demandas de los clientes, nuestra plataforma sigue siendo sólida y receptiva. Esta flexibilidad permite una asignación eficiente de los recursos y respuestas rápidas a las demandas cambiantes. Además, la supervisión y el análisis continuos del rendimiento del sistema nos permiten realizar los ajustes necesarios, manteniendo la escalabilidad y la solidez para afrontar los retos futuros con eficacia.. > Rahul nos explica por qué los ingenieros deberían unirse a Salesforce. Por qué los ingenieros deberían unirse a Salesforce? Equilibrar la innovación con la estabilidad es sin duda un reto. Lo conseguimos mediante pruebas rigurosas y un enfoque de implementación por fases. Antes de desplegar cualquier nueva función u optimización, realizamos pruebas exhaustivas en entornos controlados para asegurarnos de que no se interrumpan las funcionalidades existentes. Cuidado con la estabilidad Nuestro proceso de pruebas consta de varias fases. Inicialmente, las nuevas funciones se prueban en entornos aislados para identificar posibles problemas. Una vez estables, se introducen gradualmente en fases de pruebas más amplias, simulando las condiciones del mundo real para verificar el rendimiento y la fiabilidad. Pruebas en entornos aislados Además, durante la fase piloto recopilamos de forma activa y continua los comentarios de nuestros clientes, que actúan como primeros adoptantes. Este proceso nos permite recopilar información valiosa e identificar las áreas que requieren mejoras. Establecer este bucle de retroalimentación es crucial para garantizar la estabilidad de las nuevas funciones antes de su despliegue a gran escala Por último, nos centramos en la supervisión y el análisis. La supervisión continua nos permite detectar y solucionar rápidamente los problemas de estabilidad, manteniendo una alta fiabilidad al tiempo que avanzamos en la innovación. Seguridad
¿Cómo superó su equipo esos retos?
En profundidad, ¿qué ajustes técnicos ha realizado para optimizar el rendimiento de Data Cloud?
¿Qué papel juegan los comentarios de los clientes en el proceso de optimización de Data Cloud?
¿Qué innovaciones han implementado en Data Cloud para gestionar la distribución de la carga de trabajo y mejorar la eficiencia del procesamiento de datos?
¿Cómo garantiza su equipo la escalabilidad de Data Cloud para satisfacer futuras demandas?
¿Cómo equilibra su equipo la innovación con el mantenimiento de la estabilidad y la fiabilidad en Data Cloud?
Más información