En nuestra serie de preguntas y respuestas «Engineering Energizers», exploramos las extraordinarias trayectorias de líderes de la ingeniería que han alcanzado el éxito en sus ámbitos específicos. Hoy, nos reunimos con John He, vicepresidente de ingeniería de software, que dirige el desarrollo de Einstein Copilot para Tableau – una herramienta innovadora que redefine la forma en que los usuarios interactúan con sus datos, haciendo que los análisis complejos sean más sencillos e intuitivos que nunca.
Únete al equipo de IA de John mientras revoluciona esta herramienta, supera las complejidades de la infraestructura y lleva el análisis de datos al siguiente nivel.
Einstein Copotot para Tableau
¿Cuál es la misión de tu equipo de IA?
Nuestra misión es revolucionar el proceso de análisis de datos para los clientes de Tableau. Hemos desarrollado una interfaz conversacional impulsada por IA que hace que las herramientas de análisis sean accesibles para todos, eliminando la necesidad de un aprendizaje exhaustivo o de conocimientos previos de las herramientas de análisis.
Nuestra misión es revolucionar el proceso de análisis de datos para los clientes de Tableau
Con Einstein Copilot para Tableau, los usuarios pueden simplemente hacer preguntas sobre sus conjuntos de datos y recibir información rápida para comprender y tomar medidas sobre sus datos.
Nuestro objetivo principal es ayudar a los clientes de Tableau con las tareas de análisis, como descubrir oportunidades e investigar las razones detrás de eventos o tendencias. Por ejemplo, los equipos de ventas pueden aprovechar Einstein Copilot for Tableau para analizar datos, generar análisis, identificar oportunidades y obtener una comprensión más profunda del comportamiento de los consumidores. Con estos valiosos conocimientos, las empresas pueden tomar decisiones informadas para impulsar el crecimiento y el éxito.
¿Qué complejidades implicó la creación de la infraestructura de IA para Einstein Copilot para Tableau?
Uno de los principales retos fue priorizar el desarrollo de un sistema de benchmarking. Este sistema recopila datos de diversas fuentes y desempeña un papel crucial en la evaluación de la eficacia de las interacciones de preguntas y respuestas. Para optimizar el flujo de trabajo de procesamiento de datos, el equipo invirtió importantes recursos en el desarrollo de telemetría y canalizaciones de datos.
Otro objetivo clave fue mejorar las capacidades de inteligencia de Einstein Copilot para Tableau. Esto implicó:
- Integración de modelos estándar y personalizados en el entorno de producción. Se utilizó Salesforce Einstein Trust Layer para proteger la solicitud y la respuesta. Para garantizar la idoneidad de estos modelos, el equipo se basó en el sistema de evaluación comparativa para evaluar el rendimiento de los modelos y tomar decisiones fundamentadas.
- Salesforce Einstein Trust Layer
- Fundamentación con datos de clientes autorizados. Enviamos de forma inteligente un mínimo de datos a los LLM manteniendo la seguridad de máximo nivel. Los metadatos se utilizan inicialmente para la identificación de campos, y el algoritmo puede examinar más a fondo el valor de las dimensiones, de modo que pueda establecer el contexto con mayor precisión
- Generación de código a partir del contexto enriquecido, teniendo en cuenta las mejores prácticas de Tableau. El código incluía el cálculo o la especificación nocional y se convertían en visualización mediante la plataforma Viz. El equipo pretendía garantizar que los clientes pudieran beneficiarse de las mejores opciones disponibles y que la inteligencia proporcionada fuera transparente. Esto significaba evitar un enfoque de talla única y, en su lugar, adaptar los modelos para satisfacer las necesidades individuales de cada cliente.
- El equipo de Viz se centró en el desarrollo de modelos de cálculo y visualización
¿A qué obstáculos se enfrenta su equipo en términos de precisión y eficiencia mientras desarrolla Einstein Copilot para Tableau?
En primer lugar, nos enfrentamos al reto de interpretar con precisión las preguntas de los usuarios y traducirlas al código adecuado en los lenguajes de programación de Tableau, incluidos VizQL y Notional Spec. Aunque tenemos un modelo de trabajo para esto, nos esforzamos continuamente por mejorar su precisión y reducir cualquier alucinación en la traducción.
Además, estamos abordando el problema de la generación de conocimiento en analítica. Esto implica mejorar el conocimiento previo, lo que incluye abordar la calidad de los datos, la fiabilidad, la precisión, las actualizaciones de las fuentes de datos, la cobertura de los datos y las posibles limitaciones o sesgos. También nos centramos en generar conocimiento descriptivo que proporcione resúmenes precisos e informativos específicos para diferentes dominios.
Por último, estamos trabajando en la automatización de la generación de visualizaciones basadas en datos y consultas de los usuarios, como Sora en OpenAI, que puede generar vídeos con unas pocas indicaciones. Para lograrlo, estamos desarrollando un modelo LLM supervisado de ajuste fino que puede transformar eficientemente los datos en respuestas multimodales con visualización. Esto reduce significativamente el tiempo y el esfuerzo necesarios para el análisis. Las visualizaciones resultantes se pueden renderizar en Tableau o presentar en el cuadro de chat de Copilot, proporcionando a los usuarios representaciones visuales rápidas y perspicaces de sus datos.
Datos de los usuarios
¿Cuáles fueron los retos técnicos clave para mejorar la IA y las capacidades básicas de Einstein Copilot para Tableau?
Uno de los principales retos era encontrar más datos para entrenar y mejorar la inteligencia del sistema. Para ello, el equipo se centró en:
- Datos sintetizados. Perfeccionamos continuamente nuestros algoritmos de generación de datos analíticos para mejorar la calidad del modelo y agilizar el proceso.
- Datos sintetizados
- Tableau Public. Una plataforma impulsada por la comunidad que alberga millones de informes, visualizaciones y fuentes de datos. Esta plataforma atrae a una gran base de usuarios y recopila una diversa gama de datos. Al proporcionar acceso libre a la tecnología, la comunidad de Tableau también puede contribuir con sus datos, enriqueciendo aún más el conjunto de datos.
Además, el equipo necesitaba equilibrar la precisión, la velocidad y la creatividad de Copilot, lo que requería un cuidadoso ajuste. El equipo desarrolló una novedosa especificación analítica que mejora la velocidad de interpretación de la intención del usuario para las capacidades del sistema Tableau, al tiempo que mantiene la precisión. Para equilibrar precisión y creatividad en Einstein Copilot para Tableau, el equipo aprovechó el concepto de temperatura de los LLM. Ajustando la temperatura, que representa el nivel de creatividad en las respuestas de la IA, pueden controlar la precisión de las respuestas proporcionadas. Esto garantiza que las respuestas se generen a partir de información objetiva y cumplan las expectativas del usuario. Mantener la temperatura más baja reduce el riesgo de alucinaciones y proporciona a los usuarios ideas fiables y precisas.
La mejora continua fue otro aspecto crucial que el equipo priorizó. Para mejorar la experiencia de usuario de Einstein Copilot para Tableau, se utilizó una plataforma experimental llamada Zeus. Esta plataforma facilita la ingeniería sistemática, la detección de intenciones y la generación de conocimientos, lo que permite al equipo identificar áreas de mejora y mejorar continuamente las capacidades de Copilot.
Einstein Copilot para Tableau
Einstein Copilot para la arquitectura de extremo a extremo de Tableau.
Einstein Copilot para la arquitectura de extremo a extremo de Tableau
¿Puede explicar la colaboración entre el equipo de Einstein Copilot para Tableau y el equipo de investigación de IA de Salesforce?
Puede explicar la colaboración entre el equipo de Einstein Copilot para Tableau y el equipo de investigación de IA de Salesforce
La colaboración es clave para abordar el difícil reto técnico de mejorar la relevancia de las preguntas y la calidad de las respuestas de Einstein Copilot para Tableau. Para abordarlo, el equipo recopila preguntas que pueden no estar relacionadas con la consulta del usuario. Estas preguntas problemáticas se remiten al equipo AI Research, que utiliza los datos para crear modelos que ayuden a mejorar la calidad de las respuestas de Copilot con el tiempo.
Un ejemplo de colaboración tuvo que ver con la clasificación de intenciones. Aunque Einstein Copilot para el software de Tableau podía admitir múltiples intenciones, seguía existiendo una tasa de error de alrededor del 20 % a la hora de clasificar con precisión la intención del usuario. Para solucionarlo, nuestro equipo recopiló datos de feedback, incluidos los comentarios de los usuarios y los casos de prueba, y los compartió con el equipo de investigación de IA, que creó un modelo de lenguaje más pequeño y ajustado específicamente para la clasificación de intenciones, con el objetivo de mejorar la precisión y reducir la tasa de error
¿Cómo enfocan las pruebas de IA y la garantía de calidad de Einstein Copilot para Tableau?
Como ya hemos mencionado, hemos desarrollado un sistema de evaluación comparativa sobre el que construimos continuamente. Este activo cubre varios dominios y datos del sector, lo que nos permite probar a fondo diferentes escenarios y garantizar una alta cobertura.
A continuación, aprovechamos las capacidades de IA del propio Einstein Copilot for Tableau para realizar pruebas. Utilizamos un modelo para generar respuestas y luego empleamos otro para calificarlas. Este enfoque de pruebas cruzadas nos ayuda a validar la precisión y fiabilidad de las respuestas generadas por la IA.
Además, los comentarios de los clientes y los datos de etiquetado de los proveedores se utilizan para optimizar Einstein Copilot para los modelos de Tableau y mejorar sus capacidades listas para usar
Al combinar estos enfoques, garantizamos resultados precisos y mantenemos los más altos estándares de calidad.
Más información
- ¿Hambre de más contenido sobre Tableau? Descubra cómo el equipo de Tableau Pulse revolucionó Tableau al abordar los desafíos de integración de IA/ML y los obstáculos de escalabilidad, llevando el análisis a nuevos clientes
- Manténgase conectado: únase a nuestra Comunidad de talentos
- Consulta nuestros equipos de Tecnología y Producto para saber cómo puedes participar.
