Yelp: Con Bunsen podemos probar productos a escala


Última oportunidad: regístrese para Transform, el evento de IA del año de VB, que tendrá lugar en línea del 15 al 17 de julio.


Yelp está llevando a cabo cientos de experimentos para garantizar que las nuevas características de sus aplicaciones y sitio web continúen alineándose con las métricas comerciales clave. Para comenzar, administrar y analizar los resultados de estos experimentos, los empleados de Bunsen utilizan una plataforma patentada que se desarrolló hace casi dos años.

Durante una entrevista el miércoles en la cumbre de transformación TransformBeat por Justin Norman, director de ciencia de datos en Yelp, Bunsen nació por necesidad. En el pasado, los ingenieros de Yelp eran responsables de experimentar por sí mismos, lo que significaba que tenían que escribir un código personalizado para comparar el rendimiento de las diferentes versiones del producto. A medida que la cartera de la compañía creció con los años, este enfoque gradual se volvió ineficiente y costoso.

En 2018, Yelp lanzó un esfuerzo interno para reunir las mejores herramientas y procesos experimentales de sus ingenieros en una sola solución. Esto se convirtió en Bunsen. "La cultura de Yelp siempre ha apreciado aprender rápidamente a través de la experiencia", dijo Norman. "El uso generalizado de experimentos rigurosos, especialmente desde una perspectiva estadística, es de hecho relativamente nuevo".

Hoy en día, casi todos los experimentos de datos en Yelp, desde productos hasta inteligencia artificial y aprendizaje automático, tienen lugar en la plataforma Bunsen con más de 700 en lugar de experimentos se llevan a cabo en cualquier momento. Bunsen apoya la provisión de experimentos para partes grandes pero segmentadas de la población de clientes de Yelp y permite a los científicos de datos de la compañía restablecer estos experimentos si es necesario.

"Una de las mejores cosas que Bunsen nos permite hacer es escalar con velocidad", dijo Norman. "La transición a esto es el resultado de algunas inversiones significativas en herramientas de datos y productos desarrolladas internamente, así como en infraestructuras estadísticas".

Bunsen consiste en un front end que se llama descaradamente una taza y es utilizado por gerentes de producto, científicos de datos e ingenieros. Use esto Opción para interactuar con el conjunto de herramientas. Una herramienta de "cuadro de mando" facilita el análisis de resultados de corridas experimentales, mientras que la Herramienta de análisis de experimentos de Bunsen (BEAT) resume todos los modelos estadísticos subyacentes. También hay un sistema de registro que puede rastrear el comportamiento del usuario y proporcionar funcionalidad para AI y modelos de aprendizaje automático. (En este contexto, las "características" se refieren a propiedades medibles de los fenómenos observados.)

El uso de la inteligencia artificial y el aprendizaje automático por parte de Yelp abarca desde la publicidad hasta las recomendaciones de restaurantes, salones y hoteles. La función de recopilación de la aplicación utiliza una combinación de aprendizaje automático, clasificación algorítmica y curación manual para proporcionar a los usuarios puntos de acceso locales. (El análisis de imágenes basado en el aprendizaje profundo identifica automáticamente el color, la textura y la forma de los objetos en las fotos enviadas por el usuario para que Yelp pueda predecir atributos como "bueno para los niños" y "el ambiente es elegante"). Yelp optimiza las fotos en los listados de negocios para la imagen más relevante para buscar clientes potenciales. Los anunciantes pueden optar por que un sistema de IA recomiende fotos y revise el contenido que se utilizará en anuncios publicitarios en función de su "impacto" en los usuarios.

"Bunsen se puede usar como una herramienta de implementación y prueba: puede determinar si los productos y modelos tendrán un impacto negativo en el crecimiento de las métricas comerciales o si realmente logran los objetivos que estamos luchando", dijo Norman. “Y los protocolos de Bunsen son una mina de oro para la investigación y el desarrollo de características. Los empleados de Yelp no solo tienen la oportunidad de implementar un modelo para una cohorte de personas dependiendo de cómo quieran llegar a ellos, sino que también pueden usar el sistema de registro y las herramientas de interfaz durante el proceso de desarrollo para crear consistentemente funciones consistentes a medida que lo hacen. Repita el modelo. “

Hace dos años, Yelp recurrió a Bunsen para desarrollar platos populares, una característica que destaca los nombres, fotos y reseñas de los artículos de menú de restaurantes que se ordenan con mayor frecuencia. Los modelos de IA para platos populares se han entrenado en más de 100 millones de fotos y reseñas. Confían en los menús de restaurantes de Yelp y otras señales para sacar conclusiones sobre los mejores entrantes.

Norman dice que reúnen los diversos puntos de datos que fluyen en ellos. Platos populares – es decir, nombres, fotos y comentarios – fueron un "desafío importante". No vivían en una sola base de datos, por lo que varios equipos de Yelp tuvieron que trabajar juntos para crear los conjuntos de características y contribuir a los ciclos de prueba y desarrollo.

"Esa es la belleza de Bunsen: es una plataforma distribuida que debe ser utilizada por una variedad de roles", dijo Norman. “Los gerentes de productos, los ingenieros de IA y de aprendizaje no automático, los profesionales de aprendizaje automático, los científicos de datos, los analistas e incluso el personal de relaciones públicas, o nuestros equipos de comunicación externos, consumen información que proviene de Bunsen o trabaja directamente con Beaker para recopilar datos Recopilar la información. "

Más recientemente, Bunsen ha sido fundamental en la introducción de nuevas funciones para abordar los desafíos planteados por la pandemia. En marzo, Yelp se asoció con GoFundMe para promover la recaudación de fondos de negocios locales. Dos meses después, la compañía agregó una categoría de información llamada ofertas de servicios virtuales que permite a las compañías demostrar el hecho de que ofrecen cosas como consejos virtuales, cursos, giras y presentaciones. Y en junio, Yelp agregó herramientas para ayudar a las empresas a reabrir para ver si estaban tomando medidas como imponer espacios de distancia y desinfección, y usar una combinación de moderación humana y aprendizaje automático para actualizar secciones de información que las empresas publicado en otro lugar.

La mayoría de estas funciones fueron bien recibidas, pero no todas. La asociación GoFundMe de Yelp ha sido criticada por su implementación, que inscribió a un primer grupo de empresas elegibles sin notificarles con instrucciones para desactivarlas. Las campañas de recaudación de fondos se crearon sin el permiso de los propietarios, y de hecho sin su conocimiento, en el proceso llamado "supervisión" por los oradores de Yelp.

Bunsen también ayudó aquí, ofreciendo a Yelp una forma de terminar rápidamente los problemas de donación hasta que pudieran resolverse. "La plataforma nos brinda la flexibilidad para determinar si la funcionalidad que brindamos puede no ser óptima o, en el peor de los casos, perjudicial", dijo Norman. "Tenemos una forma rápida de desactivar esas experiencias y hacer lo que sea necesario para solucionarlas en el back-end".

Bunsen permite a los ingenieros de C-Suite y Yelp examinar los umbrales demográficos y geográficos que sería indeseable exceder porque causarían resultados negativos para los clientes o usuarios comerciales. Según Norman, en la mayoría de los casos, la plataforma muestra los efectos positivos y negativos de los experimentos en las métricas empresariales y las experiencias de los usuarios casi de inmediato.

"Los usuarios de Bunsen pueden ver los efectos al final de las ejecuciones de prueba y en tiempo real, como experimentos. Se proporcionan motor de ciclo y funcionalidad. A través de los comentarios de la herramienta y los mensajes de advertencia, podemos determinar si hemos violado los valores umbral ", explicó Norman. "De esta manera, Bunsen es tanto una solución de visualización como una solución operativa que se combinan para ofrecer a los tomadores de decisiones enfoques tácticos y estratégicos".

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *