La investigación de Facebook muestra herramientas de IA para mejorar la compra de ropa en línea


En mayo de la misma semana, Facebook Shops anunció una oportunidad para que las empresas establezcan tiendas en línea para clientes a través de Facebook, WhatsApp, Messenger e Instagram. El gigante de la tecnología explicó la IA y los sistemas de aprendizaje automático detrás de su experiencia de comercio electrónico. Facebook dijo que su objetivo es algún día desarrollar un asistente que pueda proporcionar rápidamente recomendaciones de productos y aprender preferencias mediante el análisis de imágenes de lo que hay en el armario de una persona mientras la persona prueba nuevos artículos en autorreplicaciones y Can Sell Clothing

Varios artículos escritos en Facebook y aceptados en la conferencia Computer Vision and Pattern Recognition (CVPR) 2020 indican que la compañía está en camino de desarrollar los componentes de este asistente. Un artículo describe un algoritmo que detecta y cuantifica las influencias de la moda a partir de imágenes tomadas en todo el mundo. Otro muestra un modelo de IA que genera modelos 3D de personas a partir de imágenes individuales. Y un tercero sugiere un sistema que captura la afinidad de la ropa por diferentes formas corporales.

Las empresas de comercio electrónico como Facebook Marketplace confían en AI para automatizar una variedad de tareas detrás de escena, desde preferencias de aprendizaje y tipos de cuerpo hasta la comprensión de los factores potenciales que influyen en las decisiones de compra. McKinsey estima que Amazon, que recientemente utilizó inteligencia artificial para procesar las consultas de los clientes entrantes, genera el 35% de todas las ventas con su motor de recomendación de productos. Además de la clasificación, los clientes de startups como ModiFace, Vue.ai, Edited, Syte y Adverity permiten a los clientes probar virtualmente los colores de lápiz labial, ver imágenes de modelos en cualquier tamaño y reconocer tendencias y ventas a lo largo del tiempo.

Descubrimiento de las influencias del estilo de la moda

Como afirma un ingeniero de Facebook AI Research en uno de los artículos, la ropa que la gente usa es una función de factores como la comodidad, el gusto y la ocasión, pero también de influencias más amplias y sutiles como cambiando las normas sociales, el arte, la política, las celebridades, los íconos de estilo, el clima y el "estado de ánimo" de una ciudad donde vive alguien. Por esta razón, sigue siendo un desafío sin solución cuantificar las influencias en la moda.

VB Transform 2020 en línea – 15.-17. Julio. Únase a los principales líderes de IA: regístrese para la transmisión en vivo gratuita.

Por lo tanto, el investigador de Facebook sugiere descubrir patrones de influencia en grandes galerías de fotos y usar estos patrones para predecir las tendencias de estilo. "Afirmamos que las imágenes son los datos correctos para responder a esas preguntas", escribieron Kristen Grauman y Ziad Al-Halah, coautores de la Universidad de Texas en Austin. "En contraste con los datos de compra de los proveedores, otros metadatos no visuales o la exageración de los diseñadores de alta costura, las fotos cotidianas de lo que la gente usa en su vida diaria ofrecen una visión sin filtro de los estilos de ropa actuales" en el sitio "".

 Modo AI de Facebook

El enfoque novedoso comienza con la extracción de un vocabulario de estilos visuales de imágenes de personas sin etiquetar, geolocalizadas y con marca de tiempo. (Los investigadores vinieron de GeoStyle, un corpus de más de 7.7 millones de imágenes de personas en 44 ciudades de Instagram y Flickr). Cada estilo es una mezcla de atributos visuales reconocidos. Por ejemplo, puede elegir vestidos florales cortos en colores brillantes, mientras que otro captura camisas preppy con un collar. Las trayectorias pasadas de popularidad de los estilos se registran para identificar la prioridad temporal y la novedad. La "prioridad de tiempo" se refiere a cuando la moda de una ciudad cambia antes de una influencia observada. Luego, una medida estadística calcula el grado de influencia entre ciudades, mientras que un modelo de IA usa relaciones fotográficas para anticipar los estilos populares del futuro.

En experimentos, los investigadores aprovecharon las predicciones de atributos para mostrar cada foto con 46 atributos (z, colores, patrones y ropa), y aprendieron 50 estilos de moda basados ​​en ellos. Para cada estilo, utilizaron el modelo de IA anterior para determinar sus tendencias de popularidad en ciudades individuales durante las semanas.

  Facebook-AI-Mode

Arriba: El número de acordes que provienen de una ciudad nodo es relativo a la influencia que esta ciudad tiene en el destinatario. Los acordes se colorean de acuerdo con el color del nodo de origen, es decir, el influencer.

Los investigadores dicen que los resultados proporcionan información sobre la difusión mundial de las tendencias de la moda y (1) muestran qué ciudades tuvieron y recibieron más influencia en otras (2)) que influyeron más en las tendencias mundiales, (3) cuáles La conciencia de un estilo particular contribuyó y (4) cómo el grado de influencia de una ciudad misma cambió con el tiempo. Por ejemplo, su enfoque descubrió lo siguiente:

  • Los centros de moda como París y Berlín ejercen influencia en varias ciudades, mientras que al mismo tiempo son influenciados por algunas. Según los investigadores, París afecta a cuatro ciudades en Europa, mientras que solo está influenciada por Milán, mientras que ciudades como Yakarta tienen una relación de influencia uno a uno con Manila.
  • Mientras que algunas ciudades como Londres y Río mantienen una influencia constante con el tiempo, otras como Austin y Johannesburgo muestran una tendencia positiva y ganan más influencia sobre la moda con el tiempo.
  • En algunos estilos de moda, algunas ciudades mantienen el monopolio de ellas, mientras que otras están influenciadas de manera casi uniforme por varias ciudades. Por ejemplo, Seúl y Bangkok tienen un fuerte impacto en seis estilos de moda globales, mientras que Manila y Yakarta tienen una influencia débil en ellos.

"Nuestros resultados sugieren cómo la visión por computadora puede ayudar a democratizar nuestra comprensión de las influencias de la moda y, a veces, cuestionar la percepción general de qué partes del mundo impulsa la moda", escribieron los coautores. "Además, mostramos que al incluir la influencia, el modelo de pronóstico ofrece una precisión de vanguardia para predecir la futura popularidad de los estilos".

Representaciones de personas en 3D

El segundo golpe de papel de Facebook Una técnica de IA para crear modelos 3D de personas vestidas que podrían convertirse en la pieza central de un futuro asistente de moda con soporte de Facebook. El sistema, Reconstrucción de personas vestidas animadas (ARCH, por sus siglas en inglés), permitiría a los usuarios ver cómo usan ropa en varias poses no solo cuando están de pie, sino también al caminar, sentarse y agacharse en una variedad de entornos y condiciones de iluminación.

ARCH es un marco de extremo a extremo para la reconstrucción de personas vestidas en 3D "listas para la animación" desde una sola vista. Un componente predictivo deriva la postura y la forma del cuerpo, y permite que el sistema defina un espacio semántico y un campo de deformación escaneando puntos alrededor de la superficie del cuerpo y asignando "pesos de piel" que afectan individualmente la transformación de partes del cuerpo vestidas. (El espacio semántico se compone de decenas de miles de puntos 3D, con cada punto vinculado a información semántica que admite la representación, mientras que el campo de deformación está representado por una operación matemática que realmente realiza la representación). Luego aprende una función matemática, El renderizado permite la generación de detalles como pliegues de ropa, peinado y más que han sido manipulados para ser utilizados como un avatar animado.

 Modo AI de Facebook

En experimentos, los investigadores entrenaron al sistema en 275 escaneos 3D del conjunto de datos de código abierto RenderPeople y 207 escaneos de AXYZ para un total de 209,520 imágenes. Cada uno tomó imágenes de 360 ​​grados girando una cámara 1 grado alrededor del eje vertical, y luego utilizó 38 mapas circundantes para renderizar escaneos en diferentes condiciones de iluminación natural.

Los coautores informan que su modelo superó. Varias líneas de base en experimentos que proporcionan predicciones "plausibles" para partes invisibles como el cabello y la parte posterior de la ropa, así como pliegues y costuras más grandes en cosas como pantalones, camisas y zapatos. No es perfecto: dicen que las poses "raras" que no están cubiertas adecuadamente en los registros de entrenamiento afectan la precisión de ARCH por un lado, pero planean mejorarlas aún más en el trabajo futuro. Investigaciones relacionadas de Facebook Reality Labs ya han logrado crear reconstrucciones 3D de personas vestidas mucho más detalladas de lo que era posible anteriormente.

Vestirse para diferentes formas del cuerpo

La forma del cuerpo juega un papel importante en la determinación de qué prendas son las más adecuadas para una persona en particular, escribe un investigador de Facebook en el tercer artículo, pero los métodos actuales de recomendar la ropa siga el enfoque "One Shape Fits All". Para remediar esto, el investigador y un coautor están presentando la incrustación visual consciente del cuerpo (ViBE), que tiene como objetivo identificar prendas de vestir que halagan un determinado tipo de cuerpo en la imagen de una persona.

El equipo comenzó compilando un conjunto de datos de un sitio web de compras en línea llamado Birdsnet, que ofrece una gama de tamaños (8 a 18 en dimensiones australianas) en la mayoría de los estilos de moda. Cada artículo es usado por varios modelos en diferentes formas de cuerpo e incluye la vista frontal y posterior de las prendas, así como una imagen del modelo, sus medidas corporales y descripciones de texto.

 Facebook AI fashion

Después de recolectar un total de 958 vestidos y 999 tops de 68 modelos, los investigadores utilizaron un modelo pre-entrenado para extraer características visuales de las imágenes del catálogo y similares. Capture el color general, el patrón y la silueta de la ropa. Identificó las palabras más comunes en todas las descripciones para todas las entradas de catálogo para crear un vocabulario de atributos, y luego obtuvo un conjunto de atributos binarios para cada prenda que capturan características localizadas y sutiles, como escotes, cortes de manga y telas específicos. Después de todo, estimaron un modelo 3D del cuerpo humano a partir de cada imagen para capturar las características de grano fino.

Los investigadores también desarrollaron un enfoque automático para recomendar ropa a las personas según su forma corporal. Representa la forma del cuerpo de un sujeto en las representaciones aprendidas y utiliza modelos entrenados para usar las 400 prendas de vestir más cercanas y distantes como las mejores y menos adecuadas.

En experimentos, ViBE recomendó vestidos más cortos para los sujetos delgados que se ajustan o se ajustan a la antorcha que podría mostrar sus piernas. Para las personas pequeñas, cinturones y estilos de imperio que crean un aspecto más grande, así como bordados y volantes que aumentan el volumen, fueron los atributos más apropiados. Para formas de cuerpo más curvas, ViBE predijo que los atributos más apropiados serían alargados o mangas 3/4 que cubran los brazos, escotes en V que crean un aspecto más largo y delgado, y divisiones envolventes o laterales que definen la cintura durante las curvas. alrededor de los muslos

 Facebook-AI-Mode

ViBE, junto con ARCH y el predictor de influencia de la moda, parece ser un paso significativo en la dirección del asistente de moda de Facebook. Sin embargo, a juzgar por las declaraciones anteriores, la compañía cree que los avances en la comprensión del lenguaje, la personalización y las experiencias sociales primero deben realizarse antes de que un asistente de estilo verdaderamente progresista se ponga en duda.

"Visualizamos un futuro en el que [a] System podría … incorporar las recomendaciones de sus amigos sobre museos, restaurantes o el mejor curso de cerámica de la ciudad, lo que le facilitará comprar estas experiencias", dijo la compañía en Una declaración anterior. “Nuestra visión a largo plazo es desarrollar un asistente todo en uno para el estilo de vida de inteligencia artificial que pueda buscar y evaluar con precisión miles de millones de productos y al mismo tiempo adaptarlos a los gustos individuales. El mismo sistema haría que las compras en línea fueran tan sociales como las compras con amigos en la vida real. Si va un paso más allá, la búsqueda visual avanzará para hacer que su entorno real sea comprable. Si ve algo que le gusta (ropa, muebles, electrónica, etc.), puede tomarle una foto y el sistema encontrará exactamente ese artículo y varios artículos similares que puede comprar de inmediato. "

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *