Facebook describe la herramienta de simulación de inteligencia artificial, con la que se encontraron errores y debilidades

Facebook ha descrito la simulación habilitada para la Web (WAS) en detalle hoy, un enfoque para crear simulaciones extensas de redes sociales complejas. Como se informó anteriormente, WES utiliza técnicas de IA para entrenar a los bots para simular el comportamiento de las personas en las redes sociales. Facebook espera usarlo para descubrir errores y vulnerabilidades.

La gente comercia e interactúa en persona y en línea de esta manera. Según Facebook, modelar algoritmos tradicionales puede ser difícil. Por ejemplo, el comportamiento de las personas evoluciona con el tiempo y se adapta de una geografía a la siguiente, lo que hace difícil predecir cómo una persona o comunidad podría reaccionar a los cambios en su entorno.

WES supuestamente resuelve esto automatizando las interacciones entre miles o incluso millones de bots similares a los de los usuarios. WES utiliza una combinación de simulación en línea y fuera de línea para entrenar bots con heurística y aprendizaje supervisado, así como técnicas de aprendizaje mejoradas, y ofrece una gama de propiedades de simulación que capturan problemas técnicos como la velocidad, la escalabilidad y el realismo. Si bien los bots son proporcionados por Facebook en los cientos de millones de líneas de código, están aislados de los usuarios reales para que solo puedan interactuar consigo mismos (con la excepción de los bots de "solo lectura" a los que la "protección de datos" tiene acceso al real) Facebook). Sin embargo, Facebook afirma que esta simulación de la infraestructura real garantiza que las acciones de los bots se mantengan fieles a los efectos que observarían los usuarios de la plataforma.

Los robots de WES están diseñados para jugar varios escenarios, p. Por ejemplo, un hacker que intenta acceder a las fotos privadas de alguien. Puede haber pocos bots ejecutándose en cada escenario, pero el sistema está diseñado para ejecutar miles de escenarios diferentes en paralelo.

"Tenemos que entrenar a los robots para que actúen como usuarios reales", dijo Mark Harman. Profesor de ciencias de la computación en el University College de Londres y científico en Facebook, explica durante una conversación con periodistas. "No tenemos que hacer que modelen un uso particular, por lo que solo tienen que tener las propiedades estadísticas de alto nivel que tienen los usuarios reales … Pero los resultados de la simulación se acercan mucho más a las realidades del mundo real. Los usuarios sí lo harían". “

Facebook señala que WES todavía está en la fase de investigación y no se ha utilizado en la producción. En un experimento, los científicos de la compañía lo usaron para crear WW, una simulación basada en el código de producción de Facebook. WW puede generar bots que intentan comprar artículos no autorizados (como armas o drogas) en la plataforma de Facebook. intentan engañarse unos a otros; y realizar acciones como buscar, visitar páginas y enviar mensajes. Gracias a un componente de diseño mecánico, WW también puede ejecutar simulaciones para probar si los bots pueden violar las medidas de seguridad de Facebook y ayudar a identificar patrones estadísticos y mecanismos de productos que pueden hacer que sea más difícil comportarse de esta manera, que violan los estándares comunitarios de la compañía.

“Hay paralelismos con el problema de calificar juegos desarrollados por IA. Solo tiene que aceptar que no puede modelar el comportamiento humano. Para calificar los juegos, debes concentrarte en lo que puedes medir La probabilidad de un empate o asegurarte de que un agente experimentado siempre sea mejor que uno menos calificado ", dijo Mike Cook, un investigador de IA con uno Grant de la Universidad Queen Mary en Londres, que no participó en el trabajo de Facebook, para VentureBeat. “Tener bots que simplemente vagan por una copia de la red y los botones y prueban cosas es una excelente manera de encontrar errores, y algo que hemos estado haciendo (de una forma u otra) durante años, software grande y pequeño Probar . "

Un análisis de Facebook de los errores de producción más graves mostró que hasta el 25% eran errores sociales, de los cuales" al menos "el 10% se podían descubrir a través de WES. Para impulsar la investigación en esta dirección, la compañía lanzó recientemente una convocatoria de propuestas pidiendo a investigadores académicos y científicos que aporten nuevas ideas para WES y WW. Facebook afirma haber recibido 85 presentaciones hasta la fecha.

WES y WW se basan en el sistema de inteligencia de Facebook, que diseña, ejecuta e informa automáticamente los resultados de decenas de miles de casos de prueba en las bases de código de la aplicación móvil de la compañía todos los días como SybilEdge Fake Account Detector. Otro de los sistemas de la compañía, la Clasificación de Entidades Profundas (DEC), identifica a cientos de millones de usuarios potencialmente fraudulentos a través de un marco de inteligencia artificial.

Sin embargo, los esfuerzos de Facebook para cambiar la moderación de contenido a IA y aprendizaje automático han sido mixtos en el mejor de los casos. En mayo, el sistema automatizado de Facebook, los organizadores de un grupo que cose máscaras en la plataforma a mano, amenazaron con prohibir comentar o publicar para notificarles que el grupo en su conjunto podría ser eliminado. También etiquetó los artículos de noticias legítimos sobre la pandemia como spam.

Facebook atribuyó estos errores a los errores y admitió que la IA no es el principio y el fin. Al mismo tiempo, la compañía no ha publicado la precisión de sus sistemas de detección de discurso de odio en su último informe trimestral sobre los estándares de la comunidad, y dice que no se puede estimar. (De los 9.6 millones de publicaciones que se eliminaron en el primer trimestre, Facebook indicó que su software detectó el 88.8% antes de que los usuarios lo informaran).

Hay evidencia de que el contenido objetable se comparte regularmente Los filtros de la diapositiva de Facebook. En enero, Caitlin Carlson, profesora asociada de la Universidad de Seattle, publicó los resultados de un experimento en el que ella y un colega recopilaron más de 300 publicaciones que parecían violar las reglas de discurso de odio de Facebook y las informaron a través de las herramientas del servicio. Solo aproximadamente la mitad de las publicaciones fueron eliminadas en última instancia.

"La IA no es la respuesta a todos los problemas", dijo Mike Schroepfer, CTO de Facebook, en una entrevista anterior con VentureBeat. “Creo que la gente se mantendrá actualizada indefinidamente. Creo que estos problemas son básicamente problemas de la vida humana y la comunicación. Es por eso que queremos que las personas tengan el control y tomen las decisiones finales, especialmente cuando los problemas están matizados. Pero lo que podemos hacer con la IA es, ya sabes, hacer las tareas comunes, las tareas de mil millones de dólares y el trabajo pesado. "