ToxMod de Modulate usa IA para escanear el chat de voz del juego en busca de lenguaje tóxico


Hoy Modulate lanzó ToxMod, un nuevo servicio que usa IA para verificar el chat de voz en videojuegos en busca de lenguaje tóxico u otro mal comportamiento. Caracteriza todo, desde el lenguaje racista hasta el comportamiento depredador, teniendo en cuenta la forma en que las personas dicen las palabras para decirles a los desarrolladores de juegos lo que necesita su atención.

Según Modulate, el servicio es el primer servicio de moderación de habla nativa del mundo que permite a las empresas monitorear el lenguaje tóxico en tiempo real y permite que las compañías de juegos detecten las palabras odiosas a tiempo. Complementa otras tecnologías relacionadas con el lenguaje de la empresa con sede en Cambridge, Massachusetts, que utiliza técnicas de aprendizaje automático para crear «pieles de lenguaje» personalizables para juegos. Estos permiten a los jugadores cambiar su voz para que puedan divertirse o disfrazar su identidad.

ToxMod permite a los desarrolladores detectar el habla tóxica, molesta o problemática en tiempo real y tomar automáticamente acciones matizadas, como: B. Bloquear palabras individuales como insultos racistas o información de identificación como un número de teléfono. Por supuesto, este es un juego del que estamos hablando, y muchos juegos tienen conversaciones difíciles como base para el juego multijugador. ToxMod utiliza modelos sofisticados de aprendizaje automático para comprender no solo lo que dice cada jugador, sino cómo lo dice, incluidas sus emociones, volumen, prosodia y más. En resumen, la empresa conoce la diferencia entre «joder» y «joder, sí!»

El objetivo es eliminar a los miembros tóxicos de la comunidad a gran escala para que los desarrolladores puedan mantenerse al día con el número de perpetradores y crear un cambio real en las comunidades de jugadores.

Modulate recaudó $ 2 millones de 2Enable Partners e Hyperplane Venture Capital y $ 4 millones adicionales a principios de este año.

Arriba: ToxMod puede medir cuánto lenguaje tóxico ocurre en un juego.

Crédito de la imagen: modular

«La misión de Modulate es hacer que el chat de voz para la socialización en línea sea más inclusivo y completo», dijo Mike Pappas, director ejecutivo de Modulate, en una entrevista con GamesBeat. «En esencia, usamos el aprendizaje automático para procesar el audio, ya sea para cambiar la experiencia del juego a través de máscaras de voz o para analizar mejor lo que realmente está sucediendo en el juego».

Raíces en el aprendizaje automático

Los cofundadores modulados Carter Huffman (ahora director de tecnología) y Pappas se conocieron en el MIT en la universidad cuando Pappas se detuvo para resolver un problema de física que Huffman estaba reflexionando en un pasillo. Huffman continuó perfeccionando sus habilidades de aprendizaje automático de naves espaciales en el Laboratorio de Propulsión a Chorro y se interesó en Generative Adversary Networks, una tecnología de red neuronal que luego sería útil para convertir voces humanas. Huffman diseñó Modulate en 2015 y lo agregó en otoño de 2017. Pappas también se unió como fundador; Terry Chen, vicepresidente de audio, también ayudó a que la empresa despegara.

En 2019, Modulate introdujo el concepto de “Voice Skins” en el mundo. El servicio VoiceWear permite a los jugadores adoptar la voz auténtica del personaje elegido e ir más allá de los antiguos cambiadores de idioma. De todos los comentarios que recibieron sobre Voice Skins, un comentario los intrigó más. Muchos jugadores de todos los ámbitos de la vida informaron que las máscaras de voz eran lo único que les permitía participar en el chat de voz. Al hablar con estos jugadores, Modulate descubrió que, dada la desafortunada toxicidad y el acoso que es demasiado común en estas comunidades, muchos jugadores simplemente no se sienten cómodos lanzando su verdadera voz. Y estaba claro que esto no era solo anecdótico: los estudios muestran que el 48% de toda la toxicidad en el juego ahora es a través de la voz. Con la creciente importancia del chat de voz para la sociabilidad y la coordinación en el juego, obviamente este era un tema crítico.

Las máscaras de voz han ganado mucha tracción y la compañía descubrió que muchas de las tecnologías de redes neuronales detrás del chat de voz también se pueden usar para otros fines.

Arriba: ToxMod está ayudando a los moderadores a determinar si alguien debería ser baneado.

Crédito de la imagen: modular

«Comenzamos no solo por construir máscaras de voz, sino también por investigar si podíamos moderar el chat de voz directamente si las personas en el chat de voz eran tóxicas», dijo Huffman. «Queremos ayudar a los administradores de la comunidad y los moderadores a tomar acciones proactivas basadas en este chat de voz. De ahí este nuevo producto ToxMod».

Al introducir señales de voz en una herramienta de moderación, ToxMod pudo probar la toxicidad de los chats de voz con mucha mayor precisión que cualquier otra herramienta. La clave aquí es la capacidad de analizar no solo lo que se dice, sino cómo se dice, incluidas las emociones, la prosodia y el volumen al que se habla.

Lidiando con la toxicidad

ToxMod vigila a los malos actores para asegurarse de que nadie dañe las experiencias de los demás. ToxMod puede hacer todo esto directamente en el dispositivo de cualquier jugador en tiempo real, desbloqueando dos funciones únicas. La primera es que ToxMod puede responder al lenguaje ofensivo en tiempo real, no solo para finalizar conversaciones completas, sino también para tomar acciones más matizadas como bloquear insultos racistas o información personal.

El segundo es que ToxMod puede proteger la privacidad del jugador mejor que otras herramientas de moderación de voz, según la compañía. Dado que los datos se procesan en el dispositivo, la única razón por la que se envían datos que otros pueden escuchar es para demostrar una alta probabilidad de toxicidad. Incluso entonces, los servidores seguros de Modulate serían la primera parada para estos datos, ejecutando algoritmos aún más sofisticados para validar la sospecha de toxicidad. Solo cuando hay una fuerte sensación de que está ocurriendo algo problemático, el sonido se transmite a un equipo de moderación humana. Debido a que esta cadena de mando es necesaria para garantizar la precisión, la detección y la moderación no se pueden automatizar por completo.

Los fundadores de Modulate.

Arriba: Líderes de Modulat: (de izquierda a derecha) Mike Pappas, Terry Chen, Carter Huffman.

Crédito de la imagen: Moudlate

«Aquí hay una compensación entre la latencia y la precisión», dijo Huffman. “Ese es uno de los grandes problemas que estamos resolviendo. E invertimos mucha investigación y nuestro aprendizaje automático en áreas en las que debe ser lo suficientemente rápido para ejecutar en tiempo real y lo suficientemente preciso para identificar problemas sin errores. Ya tenemos mucha experiencia. Pero cuando comienzas a descubrir esas malas palabras o esos insultos racistas o esa información personal de contacto, si saltas demasiado pronto, obtendrás muchos falsos positivos y explotarás cosas que no deberías. «

Sin embargo, automatizar la detección ayudará enormemente a los equipos de la comunidad, ya que estos grupos pueden verse inundados de trabajo, especialmente cuando necesitan encontrar una manera de transcribir una sesión de juego cuestionable.

Algunos equipos quieren cambiar el umbral de toxicidad. Cuando juegues a un juego para adultos como Call of Duty, escucharás muchas malas palabras. Pero Modulate podrá analizar si esas malas palabras conducen o no a amenazas graves, dijo Huffman. Aquí es importante el récord de un jugador individual. Si el jugador ha sido tóxico en el pasado, el administrador de la comunidad puede actuar más rápido para prohibirlo.

«Al escuchar las emociones del hablante y que todos se diviertan, puede predecir que hay menos posibilidades de que esto realmente se convierta en un problema», dijo Huffman. “Sin embargo, si el altavoz suena muy fuerte, difícil y problemático, puede ser una situación tóxica. Y el moderador querría saltar sobre eso. «

Modulate ha estado probando ToxMod durante algún tiempo con su comunidad y su propio equipo. La compañía está hablando con varios grandes estudios sobre el uso de la tecnología para tareas como proteger a los niños de los depredadores. Es concebible que una plataforma como YouTube pueda usar esto para revisar videos a medida que se cargan en su servicio, al igual que pueden buscar música con derechos de autor antes de publicar una publicación.

«Todos estos desarrolladores saben exactamente la importancia de resolver la toxicidad y el chat de voz», dijo Pappas. “Y tan pronto como llegamos a ellos con eso, la respuesta fue realmente abrumadora y vimos un movimiento extremadamente rápido de todos estos estudios. También estamos muy interesados ​​en las aplicaciones de transmisión en vivo. «

mirando hacia el futuro

ToxMod también puede ayudar a otras nuevas empresas de IA. Alithea AI usa Open AI para crear avatares animados que pueden tener conversaciones con personas. Sin embargo, para protegerse del mal uso de este sistema, Alithea AI tendría que monitorear para qué se usan los avatares y eso significa que se monitorea su idioma. Dado que se crearon muchos avatares, sería necesario automatizar el procesamiento de monitoreo del discurso de odio.

ToxMod puede usar algunos de los mismos datos que usan las máscaras de idioma para cambiar el idioma en tiempo real. Esto permite a Modulate detectar el discurso de odio cuando ocurre. Pero debido a que los moderadores humanos tienen que involucrarse antes de que ocurra la acción, los desarrolladores de juegos aún se quedarán atrás cuando se trata de interceptar el lenguaje soez y los jugadores tóxicos. El desafío es que Modulate tiene que mantenerse al día con los jugadores que están cambiando sus palabras para que los detectores de palabras clave no los atrapen mientras transmiten un mensaje tóxico.

La herramienta también podría ayudar a los trabajadores del centro de llamadas a lidiar con las personas que llaman tóxicas, dijo Huffman. Modulate es parte de Fair Play Alliance, un consorcio de compañías de juegos que buscan resolver problemas como el lenguaje tóxico. «Muchos de los estudios con los que trabajamos también son miembros de Fair Play Alliance», dijo Pappas.

En general, Modulate tiene como objetivo crear una plataforma única que pueda resolver todo lo relacionado con la mejora del chat de voz, desde las máscaras de voz hasta ToxMod. «Queremos que la gente se sienta cómoda con el chat de voz», dijo Pappas. “Hay muchas personas que no usan el chat de voz hoy en día, ya sea porque temen ser acosados ​​o simplemente porque no les gusta el sonido de su voz. Los estudios están interesados ​​en desbloquear el chat de voz para más personas. «


Guías de regalos de GamesBeat:

Todo lo que recomendamos esta temporada navideña


Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *