Los investigadores dicen que necesitamos mejores puntos de referencia para construir asistentes de IA más útiles


La promesa de conversación AI es que, a diferencia de prácticamente cualquier otra forma de tecnología, solo tienes que hablar. El lenguaje natural es la forma de comunicación más natural y democrática. Después de todo, nacen personas que pueden aprender a hablar, pero algunas nunca aprenden a leer o usar una interfaz gráfica de usuario. Por esta razón, los investigadores de IA de Element AI, la Universidad de Stanford y el CIFAR recomiendan a los investigadores académicos que tomen medidas para crear formas más útiles de IA que hablen con las personas para hacer las cosas, incluida la eliminación de los puntos de referencia existentes.

“Tantos puntos de referencia actuales [language user interface] sufren de baja validez ecológica. Recomendamos que los investigadores no inicien proyectos de investigación incrementales. Los avances específicos de referencia son menos significativos si no está claro si se transferirán a casos de uso LUI reales. En cambio, sugerimos que la comunidad se centre en ideas de investigación conceptual que puedan generalizarse mucho más allá de los conjuntos de datos actuales ”, dijo el artículo.

La forma ideal de crear interfaces de usuario de voz (LUI) es identificar a un grupo de personas que se beneficiarán de su uso, recopilar conversaciones y programas o acciones relacionadas, capacitar a un modelo y luego pedirles a los usuarios comentarios.

El documento titulado "Hacia una investigación ecológicamente válida sobre interfaces de usuario de idiomas" se publicó la semana pasada en el repositorio de preimpresiones arXiv y promueve la creación de modelos prácticos de lenguaje que pueden ayudar a las personas en sus vidas profesionales o privadas. Identifica las deficiencias comunes en los puntos de referencia populares existentes, como SQuAD, que no se enfoca en trabajar con usuarios objetivo, y CLEVR, que usa lenguaje sintético.

Ejemplos de desafíos de interfaz de voz que los investigadores académicos podrían perseguir en su lugar son, según los autores, asistentes de IA que pueden hablar con los ciudadanos sobre datos gubernamentales o puntos de referencia para juegos populares como Minecraft. Facebook AI Research lanzó datos y código el año pasado para ayudar a desarrollar un Asistente de Minecraft.

Algunos gobiernos han estudiado el uso de AI de conversación para guiar a los ciudadanos a través de momentos importantes de la vida o para guiar los servicios gubernamentales. El Computing Community Consortium (CCC) recomienda el desarrollo de asistentes inteligentes para toda la vida para ayudar a las personas con sus tareas diarias o para adaptarse a cambios importantes como un nuevo trabajo o un nuevo pasatiempo.

Los autores del artículo se centran en las interfaces de usuario de voz como AI, que puede actuar como asistente personal o interfaz de voz para interactuar con un robot doméstico, pero diferenciar entre LUI y modelos de AI que se utilizan para ciertos eventos, como el precio de Alexa. – Se han desarrollado desafíos y recompensan a los bots que pueden tener una conversación con un humano durante 10 minutos.

Los investigadores identificaron una serie de características problemáticas entre los puntos de referencia LUI, como el uso de tareas artificiales que pueden llevarse a cabo en entornos que no están directamente relacionados con el uso del modelo de lenguaje o el uso de lenguaje sintético.

Algunos se refieren al uso de empleados de Amazon Mechanical Turk, una fuente de trabajo humano en el que los investigadores de IA parecen confiar cada vez más como "trabajo fantasma". Los autores critican esto como una mala práctica porque los trabajadores no son vistos como usuarios potenciales de LUI.

Un ejemplo de la incapacidad de trabajar con un grupo objetivo mencionado en el documento es la tarea de la respuesta visual de preguntas (VQA), un sistema de IA para reconocer objetos y palabras. El conjunto de datos VQA consta de preguntas que la gente piensa que podrían sorprender a un robot doméstico. Se recopilan preguntas de los empleados de Mechanical Turk, pero no preguntas de personas ciegas o con discapacidad visual, aunque el conjunto de datos se creó parcialmente para apoyar a las personas con discapacidad visual. Los investigadores concluyeron que "la población que realmente se beneficiaría de la interfaz de usuario de voz rara vez participa en los esfuerzos de recolección de datos".

El proyecto VizWiz VQA descubrió que las personas con discapacidad visual pueden hacer preguntas de manera diferente y con frecuencia hacen preguntas. pregunte quién con "qué" o eso requiere la capacidad de leer texto. Las LUI difieren de las interfaces de AI de conversación que están diseñadas para intercambiar mensajes de texto o chat porque los usuarios pueden expresar las cosas de manera diferente cuando hablan que cuando escriben. El intercambio de guiones también puede conducir a fenómenos en los que las personas aprenden exactamente las palabras que una interfaz de voz o un asistente de IA necesita escuchar para funcionar, en lugar de usar su propio lenguaje natural, que es el propósito de crear modelos de lenguaje natural en anula principalmente

Algunos puntos de referencia también carecen de un diálogo de múltiples vueltas, que los autores también criticaron. Varios estudios han demostrado que las personas que usan IA para realizar tareas específicas responden mejor a los diálogos de múltiples rondas, la capacidad de hacer múltiples preguntas o dialogar, en lugar de emitir una serie de comandos separados.

En otras noticias recientes en el discurso, los investigadores de Microsoft dijeron esta semana que habían desarrollado PNL avanzado para profesionales de la salud, y el mes pasado los investigadores desarrollaron un método para identificar errores en las ofertas de IA en la nube de grandes empresas como Amazon, Apple y Google.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *