Cómo usa Duolingo la IA en cada parte de su aplicación


El aprendizaje de idiomas ha aumentado significativamente durante la pandemia. Sinónimo de aprendizaje de idiomas gamificado, Duolingo experimentó su fase de crecimiento más rápido en marzo de este año, con nuevos usuarios aumentando en un 101% en todo el mundo. Desde aquellos que simplemente tienen más tiempo libre hasta los estudiantes que intentan mantenerse al día con el año escolar pandémico, la aplicación es una gran bendición. Todos esos datos adicionales no se desperdician: con Duolingo invirtiendo en IA desde el principio, la aplicación sigue mejorando a medida que crece más allá de sus 30 millones de usuarios activos mensuales (a diciembre de 2019).

“Una de las cosas que la gente no sabe es que si bien el Duolingo está muy gamificado y se ve muy lindo, en realidad registra todo lo que haces para tener básicamente un modelo de lo que Ya sabes ”, dijo Luis von Ahn, CEO de Duolingo, a VentureBeat. Hablamos con von Ahn sobre la forma en que Duolingo usa la IA y luego nos conectamos con el director de investigación de la compañía, Burr Settles, quien se unió en 2013 (Duolingo se fundó en 2012). "Contratamos a un tipo llamado Burr que hizo un doctorado en IA", dijo von Ahn al describir la primera incursión de la compañía en IA. "Entró y la idea era descubrir cómo usar la IA para mejorar Duolingo".

Ya hemos investigado mucho sobre cómo Duolingo usa la inteligencia artificial para humanizar la enseñanza de idiomas virtuales y evaluar sus habilidades en inglés. Este es un vistazo más de cerca a todos los aspectos de la aplicación en sí, incluida la inteligencia artificial detrás de las historias, consejos inteligentes, podcasts, informes e incluso notificaciones.

 Duolingo AI

Todo esto se suma a una experiencia superior de aprendizaje de idiomas, dice Duolingo. De hecho, la compañía publicó hoy un informe que afirma que sus usuarios se desempeñaron tan bien en las pruebas de lectura y comprensión oral como los estudiantes que completaron cuatro semestres de universidad en la mitad de horas.

Repetición de distancia

A medida que lo usa, Duolingo crea un perfil excepcionalmente detallado basado en lo que sabe y lo que no sabe.

"Sabemos todo con una sola palabra", dijo von Ahn. “Tenemos un sistema de repetición de habitación completa. Sabemos cuántas veces has visto esta palabra y tenemos una idea de cuánto tiempo te tomará olvidarla. “

 Capturas de pantalla de Duolingo para un estudiante de habla inglesa que aprende francés [19659002] El sistema de repetición espacial fue el primer proyecto de inteligencia artificial que emprendió la empresa en 2013. El modelo puede predecir cuándo olvidó algo porque no lo ha visto con mucha frecuencia o recientemente. Hasta el día de hoy, Duolingo lo ha usado para elegir qué desafíos traerá a una lección de práctica para usted.

"Esto todavía está en producción", dijo Settles. "Este es un proyecto que no hemos tocado realmente en unos siete años. De hecho, lo revivimos en el último trimestre y terminamos retrocediendo y mejorando esto con algunas de las cosas que aprendimos". Y en 2013 también llevamos a cabo una prueba de nivel adaptativa por ordenador. Si es la primera vez que se inscribe en un curso, puede tardar aproximadamente cinco minutos. Esto lo llevará al lugar al que pertenece en el curso. Y también estamos realizando algunas mejoras activas. Este segundo proyecto fue la inspiración para las pruebas de inglés de Duolingo. VentureBeat hizo algo bastante minucioso últimamente, pero eso es IA de extremo a extremo. “

 Duolingo Words That Need Practice

En cada lección, Duolingo decide basándose en las palabras y conceptos que la aplicación cree que necesitas practicar. Los ejercicios específicos que se le servirán variarán, por lo que cada sesión de práctica es diferente para todos.

“Es posible que tengamos una lista de 20 palabras que nos gustaría enseñarle. Es lo mismo para todos ”, explicó von Ahn. “Pero tenemos cierta libertad para enseñarles estas palabras. Por ejemplo, podemos enseñarle la palabra "silla" dándole la frase "Me encanta esta silla" o podemos darle la frase "Me senté en esta silla". Y tomamos la decisión de cuál desea enseñarle, la palabra silla se basa en lo que creemos que es mejor. “

Si estás luchando con el tiempo pasado y Duolingo tiene varios ejercicios en diferentes tiempos, el tiempo pasado seleccionado en tu lección funcionará solo para asegurarte de que lo practiques más.

Birdbrain

Todo esto es posible gracias a una implementación de aprendizaje automático llamada cariñosamente Birdbrain.

"En general, para cada ejercicio tenemos una muy buena idea de lo difícil que es para usted", dijo von Ahn. "Antes de que se lo entreguemos, para cada oración tenemos una probabilidad de qué tan probable es que entiendas bien esa oración, este ejercicio. No nos da una explicación de lo que sabes y lo que no sabes. Solo dice : "Emil, para la oración que tiene el hombre de la silla tiene un 93% de posibilidades de hacerlo bien".

Además, Birdbrain ajusta la dificultad dentro de una lección basándose en la dificultad individual de una oración específicamente para "Y usamos eso para calibrar las dificultades", dijo von Ahn. "Si hace todo bien, le decimos: 'Démosle algo que creemos que solo tiene un 70% de posibilidades de hacer". correcto para ver si lo hace bien o no. "Cuando se equivocan muchas cosas, en realidad le damos cosas que son más fáciles".

 Duolingo respuesta correcta

Pregunte Birdbrain como máxima personalización sistema de aprendizaje gs.

"Es un sistema masivo que entrena todas las noches con aproximadamente 500 millones de lecciones del día anterior", explicó Settles. “Como subproducto de estas predicciones, modela cuán difíciles son los desafíos y cuán competentes son los usuarios. Y ahora tenemos este microservicio en el sistema donde el llamado generador de sesiones es el sistema que crea su lección solo para usted cuando está haciendo una lección o una sesión de práctica. Y decía: "Bien, aquí hay unos 200 desafíos que podría plantear esa pregunta". Solo usaré 14 de estos. Pero alrededor de 200 podrían caber aquí. “Birdbrain volverá y de esos 200 dicen bueno, aquí está la probabilidad de amenaza para cada uno de ellos. Y luego, el generador de sesiones puede usar esto para descubrir qué desafíos hay. Se puede utilizar para ordenar los desafíos que surgirán en esa lección en particular. “

Duolingo puede comenzar a brindarle lecciones personalizadas generadas por IA o sugerencias dentro de la lección después de completar alrededor de cien ejercicios o solo cinco o seis lecciones. El sistema es bastante nuevo: Duolingo solo comenzó a desarrollarse en octubre de 2019, presentando una función de producto que utilizó en marzo.

"Varios equipos están utilizando este servicio para mejorar sus propias experiencias", dijo Settles. "Y así, con el tiempo, la proporción de sesiones personalizadas con Birdbrain sigue creciendo".

En el último mes, Birdbrain personalizó entre el 6 y el 8% de las sesiones de Duolingo. Hoy en día, la cifra es del 12%, ya que los equipos de la empresa siguen buscando nuevas formas de utilizarlos.

Culpa

Para que la personalización de Birdbrain sea realmente útil, Duolingo necesita saber por qué está fallando ciertos ejercicios.

"Si obtienes un desafío correcto o incorrecto, en este punto Birdbrain no sabe por qué lo hiciste bien o mal", dijo Settles. "Si hubo una confusión, o si fue una concordancia de sustantivo-adjetivo, o si simplemente estaba escribiendo un revoltijo de palabras, no se diferencia entre ellas en lo que respecta a Birdbrain".

Duolingo usa todo lo que sabe sobre cada ejercicio, etiquetado lo más detallado posible (parte del lenguaje, estructura de la oración, tiempo, etc.) para poder averiguar cuál es la culpa. Estas etiquetas se crearon manualmente una vez, pero ya no.

"Ahora automáticamente hacemos mucho de eso para marcar cada ejercicio", dijo von Ahn. "Y luego, cuando te equivocas, tenemos este algoritmo llamado 'culpa', que estamos tratando de usar para asignar la culpa de por qué te equivocaste. Entonces, si intervienes y te equivocas, estamos tratando de averiguar cómo "Oh, porque no sabías la palabra para eso, o porque sabías la palabra para eso, pero no sabes cómo pasarlo al tiempo pasado". Y luego tenemos una idea bastante buena de las cosas que haces a menudo se equivoca ".

 Duolingo respuesta incorrecta

No hay un algoritmo separado si haces bien el ejercicio, pero Duolingo también realiza un seguimiento de eso.

" Si es correcto, damos A usted, agradecimiento. Decimos: "Está bien, él acaba de hacer un ejercicio que incluía estas palabras y estos conceptos, y los hizo bien. Por lo tanto, nuestra confianza en que esta persona conoce estos conceptos ha aumentado. Pero si se equivoca, es vi el más difícil porque Blame está tratando de averiguar cuál de los conceptos es el culpable de por qué se equivocó. Y a veces no podemos porque estás escribiendo una respuesta muy mal, quién sabe. Pero la mayoría de los errores que comete la gente suelen ser una cosa o dos. Y estamos tratando de averiguar qué concepto no conocías. ¿No conocías la palabra para eso? ¿No sabías el género de la palabra? ¿No sabías conjugar en pasado? ¿No sabías que los adjetivos vienen antes del sustantivo? “

La culpa puede escupir varias razones por las que hiciste algo mal. Y, por supuesto, cuantos más errores cometa, más difícil es descifrarlos. "En algún momento simplemente se rinde", dijo von Ahn.

Si sabe que está recibiendo un desafío equivocado pero reconoce una palabra, sería mejor simplemente traducir esa palabra que responder con Gobbledygook. “Definitivamente sería mejor para nuestro modelo. Nuestro modelo tendría una mejor opinión de ti. “

Por el contrario, si comprende correctamente, Duolingo no cree necesariamente que conozca todos los conceptos ; tal vez lo haya adivinado correctamente. "Eso es exactamente correcto", confirmó von Ahn. “Todo es probabilístico. Ahora tenemos un poco más de confianza en que conoces la palabra "banana".

Aprendizaje activo

Saber cómo se traducen las palabras individuales no es suficiente para una comunicación eficaz en un nuevo idioma. La construcción y comprensión de oraciones también son importantes. El año pasado, la compañía comenzó a trabajar en una función llamada Smart Tips. Para algunos de los errores que comete, Duolingo intenta averiguar la causa raíz para que pueda recibir un aviso oportuno. Por ejemplo, si Duolingo descubre que escribió las palabras correctas en el orden incorrecto, justo después de decir que su entrada era incorrecta, recibirá un consejo sobre cómo corregir la gramática.

 Duolingo Smart Tips [19659002] Parece bastante simple, ¿verdad? Resulta que Smart Tips no es solo aprendizaje automático.

"Eso requirió una gran creatividad", dijo Settles. “Cada desafío y respuesta se enruta a través de una ordenada y natural línea de procesamiento de libros de texto. Aquí está la oración, todos estos son sustantivos. Este sustantivo es masculino, es plural y es el sujeto de este verbo. Todo eso es un bonito libro de texto. Pero luego, cuando descubrieron que esta persona cometió ese error específico, se equivocaron en el orden de las palabras, o se equivocaron en el género del sustantivo y la concordancia del adjetivo. Estas son reglas creadas por humanos basadas en el proceso de procesamiento del lenguaje natural de los libros de texto. “

Settles era un estudiante de doctorado activo y escribió un libro sobre algoritmos de formulación de preguntas para el aprendizaje automático. En lugar de simplemente consumir datos pasivamente y aprender a predecir algo, desarrollan una o más hipótesis e intentan averiguar cuál es la correcta haciendo preguntas a un oráculo humano.

"Lo que estamos haciendo aquí es que estamos ejecutando un PNL para la respuesta correcta y estamos ejecutando el proceso de PNL con la respuesta incorrecta", dijo Settles. "Estamos examinando la diferencia entre estos y tratando de encontrar una serie de explicaciones de lo que está mal. Sabemos que está mal. Pero ¿qué hay de malo en eso? Y luego estás haciendo eso en unos pocos millones de ejercicios al día en total. Y luego le haces sugerencias a una persona como, "Oye, eso es lo que creo que sale mal con muchos de estos desafíos". Y luego se sugieren algunas reglas y pueden hacer clic en las reglas y ver ejemplos de la respuesta correcta y la respuesta incorrecta que estaría cubierta por esta regla. Trabajan con la IA, por así decirlo, para encontrar las reglas correctas ".

Este intercambio entre la IA y el personal humano conduce a reglas para patrones de error gramatical comunes requiere resumir todos los datos sobre los errores que los usuarios de Duolingo cometen cada día, y el personal de Duolingo luego decide qué es una regla y si se debe considerar o no un Ti pp se publicará. Aquí hay algunas funciones de compilación y optimización para garantizar que la nueva sugerencia aparezca rápidamente en su teléfono si comete el error apropiado. Y luego sucede de nuevo, con nuevos tipos de errores y reglas.

Bandit

Duolingo incluso utiliza IA para mejorar la eficacia de sus notificaciones. La aplicación te enviará una notificación todos los días para recordarte que practiques español, por ejemplo.

"Usamos inteligencia artificial para averiguar cuándo enviarlo y qué decirle", dijo von Ahn. “Capacitamos a todo el sistema para determinar el mejor momento para enviar la notificación en función de su propia actividad. Conocemos sus actividades en Duolingo y luego hemos observado todos los días en el pasado para un día específico en el que haya usado Duolingo. Luego, elegiremos un momento en el que sea mejor para usted enviar el recordatorio y qué decir en ese recordatorio. Hemos obtenido grandes beneficios en términos de la cantidad de personas que regresan. “

 Duolingo Alerts

Después de que Duolingo implementó su novedoso algoritmo de bandidos, la compañía vio un aumento de la retención de nuevos usuarios en un 2% de un día a una semana después de descargar la aplicación.

Eso no parece mucho, pero es un aumento significativo considerando que los únicos datos de entrada son el uso de la aplicación. Después de solo unos días, Duolingo puede optimizar cuando recibe la notificación. Incluso un día de datos es útil.

"De hecho, es bastante bueno", de Ahn. "Es interesante. Si solo tenemos información sobre usted durante un día, ¿sabe qué está haciendo el sistema? Recibirá la notificación exactamente a la misma hora al día siguiente. Resulta que en realidad es bastante bueno. Después de unos pocos". Los días son cada vez mejores. Probablemente tengamos una idea bastante clara de cuándo está usando Duolingo después de aproximadamente una semana. A veces, puede variar según el día de la semana, por lo que hemos descubierto que para algunas personas, es diferente los fines de semana que El sistema está prácticamente entrenado con datos tuyos, pero se vuelve bastante bueno, bastante rápido ”.

En contraste con la mayoría de las implementaciones de IA, donde siempre hay mucho margen de mejora, esto parece estar resuelto. Problema. "No sé si es un problema resuelto, pero nos sentimos bastante bien con lo que tenemos allí y es difícil imaginar que lo seríamos mucho. puede hacer esto ", dijo von Ahn. “Quizás podamos hacerlo un poco mejor, pero hace un trabajo bastante bueno.

Regresión logística

Siempre que envíe una respuesta a un desafío y Duolingo diga que hizo algo mal, tiene la opción de presionar el botón Informar. Cuando crea que lo hizo bien, estará listo para apelar.

 Duolingo informa sobre los usuarios de inglés que aprenden chino.

"Recibimos entre medio millón y un millón de ellos cada semana y el 90% de ellos son basura", dijo Settles. "Llaman accidentalmente a la puerta o la gente está equivocada, pero creen que tienen razón. Pero alrededor del 10% de esos son errores en el curso. O no necesariamente errores, pero cosas que son aceptables. Tal vez no sean los más fluidos o idiomáticos Manera de hacer esto, pero son correctos. Por lo tanto, deberíamos cambiar el contenido del curso para incluirlo. Sin embargo, esta es una verdadera aguja en el pajar para los supervisores y desarrolladores de contenido del curso ".

Para enfrentar este desafío, el equipo construyó un sistema de aprendizaje automático que utiliza un algoritmo de regresión logística que descubrió los informes que eran útiles.

"Durante un tiempo, simplemente clasificamos los informes según la cantidad de personas que presentaron ese tipo exacto de informe", dijo Settles. "Y eso ayudó un poco. Recolectamos muchos datos de entrenamiento en el proceso. Bueno, eso es realmente correcto y eso no es correcto. Así que pudimos crear un modelo para ma Practique el aprendizaje automático para predecir qué informes es probable que acepten nuestros colaboradores. Y hemos hecho esto de una manera muy multilingüe, por lo que ahora hay una interfaz que básicamente clasifica todos los informes para que puedan encontrar los más importantes que deben corregirse primero. “

 Priorización de informes de Duolingo

Es importante que Duolingo evalúe los informes y no solo descarte los menos útiles; después de todo, ningún algoritmo es perfecto. Además, todavía hay demasiados informes para que el equipo los complete independientemente de la priorización.

"Al menos lo anterior es más aceptable y los cambios que deberíamos estar haciendo", dijo Settles. "Algunos de ellos, cuando los miras, dicen," Sí, eso es obvio ". El lenguaje es tan expresivo. Hay tantas formas de decir exactamente lo mismo que incluso si realmente lo piensas, no necesariamente debe cubrir todos los aspectos básicos ".

Los resultados hablan por sí mismos.

" Solía ​​ser cuando lanzamos un nuevo curso, se tardaba unos seis meses en completar la versión beta ", señaló Settles." Uno de los El criterio para completar la versión beta es que tengamos menos de un cierto número de informes por número de sesiones. Los dos primeros cursos que presentamos después de crear esta herramienta, creo que fueron latín y gaélico escocés. Beta completado en cinco semanas, marcó una gran diferencia en la rapidez con la que pudimos procesar estos informes cuando llegaron ”.

CEFR Checker

En un solo trimestre de El año pasado, Duolingo utilizó el aprendizaje automático sin supervisión para crear una herramienta para determinar la dificultad de un texto para los estudiantes de idiomas. El equipo utilizó el Marco Común Europeo de Referencia (MCER) con una escala de seis puntos: A1 y A2 (principiantes), B1 y B2 (intermedio) y C1 y C2 (avanzado).

 Niveles de GER de Duolingo

La herramienta no solo clasifica el nivel de idioma del texto, sino que también evalúa el nivel de palabras y construcciones individuales. La versión pública solo tiene inglés y español, que puede probar usted mismo (MCER Checker), pero internamente Duolingo también funciona para español, francés, portugués, alemán e italiano.

"Nuestros expertos en lenguaje y currículo, a medida que desarrollas el currículo y organizas el vocabulario en los distintos niveles", explicó Settles. "Nos basamos en décadas de investigación que se ha realizado sobre perfiles de vocabulario. Los usamos como datos de capacitación. Sin embargo, la gran mayoría del trabajo que se dedica a crear estos perfiles de vocabulario es solo en inglés, ya que aprender inglés es una industria de miles de millones de dólares mientras que aprender portugués es menos importante ”.

Esta limitación significó que el equipo tuvo que depender de estudiantes de doctorado en lingüística con enseñanza en el aula que desarrollan gran parte del contenido del curso, que perfilan alrededor de 7.000 palabras en inglés Luego, el equipo de inteligencia artificial se puso a trabajar entrenando el modelo con grandes cantidades de texto en Internet para que pudiera aprender la dificultad de los 10 millones de palabras en el idioma inglés mediante la incorporación de palabras y el aprendizaje por transferencia. [19659002]  Examinador MCER inglés español Francés alemán

"Hemos inventado algunos métodos de procesamiento del lenguaje natural multilingües para el aprendizaje por transferencia", dijo Settles. “Básicamente, estamos realizando un aprendizaje por transferencia multilingüe y multitarea en el que tenemos principalmente datos en inglés, pero podemos entrenar un sistema que haga predicciones precisas en español, francés, alemán, italiano y portugués, a pesar de que estamos iniciando desde el Inglés. Comete algunos errores. Los expertos en currículos en estos idiomas pueden corregir errores importantes y luego volvemos a entrenar el modelo hasta que sea más preciso. "

Duolingo tiene una pestaña Historias con historias cortas para evaluar su comprensión lectora. El equipo de Historias utiliza MCER Checker para probar que el nivel de dificultad del artículo que han escrito es apropiado.

 Duolingo Stories-Feature

"Decimos: 'Está bien, necesitamos 10 historias más, nivel de lenguaje' ', dijo von Ahn. "Luego dejamos que los escritores los escriban y luego verificamos si están en ese nivel. Si no lo hacen, se los devolvemos a los escritores y les decimos:" Oye, esto todavía es demasiado difícil, deberías simplificarlo. "

Duolingo también graba podcasts para que puedas seguir estudiando fuera de la aplicación. El equipo de podcasts utiliza de manera similar los verificadores del MCER para asegurarse de que el guión que escribieron antes de comenzar a grabar Otros equipos de la empresa también están utilizando CEFR Checker y realizando solicitudes de funciones hasta el punto en que Settles quiere volver atrás y mejorarlo.

 Artículo de Duolingo CEFR Checker [19659002] Arriba está el análisis del CEFR Checker

¿Qué sigue?

La ​​pregunta principal que le hice al Duo fue con qué tienen más problemas los usuarios de Duolingo n: ¿En qué orden debo tomar las lecciones?

"Hemos investigado esto y probablemente deberíamos seguir investigando", dijo von Ahn. “Sabemos que mucha gente lucha con esto, ¿cuál es el mejor orden para hacer esto? Lo hemos pensado bastante y sí, eso es algo que hemos usado con IA en el pasado, pero no creo que hayamos hecho nada mejor que lo que tenemos actualmente, que es solo una El tipo de alquiler es que la gente investiga. “

Duolingo desbloquea lecciones más difíciles basadas en lecciones anteriores que ha completado, pero esa es la única guía que obtendrá. ¿Podría la IA ayudarlo a descubrir qué aprender a continuación?

"Probablemente en algún momento porque ahora tenemos las herramientas para trabajar en ello", dijo Settles. "Así que hay una acumulación de cosas que deben incluirse en la hoja de ruta".

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *