Los trabajadores empresariales obtienen un aumento de rendimiento del 40 por ciento con GPT-4, según un estudio de Harvard

Un estudio dirigido por Harvard descubrió que el uso de IA generativa ayudó a cientos de consultores que trabajan para el respetado Boston Consulting Group (BSG) a completar una variedad de tareas con mayor frecuencia, más rapidez y con mayor calidad que aquellos que no usaron IA.

Además, demostró que los de menor rendimiento del grupo obtuvieron las mayores ganancias al utilizar la IA generativa.

El estudio, realizado por científicos de datos e investigadores de Harvard, Wharton y MIT, es el primer estudio significativo sobre el uso real de la IA generativa en una empresa desde el éxito explosivo del lanzamiento público de ChatGPT en noviembre de 2022, que provocó una avalancha entre las principales empresas. empresas para encontrar formas óptimas de utilizarlo. Los investigadores actuaron rápidamente, comenzaron su investigación en enero de este año y utilizaron GPT-4 para el experimento, que se considera ampliamente el modelo de lenguaje grande (LLM) más poderoso. El estudio tiene algunas implicaciones importantes sobre cómo las empresas deberían abordar su implementación. 

«El hecho de que podamos mejorar el desempeño de estos consultores altamente remunerados y altamente capacitados, de las mejores instituciones de MBA de élite, que realizan tareas que están muy relacionadas con sus tareas diarias, en promedio un 40 por ciento, diría que es realmente impresionante». dijo a VentureBeat Fabrizio Dell’Acqua, de Harvard, autor principal del artículo.

El informe se publicó para revisión pública hace nueve días, pero no recibió atención significativa más allá de la industria académica y sus círculos sociales.

El informe es la investigación más reciente que confirma que la IA generativa tendrá un profundo impacto en la productividad de la fuerza laboral. Aparte de su titular, la investigación proporcionó algunas conclusiones cautelares sobre cuándo no utilizar la IA. Concluyó que existe lo que llamó una “frontera tecnológica irregular”, o una barrera difícil de discernir entre las tareas que la IA realiza fácilmente y otras que están fuera de las capacidades actuales de la IA. 

Esa frontera no sólo es irregular, sino que cambia constantemente a medida que las capacidades de la IA mejoran o cambian, dijo Francois Candelon, socio principal de BCG responsable de ejecutar el experimento desde el lado de BCG, en una entrevista con VentureBeat. Esto hace que sea más difícil para las organizaciones decidir cómo y cuándo implementar la IA, afirmó.

El estudio también señaló dos patrones emergentes de uso de la IA por parte de algunos de los consultores más competentes en tecnología de la empresa, que los investigadores denominaron comportamientos «Cyborg» y «Centauro», que los investigadores concluyeron que pueden mostrar el camino a seguir en cómo abordar las tareas. donde hay incertidumbre sobre las capacidades de la IA. Llegaremos a eso en un segundo.

El estudio es el primero que investiga el uso empresarial de la IA a escala, entre profesionales que realizan tareas reales del día a día.

El estudio incluyó a 758 consultores, o el 7 por ciento de los consultores de la empresa. Para cada una de las 18 tareas que se consideraron dentro de esta frontera de las capacidades de la IA, los consultores completaron un 12,2 por ciento más de tareas en promedio y un 25 por ciento más rápido que aquellos que no utilizaron la IA. Además, los consultores que utilizaron IA (el estudio les proporcionó acceso a GPT-4) produjeron resultados con una calidad un 40 por ciento mayor en comparación con un grupo de control que no tenía dicho acceso.

“El rendimiento mejoró en todos los aspectos. Medimos el rendimiento de todas las formas posibles”, escribió otro colaborador del estudio, Ethan Mollick, profesor de la Escuela Wharton de la Universidad de Pensilvania, en su resumen del artículo.

Los investigadores primero establecieron líneas de base para cada uno de los participantes, para comprender cómo se desempeñaban en tareas generales sin usar GPT-4. Luego, los investigadores pidieron a los consultores que realizaran una amplia variedad de trabajos para una empresa de calzado ficticia, trabajo que el equipo de BCG seleccionó para tratar de representar con precisión lo que hacen los consultores.

GPT-4 mejora las habilidades en muchas tareas clave de alto nivel

Los tipos de tareas se organizaron en cuatro tipos de categorías principales: creativas (por ejemplo: «Proponer al menos 10 ideas para un zapato nuevo dirigido a un mercado o deporte desatendido»), analíticas («Segmentar el mercado de la industria del calzado en función de los usuarios»). ), redacción y marketing (“Redacta un texto de marketing para un comunicado de prensa para tu producto”) y orientado a la persuasión (“Escribe un memorando inspirador para los empleados detallando por qué tu producto eclipsaría a la competencia”).

Uno de los hallazgos más interesantes fue que la IA nivelaba las habilidades. Los consultores que obtuvieron la peor puntuación en su desempeño inicial antes del estudio experimentaron el mayor aumento en el desempeño, 43%, cuando utilizaron IA. Los principales consultores recibieron un impulso, pero menos.

Pero el estudio encontró que las personas que usaban la IA para tareas en las que no eran buenos tenían más probabilidades de cometer errores y confiaban en la IA cuando no debían.

Una de las principales conclusiones del estudio fue que el funcionamiento interno de la IA sigue siendo lo suficientemente opaco como para que sea difícil saber exactamente cuándo es lo suficientemente fiable como para utilizarla en determinadas tareas. Este es uno de los principales desafíos para las organizaciones en el futuro, según el estudio.

Los comportamientos de Centauro y Cyborg pueden mostrar el camino a seguir

Pero algunos consultores parecieron navegar la frontera mejor que otros, según el informe, actuando como lo que el estudio llamó “centauros” o “cyborgs”, o moviéndose de un lado a otro entre la IA y el trabajo humano de maneras que combinan las fortalezas de ambos. Los centauros trabajaban con una línea clara entre persona y máquina, alternando entre tareas humanas y de IA, dependiendo de las fortalezas y capacidades percibidas de cada uno. Los cyborgs, por otro lado, mezclaban máquina y persona en la mayoría de las tareas que realizaban.

“Creo que así es como va el trabajo, muy rápidamente”, escribió Mollick de Wharton.

Aún así, el muro entre las tareas que realmente se pueden mejorar con la IA sigue siendo invisible. “Algunas tareas que lógicamente podrían parecer estar a la misma distancia del centro y, por lo tanto, igualmente difíciles (por ejemplo, escribir un soneto y un poema de exactamente 50 palabras) en realidad están en lados diferentes de la pared”, dijo Mollick. «La IA es excelente con el soneto, pero, debido a cómo conceptualiza el mundo en símbolos, en lugar de palabras, produce constantemente poemas de más o menos de 50 palabras».

De manera similar, algunas tareas inesperadas (como la generación de ideas) son fáciles para las IA, mientras que otras tareas que parecen fáciles de realizar para las máquinas (como las matemáticas básicas) son desafíos para los LLM, encontró el estudio.

La promesa de la IA puede inducir a los humanos a quedarse dormidos al volante

El problema es que los humanos pueden sobrestimar las áreas de competencia de la IA. El artículo confirmó otra investigación anterior realizada por Dell’Acqua de Harvard que demostró que la confianza en la competencia de la IA puede llevar a una peligrosa dependencia excesiva de ella por parte de los humanos y conducir a peores resultados. En una entrevista con VentureBeat, Dell’Acqua dijo que los usuarios esencialmente “apagan su cerebro” y subcontratan su juicio a la IA. Dell’AAcqua acuñó esto de “quedarse dormido al volante” en un estudio clave de mediados de 2021, donde descubrió que los reclutadores que usaban IA para encontrar candidatos se volvían perezosos y producían peores resultados que si no hubieran usado IA.

El último estudio también encontró que la IA puede producir homogeneización. El estudio analizó la variación en las ideas presentadas por los sujetos sobre nuevas ideas de mercado para la empresa de calzado y descubrió que, si bien las ideas eran de mayor calidad, tenían menos variabilidad que las ideas producidas por consultores que no utilizaban IA. «Esto sugiere que, si bien GPT-4 ayuda a generar contenido superior, podría conducir a resultados más homogeneizados», encontró el estudio.

Cómo combatir la homogeneidad impulsada por la IA

El estudio concluyó que las empresas deberían considerar implementar una variedad de modelos de IA (no solo el GPT-4 de Open AI, sino varios LLM) o incluso una mayor participación exclusivamente humana, para contrarrestar esta homogeneización. Esta necesidad puede variar según el producto de una empresa: algunas empresas pueden priorizar producciones promedio altas, mientras que otras pueden valorar la exploración y la innovación, según el estudio.

En la medida en que muchas empresas utilizan la misma IA en un panorama competitivo, y esto da como resultado una menor uniformidad de ideas, las empresas que generan ideas sin la ayuda de la IA pueden destacarse, concluyó el estudio.

Francois Candelon, de BCG, dijo que los hallazgos del estudio sobre los riesgos de homogeneidad también obligarán a las organizaciones a asegurarse de seguir recopilando datos limpios y diferenciados para utilizarlos en sus aplicaciones de IA. “Con Gen AI, es aún más urgente no solo asegurarse de tener datos limpios… sino también tratar de encontrar formas de recopilarlos. Hasta cierto punto, esto se convertirá en una de las claves de la diferenciación”.

ChatGPT de OpenAI, Bard de Google, Claude de Anthropic y una serie de otras plataformas LLM de código abierto, incluida Llama de Meta, permiten cada vez más a las empresas personalizar sus resultados inyectando sus propios datos patentados en los modelos, para que puedan mejorar no solo la precisión. , sino especialización y diferenciación en campos específicos.

Candelon de BCG dijo que el estudio está jugando un factor importante en la toma de decisiones de la empresa sobre cómo utilizar la IA internamente. Sí, el estudio encontró que la IA tiene una capacidad sorprendente para ofrecer conocimiento especializado y concluyó que se espera que sus efectos sean mayores en los trabajadores más creativos, mejor pagados y con mayor educación. Como tal, mejoró el desempeño de los peores desempeños en BCG. Sin embargo, Candelon dijo que los niveles de habilidad de los consultores de BCG son relativamente homogéneos en comparación con la población general, por lo que la diferencia en el desempeño entre los peores y los mejores no fue demasiado grande. Por lo tanto, no creía que el estudio sugiriera que la empresa pudiera comenzar a contratar personas casi sin capacitación en consultoría o trabajo estratégico.

Más estudios investigarán qué tareas son mejores para los comportamientos de Centauro y Cyborg

El estudio confirmó que ciertas tareas serán consistentemente mejor realizadas por la IA, y esto va en contra de algunas prácticas actuales, dijo Candelon. Candelon dijo que las empresas no deberían cometer el error de concluir que la IA es mejor para generar un primer borrador y obligar a los humanos a mejorar siempre. Dijo que las empresas deberían hacer lo contrario: «Dejas que la IA haga lo que realmente hace bien, y los humanos deberían tratar de ir más allá de esta frontera y profundizar mucho y dedicar su tiempo a otras tareas».

Dijo que el comportamiento del Centauro es notable, porque los Centauros han aprendido a dedicar algunas tareas a la IA, por ejemplo, resumir entrevistas y otras tareas creativas, mientras dedican su propio enfoque a cosas más relevantes para la competencia humana, por ejemplo, tareas relacionadas con datos o gestión del cambio. Sin embargo, dijo que la empresa planea investigar más los comportamientos de Centauro y Cyborg, porque en algunos casos puede ser mejor ser un Cyborg, mezclando competencias humanas y de IA.

En cuanto a escribir informes sobre la investigación de la IA como el que estoy haciendo aquí, con entrevistas a los investigadores sobre sus puntos de vista sobre las conclusiones del informe, creo que aún no se sabe si las máquinas son mejores que los humanos. ¡¿Cómo lo hice?!