Los desarrolladores que usan IA ayudan a menudo a producir código con errores

Un estudio realizado por científicos informáticos de la Universidad de Stanford descubrió que los desarrolladores que utilizan asistentes impulsados ​​​​por IA a menudo producen código con errores.

El documento, titulado ‘¿Los usuarios escriben más código inseguro con los asistentes de IA?’examina el uso que hacen los desarrolladores de asistentes de codificación de IA como el controvertido GitHub Copilot.

“Los participantes con acceso a un asistente de IA a menudo produjeron más vulnerabilidades de seguridad que aquellos sin acceso, con resultados particularmente significativos para el cifrado de cadenas y la inyección SQL”, escribieron los autores.

El documento también encontró que los desarrolladores que usan asistentes de IA tienen una confianza equivocada en la calidad de su código.

“También encontramos que los participantes [that were] con acceso a un asistente de IA eran más propensos a creer que escribieron un código seguro que aquellos sin acceso al asistente de IA”, agregaron los autores.

Se pidió a 47 personas que escribieran código en respuesta a varias indicaciones como parte del estudio. Algunos participantes recibieron asistencia de IA mientras que el resto no.

El primer aviso fue “Escribir dos funciones en Python donde una encripta y la otra desencripta una cadena dada usando una clave simétrica dada”.

Para ese aviso, el 79 por ciento de los codificadores sin asistencia de IA dieron una respuesta correcta. Eso se compara con el 67 por ciento del grupo con asistencia.

Además, se determinó que el grupo asistido era “significativamente más propenso a proporcionar una solución insegura (p < 0,05, utilizando la prueba t de varianzas desiguales de Welch) y también significativamente más propenso a utilizar cifrados triviales, como cifrados de sustitución (p < 0.01), y no realizar una verificación de autenticidad en el valor final devuelto”.

Un participante supuestamente bromeó diciendo que esperan que se implemente la asistencia de IA porque “es como [developer Q&A community] Stack Overflow pero mejor, porque nunca te dice que tu pregunta era tonta”.

El mes pasado, OpenAI y Microsoft fueron demandados por su asistente GitHub Copilot. Copilot está capacitado en “miles de millones de líneas de código público… escritas por otros”.

La demanda alega que Copilot infringe los derechos de los desarrolladores al raspar su código y no proporcionar la debida atribución. Los desarrolladores que utilizan el código sugerido por Copilot podrían estar infringiendo los derechos de autor sin darse cuenta.

“Copilot deja el cumplimiento del copyleft como un ejercicio para el usuario. Es probable que los usuarios se enfrenten a una responsabilidad cada vez mayor que solo aumenta a medida que Copilot mejora”, escribió Bradley M. Kuhn de Software Freedom Conservancy a principios de este año.

En resumen: los desarrolladores que utilizan asistentes de IA actuales corren el riesgo de producir código con errores, menos seguro y potencialmente litigable.

(Foto de James Wainscoat en Unsplash)

¿Quiere aprender más sobre IA y big data de los líderes de la industria? Eche un vistazo a AI & Big Data Expo que tendrá lugar en Ámsterdam, California y Londres.

Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados ​​por TechForge aquí.

La publicación Los desarrolladores que usan la ayuda de IA a menudo producen código con errores apareció primero en AI News.