OpenAI puede implementar un detector de texto generado por IA

OpenAI afirma tener una herramienta capaz de descubrir casos en los que se han utilizado generadores de texto de IA. ¿Verá alguna vez la luz del día?

OpenAI ha creado una herramienta inteligente para detectar la escritura conjurada por ChatGPT, pero están dudando si lanzarla al mundo, porque, ¿por qué dispararse en el pie?

Este detective de IA sigue la desaparición de su anterior clasificador de texto AI, que suspendió su evaluación de desempeño y falló en varios experimentos. Sin embargo, recién salido de la mesa de dibujo, OpenAI se jacta de tener una tecnología "altamente precisa". método de marca de agua de texto mientras sopesa los pros y los contras de lanzarlo al público.

¿El dilema? Les preocupa que la herramienta pueda estigmatizar injustamente a los hablantes no nativos de inglés que utilizan la IA como ayuda para escribir. La explicación menos noble (y más probable) es que los altos cargos de la empresa sabrán que la naturaleza encubierta de las herramientas de generación de texto les ayuda a proliferar. La gente es vaga y no le gusta que la descubran por ello.

Resulta que @OpenAI desarrolló una herramienta casi perfecta para detectar escritura ChatGPT y ha estado lista para funcionar durante aproximadamente un año, según @WSJ.
… Entonces, ¿por qué llamaron a los detectores de IA una causa perdida en una publicación de blog de agosto de 2023? pic.twitter.com/6O7kuR1pdz

- Molly Liebergall (@LiebergallMolly) 7 de agosto de 2024

Además, incluso si OpenAI quisiera lanzarlo, ninguna herramienta puede ser completamente infalible. Los usuarios astutos podrían evadir la detección traduciendo el texto, reformulándolo con otra IA o incluso añadiendo caracteres especiales antes de eliminarlos posteriormente.

Los primeros experimentos con metadatos son mucho más confiables, ya que, según se informa, el código mantendrá fuertes indicadores del uso de IA incluso después de haber sido modificado. Quizás la empresa propiedad de Microsoft esté realizando ingeniería inversa únicamente para su tranquilidad.

A medida que la influencia de la IA crece continuamente en el mundo del contenido, querrán saber por sí mismos dónde se aprovecha su tecnología. En cuanto a una publicación pública… seguramente están mintiendo.

Si bien la detección de texto aparentemente está en un segundo plano, OpenAI está elaborando planes para detectar contenido audiovisual generado por IA, lo que plantea riesgos más obvios en esta etapa.

Se están subiendo al carro de los metadatos C2PA, que adjunta una etiqueta de origen al contenido que sobrevive a las ediciones y hace que sea más difícil falsificar la autenticidad. TikTok y Adobe se encuentran entre los que emplean las mismas salvaguardias.

Odio que ahora, cada vez que veo una imagen (foto, arte, etc.), haya desarrollado el hábito de escanearla automáticamente en busca de signos de IA: dedos adicionales, cosas que no tienen sentido, esa sensación demasiado brillante o falsa. , etc. Desearía no tener que estar en guardia para ver si es falso o no.

— Acedera Mamí 🇧🇧✨ (@xcarliebimx) Febrero 16, 2024

DALL-E, OpenAI generador de imágenes, pronto incorporará metadatos C2PA al igual que su próximo generador de video 'Sora'. La idea es que, si bien las personas aún pueden crear contenido y propaganda engañosos, no pueden ocultar las señales de alerta que arrojan los metadatos.

OpenAI también anunció una solución de marca de agua resistente a manipulaciones para imágenes, invitando a laboratorios de investigación y organizaciones periodísticas sin fines de lucro a darle una oportunidad. Esta herramienta cuenta con una tasa de éxito del 98 % en la identificación de imágenes DALL-E 3, con una tasa mínima de falsos positivos.

Por último, la detección de audio está en el radar de OpenAI con su nuevo 'Voice Engine', supuestamente capaz de detectar IA incluso a partir de las muestras más convincentes. Con herramientas como estas, uno asumiría que es el fin de las pistas falsas de Drake que aparecen en Spotify.

Es comprensible que OpenAI se muestre reacio a permitir que las empresas y los negocios tengan en sus manos su detector de texto de IA. No obstante, siente la necesidad de proteger el panorama digital antes de que la IA supere el contenido en línea creado por humanos.