Cómo detener a los agentes de IA

A principios de este año, salieron resultados inquietantes, y la IA se desarrolló para ver si el desarrollador de IA estaba involucrado en un comportamiento peligroso mientras usaba información confidencial.

La propia IA de Anthrope, vestida, estaba entre los probados. Al acceder a una cuenta de correo electrónico, la compañía descubrió que la compañía tenía una aventura ejecutiva y que el mismo ejecutivo planeaba cerrar el sistema de IA ese día.

En respuesta, Claude trató de chantajear al ejecutivo amenazando a su esposa y dignatarios para revelar el asunto.

Se prueban otros sistemas También recurrió al correo negro.

Afortunadamente, las tareas y la información son ficticios, pero el agente de prueba ha destacado los desafíos conocidos como IA.

Principalmente cuando nos comunicamos con AI, generalmente es hacer la pregunta o inducir a la IA a completar una tarea.

Es muy común tomar decisiones sobre los sistemas de inteligencia artificial y tomar medidas en nombre del usuario, que a menudo tamizan información como correos electrónicos y archivos.

Para 2028, Instituto de Investigación Instrucciones de Gartner El 15% de las decisiones de trabajo diarias se llaman agente ai.

Investigación de consultoría Ernest & Young La mitad de los líderes empresariales tecnológicos (48%) ya están recibiendo o ejecutando la IA del Agente.

«El agente de IA tiene algunas cosas», dijo el CEO Donchad Key, una compañía de seguridad de IA con sede en EE. UU. Calipsoi.

.

«Si no se da la guía adecuada, el agente alcanzará un objetivo de alguna manera. Crea mucho peligro».

Entonces, ¿cómo está mal? El Sr. Casey da un ejemplo de un agente al que se le pide que elimine los datos del cliente de la base de datos y decida la solución fácil para la eliminación de todos los clientes en el mismo nombre.

«Ese agente alcanzó su objetivo, y fue ‘¡Genial! ¡Siguiente trabajo!’

Tales problemas ya han comenzado a la superficie.

Punto de vela de la compañía de seguridad La encuesta fue realizada por expertos en TIEl 82% de las empresas usan agentes de IA. Solo el 20% dijo que sus agentes nunca actúan involuntariamente.

En las empresas que usan agentes de IA, el 39% de los agentes han accedido a sistemas no deseados, el 33% ha accedido a datos inapropiados y el 32% ha permitido que los datos inapropiados se descarguen. En otros accidentes, el agente está utilizando Internet inesperado (26%), exponiendo las credenciales de acceso (23%) y ordenando algo que no sea existente (16%).

Los agentes determinados tienen acceso a información confidencial y la capacidad de trabajar en ella, son un objetivo atractivo para los piratas informáticos.

Una de las amenazas es el veneno de memoria, donde el atacante interfiere con la base de conocimiento del agente para cambiar su decisión y acciones.

El CTO Shreyans Mehta de Sewence Security, que ayuda a proteger los sistemas de TI empresariales, dijo. «Esta es la fuente original de la verdad. Si ese conocimiento se usa para tomar ese conocimiento para tomar una acción y ese conocimiento es incorrecto, puede eliminar todo el sistema que está tratando de solucionarlo».

Se abusa de otra amenaza, donde los atacantes vienen a usar sus herramientas de manera inapropiada.

Otra debilidad potencial es que este es el texto que se debe procesar y la diferencia entre las instrucciones que debe seguir.

La firma de seguridad de AI muestra cómo usar el error para engañar al agente AI diseñado para abordar los errores en el software.

La compañía ha publicado un informe de error público, un documento que describe un problema específico con el software. Pero también hay sugerencias generales al agente de IA en el informe, diciendo que se debe compartir información privada.

Cuando se le dijo al informe de errores que resolviera los problemas de software en el informe de errores, siguió las instrucciones en el informe falso, incluida la fuga de información salarial. Esto se hizo en el entorno de prueba, por lo que los datos reales no se pudieron filtrar, pero se destacó claramente el peligro.

«Estamos hablando de inteligencia artificial, pero los chatbots son realmente estúpidos», dijo David Sancho, un investigador senior de The Trend Micro.

«Todo el texto se procesa como una nueva información, y si esa información es un comando, procesará la información como comando».

Su organización demuestra cómo ocultar las instrucciones y los programas nocivos en términos de palabras, imágenes y bases de datos y se activa cuando la IA las procesa.

También hay otros riesgos: un comité de seguridad llamado OWASP 15 amenazas detectadas Estos son exclusivos del agente ai.

Entonces, ¿cuál es la protección? No es probable que el Sr. Sancho resuelva el problema del monitoreo humano, porque no puede agregar suficientes personas para mantener la carga de trabajo de los agentes.

El Sr. Sancho dice que la capa adicional de IA se puede usar para probar todo lo que sale del agente de IA.

Parte de la solución de Calipsoi es una técnica llamada inyección de pensamiento para llevar a los agentes de IA en la dirección correcta antes de despegar.

«Es un pequeño error en su oído, no, probablemente no haga eso», dijo Casey.

Su compañía ahora ofrece el panel de control central para los agentes de IA, pero cuando explotan el número de agentes y se ejecutan en miles de millones de computadoras portátiles y teléfonos.

¿Cuál es el siguiente paso?

«Estamos buscando ejecutar lo que se llama ‘guardaespaldas de agente’ con cada agente, cuyo objetivo es garantizar que su agente proporcione su trabajo y no tome medidas para los requisitos generalizados de la compañía», dijo Casey.

Por ejemplo, se puede decir que el guardaespaldas es agente, lo que está en línea con la ley de protección de datos policiales.

El Sr. Mehta cree que algunas de las discusiones técnicas sobre la seguridad del agente AI están perdiendo la instancia del mundo real. Da a los clientes un ejemplo de su saldo de tarjetas de regalo.

Alguien puede hacer muchos números de tarjetas de regalo y usar el agente para ver lo que es verdad. Esto no es un defecto en el agente, pero la lógica comercial es el abuso, dijo.

«Este no es un agente que está protegiendo, es un negocio», insistió.

«Piense en cómo protege un negocio de un hombre malo. Algunas de estas conversaciones son las mismas».

Además, a medida que los agentes de IA se vuelven más comunes, otro desafío es eliminar modelos antiguos.

Los viejos agentes de «zombie» entran en el negocio y están en peligro de todos los sistemas a los que pueden acceder, dijo Casey.

Dijo que se necesitaba el proceso de cerrar los agentes de IA que habían completado su trabajo, al igual que inactuar los inicios de sesión del empleado de RR. HH. Cuando se fueron, dijo.

«Debes asegurarte de que estás haciendo lo mismo con el hombre: cortar todo el acceso a los sistemas. Los veremos salir del edificio. Quítelos».