Desarrollan un guardián virtual con IA para detectar comportamientos maliciosos en el metaverso

VALÈNCIA.  Un equipo de la Universitat Politècnica de València (UPV)perteneciente al Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) está desarrollando un guardián personal virtual con técnicas de Inteligencia Artificial (IA) para detectar comportamientos maliciosos y prácticas manipuladoras en entornos de realidades sociales híbridas como el metaverso.

El desarrollo, que se enmarca en el proyecto guardIA, se ha llevado a cabo con técnicas de IA y modelos computacionales del grupo de Investigación de Tecnología Informática e Inteligencia Artificial de VRAIN, con Vicent Botti como investigador principal. Su objetivo es garantizar una interacción social más segura y sofisticada en los futuros espacios sociales de realidad híbrida aprovechando las capacidades de la IA.

Este guardián personal virtual surge en respuesta al aumento del uso de los medios sociales y la tecnología en los que las personas van a poder interaccionar en entornos virtuales inmersivos con una relación sin precedentes, así como para la detección de intenciones o contenidos poco fiables o maliciosos, explica la institución universitaria.

Si bien ya existen interacciones intencionadas con los sistemas de recomendación y publicidad, basados en el comportamiento en línea, los agentes que controlen las interacciones y los flujos de información en las futuras realidades sociales híbridas tendrán todavía mayores ventajas para explotar las debilidades de las personas que se encuentren en estos entornos.

A partir de ahí, este guardián personal virtual interaccionará con el usuario final y lo sensibilizará y concienciará sobre posibles intentos maliciosos y prácticas manipuladoras que mitigarán sus efectos.

El proyecto guardIA consta, en una primera fase de desarrollo, de un ejemplo teórico y tecnológico que anticipa cómo las redes sociales híbridas van a redefinir las relaciones sociales y cuáles van a ser las nuevas formas de interacción social que surgirán en los entornos virtuales e identificar aquellas de mayor riesgo.

En segundo lugar, el desarrollo de un asistente personalizado de código abierto, basado en técnicas de IA, que participará en una sofisticada interacción con el usuario final, lo sensibilizará y ayudará a reconocer posibles intentos maliciosos y patrones de manipulación para que se reduzcan sus efectos. Y en tercer lugar, un proceso de comprensión de esta herramienta a nivel público que podrá ser aplicable en diversos campos.

Riesgo de manipulación en redes sociales

Según los responsables de la iniciativa, en los próximos 10-15 años existirán nuevas herramientas en las redes sociales del futuro a disposición de quienes quieran manipular a los usuarios con fines políticos, comerciales o de cualquier otro tipo. Estas no solo se centrarán en la esencia de un mensaje, sino en su forma. Por ejemplo, los bots con IA configurados con edad, género y voz similar al de las personas para desencadenar emociones e influir en su estado de ánimo y su capacidad de decisión.

"Pretendemos contribuir a una interacción social más segura en las redes sociales híbridas y facilitar el proceso de aceptación y adaptación de los usuarios a este nuevo entorno sociotecnológico. Por ello, se ha prestado una gran atención a las estrategias de diseño y la participación activa de los usuarios en el ecodiseño del mismo, mediante estudios de validación y actividades de prueba específicas para aumentar la confianza hacia este desarrollo", expone el director de VRAIN e investigador principal de guardIA, Vicent Botti.

El objetivo del proyecto coincide con la visión del instituto de mostrar una IA confiable y centrada en sus beneficios para las personas y la sociedad y para abordar un problema que, aunque todavía no exista, va a surgir en el futuro más cercano. El diseño tiene en cuenta el incipiente despegue de campos como la realidad virtual, aumentada y realidad que van a permitir la interacción libre, así como la tecnología multisensorial que permite el reconocimiento de las emociones de los usuarios de una forma fácil y en tiempo real.

GuardIA busca resolver problemas como la desinformación y la manipulación, fenómenos crecientes que van a adoptar nuevas formas con los rápidos avances tecnológicos hasta llegar a un punto en el que las imágenes reales no puedan ser diferenciadas de las falsas. O el crecimiento de los asistentes personales que, aunque en la actualidad están limitados a hacer pocas tareas, se espera que en unos años muestren un comportamiento inteligente como "verdaderos compañeros humanos".

Se trata de un proyecto Prometeo financiado por la Conselleria de Innovación y Universidades para grupos de investigación de excelencia, con una duración de cuatro años que en la actualidad se encuentra en su primer ejercicio.