El conjunto de benchmarks diseñado por IBM Research llega para ayudar a medir el impacto real de la inteligencia artificial generativa en las empresas.
A pesar del auge de la IA generativa, su adopción en empresas ha sido limitada. La razón principal es la falta de métodos confiables para medir su eficacia en la resolución de problemas empresariales.
Según Nick Fuller, vicepresidente de IA y automatización en IBM Research, «se necesita construir confianza en estos sistemas, pero es difícil hacerlo sin puntos de referencia claros».
El panorama de la automatización IT es cada vez más complejo. Empresas enfrentan escasez de personal para gestionar incidentes, cumplir con normativas y optimizar costos. Sin herramientas de evaluación, comparar soluciones de IA y medir su impacto en estas tareas es casi imposible.
ITBench: el primer benchmark para evaluar IA en IT
Para resolver esta problemática, IBM Research ha desarrollado ITBench, una serie de benchmarks que permiten medir de manera científica la eficacia de los agentes de automatización en tareas críticas del entorno empresarial.
A diferencia de otros benchmarks que evalúan capacidades como generación de texto o código, ITBench está diseñado específicamente para problemas complejos de IT.
Desde su lanzamiento, ITBench incluirá tres áreas clave:
- Ingeniería de confiabilidad del sitio (SRE): Evalúa si un agente de IA puede detectar alertas, identificar su causa y proponer soluciones rápidas.
- Gestín de costos FinOps: Determina si la IA puede optimizar costos y mantener el equilibrio financiero en proyectos tecnológicos.
- Cumplimiento normativo: Mide la capacidad de los agentes para analizar regulaciones y garantizar que los sistemas empresariales cumplan con ellas.
IA para IT: de reactiva a proactiva
Uno de los principales desafíos en la automatización IT es la gestión de errores y riesgos. IBM Research ha desarrollado ITBench utilizando ejemplos del mundo real, incluyendo incidentes que han causado grandes pérdidas de datos.
Con estos benchmarks, se busca que los agentes de IA no solo reaccionen ante problemas, sino que también los prevengan antes de que causen daños significativos.
Daby Sow, director de IA para automatización IT en IBM Research, explica que la meta es ampliar el acceso a flujos de trabajo automatizados. «Queremos que los desarrolladores puedan probar sus agentes sin necesidad de conocer los detalles de sistemas específicos», asegura Sow.
En el futuro, estos agentes podrán anticipar errores en código, documentos legales y otros procesos digitales antes de que se conviertan en crisis globales.
Un paso más hacia la IA confiable para las empresas
IBM Research ya está desarrollando sus propios agentes con la meta de liderar las clasificaciones de ITBench. Además, planea expandir el conjunto de benchmarks para evaluar otras áreas de automatización IT.
Con ITBench, IBM no solo busca facilitar la adopción de IA en el ámbito empresarial, sino también establecer un estándar para medir su impacto real. Este avance podría ser clave para que más empresas confíen en la inteligencia artificial como una solución efectiva y medible para la gestión de IT.
