Conoce Arthur Bench, la nueva herramienta digital para evaluar modelos de lenguaje
La innovación nos llega de la startup neoyorquina Arthur, y se llama Arthur Bench, que no es más que una herramienta digital ideada y diseñada para poner a prueba y comparar los grandes modelos de lenguaje.
Hoy en día, el mundo está utilizando más y más sistemas de inteligencia artificial, donde los modelos de lenguaje desempeñan un papel importante en la comunicación y el análisis, por lo que se ha convertido una necesidad tener a la mano, medios que permitan evaluar el rendimiento de manera efectiva.
Acá es donde aparece Arthur Bench que no solo ofrece esta capacidad, sino que también invita a la comunidad a contribuir y mejorar la herramienta, demostrando el poder del código abierto en la innovación tecnológica.
La herramienta es de código abierto, lo que permite a las empresas y desarrolladores evaluar y comparar el rendimiento de los modelos de lenguaje de gran tamaño, denominados como LLMs.
Su objetivo es ayudar a los equipos a comprender las diferencias entre los distintos proveedores de LLM, así como las diversas estrategias de prompting y entrenamiento. Y entre las características más notable, destaca su capacidad para probar el rendimiento de diferentes modelos de lenguaje en casos de uso específicos. Además de ofrecer métricas que permiten realizar una comparación de los modelos en cuanto a precisión, legibilidad y otros criterios relevantes.
Si hay un problema común que poseen los LLMs es lo que se conoce como “hedging”, donde el modelo proporciona lenguaje irrelevante e innecesario para la respuesta deseada del usuario. Donde Arthur Bench destaca este problema y proporciona herramientas para abordarlo.
Actualmente, ya la herramienta está siendo aplicada en la vida real, entre ellas, firmas de servicios financieros lo utilizan para generar análisis de inversión de manera más eficiente, fabricantes de vehículos, han empleado la herramienta para crear LLMs que responden a consultas de clientes utilizando información de manuales de equipos, y el caso de la empresa Axios HQ, una plataforma de medios y publicación, que ha incorporado Arthur Bench en su desarrollo de productos.
Por ahora, la startup Arthur no solo ha lanzado esta herramienta, sino que ha anunciado una colaboración con Amazon Web Services (AWS) y Cohere para fomentar el desarrollo de nuevas métricas para Arthur Bench, alianza que beneficiaría a ambas empresas al momento de alinear las filosofías y estrategias de ambas.
Herramientas como Arthur Bench coloca sobre el tapete la importancia de la objetividad y precisión en la era de la inteligencia artificial, interés de muchas empresas que hoy en día hacen de un sistema de inteligencia artificial parte de su jornada diaria.
Para más información, visite https://www.arthur.ai/
