Job Description
Importante empresa del sector financiero está en búsqueda de un profesional que ocupe el cargo de LLMops Engineer, que se encargará de asegurar la correcta operación, monitoreo y optimización de agentes de IA en producción.
Funciones:
- Llevar agentes de IA desde desarrollo y pruebas hacia producción, y operar/monitorear agentes en ambientes productivos con mantenimiento continuo.
- Implementar observabilidad end-to-end: registrar interacciones (API calls, tools, decisiones) y garantizar trazabilidad completa para auditoría.
- Medir y monitorear costos (tokens, transacción, uso total), latencia y construir dashboards de consumo y performance por agente.
- Implementar sistemas de evaluación continua (Evals) de agentes: monitorear calidad de respuestas, ajustar y optimizar en base a métricas.
- Implementar...