Job Description
Responsibilities
- Garantir a qualidade, consistência e previsibilidade de soluções de IA antes e após o deploy;
- Criar e executar planos de teste funcionais, manuais e automatizados para modelos tradicionais e generativos;
- Definir e implementar frameworks de QA e automação de testes para IA;
- Executar testes de performance, segurança e robustez em guardrails de IA generativa ;
- Conduzir auditorias de viés, ética, conformidade e aderência à LGPD ;
- Avaliar métricas de performance (acurácia, precisão, recall, F1-score e consistência contextual);
- Monitorar e mitigar data drift e model drift em produção;
- Testar fluxos de prompts e agentes de IA quanto à coerência, factualidade e aderência ao contexto;
- Documentar resultados, riscos, planos de mitigação e relatórios executivos de qualidade;
- Propor melhorias contínuas e padronizar boas práticas de QA para IA corporativ...