Mid QA Automation — Generative AI Testing, Brazil

Somos especialistas em **transformação tecnológica** , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI\&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. **Importante** : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Sobre a vaga: Buscamos um(a) QA Engineer com automação para atuar na garantia de qualidade de soluções inovadoras baseadas em IA generativa (LLMs, agentes, RAG) desenvolvidas com Python. Você fará parte de um time multidisciplinar responsável por sistemas inteligentes para atendimento e integração com múltiplos canais digitais. Responsabilidades: Definir, implementar e executar estratégias de testes para pipelines de agentes IA generativa, chains e integrações (Python/LangChain). Criar e manter datasets de prompts, casos de teste e expected outputs para validação automatizada de respostas de LLMs. Desenvolver e automatizar testes unitários, funcionais, de regressão e adversariais para agentes e aplicações baseadas em LLM. Utilizar ferramentas como LangSmith, TruLens, Promptfoo para observabilidade, rastreamento, análise e avaliação automática/humana de resultados. Colaborar com time de desenvolvimento para identificar e corrigir bugs, analisar falhas e melhorar continuamente a robustez dos agentes. Monitorar, reportar e analisar métricas de desempenho, precisão e segurança dos agentes em ambiente de produção. Documentar procedimentos, critérios de aceitação, testes e resultados. Participar de rituais ágeis, reviews e definição de estratégias de releases. Requisitos: Experiência comprovada em Quality Assurance/Testing em projetos de software. Conhecimento avançado em Python e familiaridade com práticas de automação de testes (pytest, unittest, etc). Experiência com ferramentas de observabilidade e testes para LLM/IA generativa (LangSmith, TruLens, Promptfoo ou similares). Entendimento de processos de avaliação de LLMs: datasets, métricas, validação automática e humana. Noções de integração contínua e pipelines de CI/CD. Boa comunicação para detalhar bugs, falhas e colaborar com o time de desenvolvimento. Diferenciais: Experiência com testes de aplicações LLM (OpenAI, Azure OpenAI, Anthropic, Google Gemini, etc). Vivência prática com arquitetura de agentes e chains (LangChain, LlamaIndex). Familiaridade com Kafka, eventos, arquiteturas distribuídas. Conhecimento sobre avaliação de segurança (prompt injection, jailbreaking). **Nossos benefícios:** \- Plano de saúde e odontológico; \- Vale alimentação e refeição; \- Auxílio\-creche; \- Licença parental estendida; \- Parceria com academias e profissionais de saúde e bem\-estar via Wellhub (Gympass)  TotalPass; \- Participação nos Lucros e Resultados (PLR); \- Seguro de Vida; \- Plataforma de aprendizagem contínua (CI\&T University); \- Clube de descontos; \- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem\-estar; \- Curso gestante e parentalidade responsável; \- Parceria com plataformas de cursos online; \- Plataforma para aprendizagem de idiomas; \- E muitos outros Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt\-br/carreiras Na CI\&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante **apresentar o seu laudo durante o processo seletivo.** *Consulte quais dados são necessários conter no laudo* *clicando aqui.* Assim, podemos garantir o suporte e as adaptações que você merece. **Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê\-lo. Temos um time dedicado de Saúde e Bem\-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.**