Engenheiro de dados sênior com foco em ia

Descrição: Ferramentas de Dados \- DataOps e MLOps: * Experiência com ferramentas para CI/CD e automação de fluxos de machine learning, como MLflow, DVC e Kubeflow. * Observabilidade de Dados: * Familiaridade com ferramentas de monitoramento e validação de dados, Cloud Logging, Cloud Monitoring, Dynatrace ou Datadog. * Orquestração de Pipelines: * Airflow, Luigi ou Prefect para a orquestração de pipelines de ML/IA. Bancos de Dados e Armazenamento de Dados \- Bancos Relacionais e NoSQL: * Conhecimento em SQL e NoSQL (BigQuery, redshift, MongoDB, Cassandra, Redis). * Data Lakes e Data Warehouses: * Capacidade de gerenciar Data Lakes para preparação de dados de IA, com foco em AWS (S3\) e GCP (BigQuery e Dataplex). * Armazenamento de Features: * Conhecimento em Feature Stores (ex: Vertex AI Feature Store, AWS SageMaker Feature Store ou Tecton). Cloud e Infraestrutura Nuvem: * AWS: Experiência com S3, Glue, SageMaker, EC2, Lambda e Redshift. * GCP: Experiência com BigQuery, Dataflow, Pub/Sub, Dataproc, Cloud Run, Composer, Vertex AI, Cloud Functions e Dataplex. Contêineres e Orquestração: * Docker e Kubernetes para execução e orquestração de modelos de IA/ML. Infraestrutura como Código (IaC): * Conhecimento em Terraform e CloudFormation para provisionar a infraestrutura necessária para os fluxos de IA/ML. * Machine Learning e Inteligência Artificial Conhecimento em Modelagem de IA: * Capacidade de colaborar com Cientistas de Dados para preparar conjuntos de dados para modelos de IA, garantindo alta qualidade e performance. MLOps: * Implementação de pipelines automatizados para treinamento, validação, deployment e monitoramento de modelos de IA (Apache Spark e MLFlow) Gestão de Features: * Capacidade de definir e gerenciar repositórios de features para modelos de IA (Feature Engineering). Conhecimentos Complementares * Privacidade e Segurança de Dados: Conhecimento de LGPD/GDPR para garantir conformidade regulatória no tratamento de dados para IA. Metodologias Ágeis: Experiência de trabalho com metodologias ágeis (Scrum/Kanban). Capacidade Analítica: * Capacidade de entender requisitos de negócio e convertê\-los em soluções técnicas para IA. Atuação: Modelo Remoto O que é a área de Engenharia de Dados para IA? A área de Engenharia de Dados com foco em Inteligência Artificial (IA) é responsável por projetar, implementar e otimizar a infraestrutura de dados que suporta soluções de IA e aprendizado de máquina (ML) dentro da vertical no cliente. Isso inclui garantir a disponibilidade, a qualidade e a segurança dos dados, facilitando a criação de modelos preditivos e soluções baseadas em IA que impulsionam a tomada de decisões estratégicas da Cia. Seus principais desafios serão: * Compreender as necessidades do negócio e requisitos de IA: Colaborar com stakeholders e cientistas de dados para entender como a IA pode agregar valor e traduzir essas necessidades em soluções técnicas. * Participar de discussões baseadas em dados e IA: Contribuir com insights e soluções de engenharia para desafios de dados e IA. Interface entre times de tecnologia, engenharia e data science: Trabalhar em sinergia com times de cientistas de dados, engenheiros de software e arquitetos de dados para garantir soluções escaláveis de IA. * Ingestão e transformação de dados para o data lake e Feature Store: Implementar pipelines de dados que alimentem o data lake e as Feature Stores, garantindo a disponibilidade de features reutilizáveis para os modelos de IA. * Análise e organização de dados brutos: Realizar a limpeza, a padronização e o enriquecimento dos dados para que estejam prontos para uso em projetos de IA. * Desenvolver e apoiar a operacionalização de modelos de IA e ML: Facilitar a transição dos modelos desenvolvidos por cientistas de dados para ambientes de produção, garantindo automação e estabilidade dos pipelines de inferência. * Construir e manter pipelines de dados e workflows de IA: Projetar pipelines de ponta a ponta, desde a coleta de dados até a disponibilização de features para modelos em produção. * Conduzir análises complexas e monitorar a qualidade dos dados: Monitorar a qualidade, a completude e a integridade dos dados utilizados para IA. * Colaborar com cientistas de dados e arquitetos em projetos de IA: Trabalhar lado a lado para assegurar a escalabilidade e a eficiência dos sistemas de IA e a entrega contínua de valor. O que você precisa para fazer parte deste time \- Arquitetura de Dados para IA: * Experiência na construção de pipelines de dados otimizados para projetos de machine learning (ML) e inteligência artificial (IA), com foco em ingestão, transformação e preparação de dados. * ETL e ELT para Modelagem de Dados de IA: * Conhecimento em processos de ETL/ELT voltados para a ingestão de grandes volumes de dados para aplicações de ML/IA. * Programação e Scripts: * Linguagens: Python (imprescindível) e R (diferencial). * Frameworks de IA/ML: TensorFlow, PyTorch, Scikit\-Learn, MLflow. * Scripting: Bash/Shell para automação de fluxos de trabalho. 2511090202181797649