Engenheiro de Dados Sênior (Fullstack AWS)

**Código da Vaga:** 1411 ### **Empresa** ### **Área(s) de Atuação** TI \- Banco de Dados ### **Descrição da Vaga** 100% remoto contrato inicial de 4 meses com expectativa de extensão ou internalização. Job Description * Projetar, desenvolver e manter os processos de ingestão de dados; * Modelar e projetar estruturas de dados para DW/Data Lake (estruturado/não estruturado); * Construir e manter os processos de tratamento e armazenamento de dados; * Construir e manter os processos de controle e monitoramento do Data Lake. * Construir integrações, utilizando APIs e soluções de mensageria * Apoiar nas definições técnicas do ecossistema de Big Data ( AWS, Apache Hadoop, Spark, File System, HBase, Kafka, Hive, etc.) e Shellscript; * Criar e desenvolver integrações de dados entre sistemas e o Data Lake; considerando o uso de SQL e Apache ; * Monitorar as ingestões de Dados, envolvendo ciclos de qualidade de dados. * Garantir a confiabilidade da plataforma e dos dados através de testes unitários. * Apoiar na criação de esteiras DevOps/DataOps em escala de serviços e infraestrutura na nuvem (utilizar linguagens de programação para automação e provisionamento); * Habilidades de criação de documentação * Habilidade de escuta, análise e diálogo com time de negócio para entender e atender as demandas ### **Requisitos** Sólida experiência e vivência prática na criação e manutenção de pipelines de dados Domínio em linguagem de programação Python, Scala ou Java Atuação em Tecnologias: Pandas,Pyspark,testes unitários (Pytest) Experiência AWS: * Cloud: S3, Lambda, Glue, Athena, QuickSight, Cloudwatch, Cloudformation, SNS, SQS, API Gateway, RDS (Aurora), DynamoDB, IAM, Secrets Manager, Steps Functions, Batch, EC2, KMS, CodePipeline), EMR * Infra: Git,Github, Github Action, Esteiras de CI/CD,terraform, cloudformation. Experiência em Banco de Dados estruturado (Oracle ou SQL Server); Experiência prática em democratização de dados (Data Mesh); Experiência com ferramentas de observabilidade, especialmente o Datadog, para criação de métricas, logs, traces e dashboards voltados ao monitoramento de eventos capturados O que não abrimos mão : Colaboração, Compromisso e Curiosidade Entender a transversalidade dos negócios e ser capaz de analisar e correlacionar dados e informações Se desafiar a incorporar novos aprendizados e formar de fazer, considerando as necessidades e objetivos da NTT DATA Ser resiliente e conseguir se adaptar sem perder a sua essência de dados e tecnologia. Mindset focado em construir soluções criativas e resolução de problemas. Agir de forma proativa no ambiente de trabalho, mesmo diante de dificuldades com atitude protagonista. Capacidade de aprender com experiências de outros como também compartilhar suas próprias experiências, favorecendo a visão integrada Planejar e entregar com excelência atividades e demandas, com foco no resultado e qualidade Ter senso de time, trabalhando com parceria, colaboração e transparência * **Localização** São Paulo \- SP * **Modalidade de Trabalho**Remoto * **Nível Profissional** Consultor / Desenvolvedor Sênior * **Nível Acadêmico Mínimo** Ensino Superior Graduação Completo * **Tipo de Contrato** PJ