[Desenvolvedor] Engenharia de Dados - Foco em Arquitetura e Pipelines PJ

Estamos com uma vaga aberta para PJ aqui na ILUMEO 🧡 Veja os detalhes abaixo e se inscreva se tiver o perfil! **Engenharia de Dados \- Foco em Arquitetura e Pipelines** **Contrato PJ por 12 meses** • Spark (PySpark) • Delta Lake • Airflow / Azure Data Factory → orquestração • Modelagem de dados (Data Vault / Dimensional / Lakehouse) • Versionamento de dados (Delta Live Tables / Lakehouse) • Monitoramento de pipelines (Logs, observabilidade) **Competências Técnicas** • Linguagens: Python (avançado), SQL, JavaScript/TypeScript. • IA e LLMs: o Integração com APIs da OpenAI (GPT\-4\). o Criação de bancos vetoriais (embeddings) para busca semântica e RAG (Retrieval Augmented Generation). o Uso de CrewAI para orquestração de agentes de IA. • Dados e Cloud: o Experiência com Azure Data Lake, Databricks, Azure Storage e serviços de Data Factory. o Conhecimento em ETL/ELT e integração de dados B2B e DTC. • APIs e Integrações: o Desenvolvimento e consumo de APIs RESTful, incluindo integração via Genie e Databricks. o Criação de endpoints intermediários para acesso seguro a dados sensíveis. • Versionamento e DevOps: o Git / GitHub. o Integração contínua e deploy automatizado de pipelines e agentes. • Ferramentas de Suporte: o Pandas, NumPy, LangChain, FastAPI, Streamlit. o Power BI ou similar para visualização de dados. **Formação e Experiência** • Formação: Engenharia da Computação, Ciência de Dados, Sistemas de Informação ou áreas correlatas • Desejável: Pós\-graduação ou especialização em Inteligência Artificial, Machine Learning ou Engenharia de Dados • Experiência: Com projetos de integração de dados e IA; vivência em ambientes cloud (Azure) e APIs corporativas **Soft Skills** • Pensamento analítico e visão de arquitetura de sistemas • Comunicação técnica clara (para traduzir complexidade de IA e dados) • Colaboração multidisciplinar com times de pesquisa, dados e produto • Proatividade para experimentação e melhoria contínua de modelos