Overview
- Design and develop scalable data engineering solutions using Google Cloud Platform (GCP) and PySpark.
- Optimize Spark jobs for performance, scalability, and efficient resource utilization.
- Develop, maintain, and enhance ETL pipelines using BigQuery, Apache Airflow, and Cloud Composer.
- Collaborate with data scientists, analysts, and DevOps teams to translate business requirements into technical solutions.
- Ensure data integrity and security by implementing data governance, compliance, and security best practices.
- Monitor production workloads, troubleshoot performance issues, and implement enhancements.
- Implement and enforce coding standards, best practices, and performance tuning strategies.
- Support migration activities from on-premises data warehouses to GCP-based solutions.
- Mentor junior developers and contribute to knowledge-sharing within the team.
- Stay up to date with emerging cloud technologies, tools, and best practices in the data engineering ecosystem.
- ņ+ years of total experience in data engineering.
- ń+ years of hands-on experience with Google Cloud Platform (GCP), including BigQuery, Apache Airflow, and Cloud Composer.
- Strong expertise in developing and optimizing large-scale data processing solutions using Pyspark and Python.
- In-depth knowledge of SQL for data transformation and performance optimization.
- Proficiency in big data technologies such as Hadoop, HDFS, Hive, and YARN.
- Experience with distributed computing principles, data partitioning, and fault tolerance.
- Hands-on experience with CI/CD pipelines, version control (Git), and automation tools.
- Strong problem-solving, analytical, and troubleshooting skills.
- Experience working in Agile/Scrum environments.
- Excellent communication and collaboration skills to work with offshore and onshore teams.
Your future duties and responsibilities
Required qualifications to be successful in this role
Ensemble, en tant que propriétaires, mettons notre savoir-faire à l’œuvre.
La vie chez CGI est ancrée dans l’actionnariat, le travail d’équipe, le respect et un sentiment d’appartenance. Chez nous, vous pourrez exploiter votre plein potentiel parce que…
Nous vous invitons à devenir propriétaire dès le jour 1 alors que nous travaillons ensemble à faire de notre rêve une réalité. C’est pourquoi nous nous désignons comme associés de CGI, plutôt que comme employés. Nous tirons profit des retombées de notre succès collectif et contribuons activement à l’orientation et à la stratégie de notre entreprise.
Votre travail crée de la valeur. Vous élaborerez des solutions novatrices et développerez des relations durables avec vos collègues et clients, tout en ayant accès à des capacités mondiales pour concrétiser vos idées, saisir de nouvelles opportunités, et bénéficier d’une expertise sectorielle et technologique de pointe.
Vous ferez évoluer votre carrière en vous joignant à une entreprise bâtie pour croître et durer. Vous serez soutenus par des leaders qui ont votre santé et bien-être à cœur et qui vous permettront de saisir des occasions afin de parfaire vos compétences et élargir les horizons.
Joignez-vous à nous, l’une des plus importantes entreprises de conseil en technologie de l’information (TI) et en management au monde.
- 4 - 7 Yrs
- Pune
- Hyderabad, Telangana, India
- Hyderabad, Telangana, India
- Hyderabad, Telangana, India
- Hyderabad, Telangana, India
- Bangalore, Karnataka, India
- Bangalore, Karnataka, India
- Bangalore, Karnataka, India