Jobs

Scholarships

Courses

Companies

Placements

Community

Home >

Jobs >

Data Infra Platform Team Leader

Seoul, South Korea (Hybrid)

Data Infra Platform Team Leader

1 Week ago • All levels

About the job

Summary_{By Outscal}

[Platform Department 소개]

Hyperconnect Platform Department는 Data Infra Platform, Data Product Dev, SRE, DevOps, Core Platform, IT 등 구성원들이 모여 중앙 플랫폼과 시스템 인프라 개발 운영 역할을 수행하고 있습니다. Azar, 신규 프로덕트, AI/ML, Media 등 전사 모든 서비스에 인프라와 공통 플랫폼 기술을 제공하고 유관부서와 적극적 협업을 통하여 다양한 영역에서 비즈니스 임팩트를 만들어내고 있습니다. 또한, 전사 기술 조직의 Silo화를 방지하고 효율적이고, 생산성이 뛰어난 엔지니어링 문화를 만들어가는데 집중하고 있습니다.

[Data Infra Platform Team 소개]

- Data Infra Platform 팀은 Data Engineer들이 모여, 전사 직원 모두가 사용하는 Data Infra Platform을 효율적이고, 사용하기 편리하게 만들기 위한 엔지니어링 을 수행하는 팀입니다.

- Data 인프라들을 코드 기반으로 체계적으로 관리합니다.

- 다양한 Modern Data Platform에 필요한 도구, SaaS 등을 연구하고 Production에 도입합니다. 또한, 이것들을 전사 직원이 쉽게 활용할 수 있는 형태로 도구나 관행을 연구하고 제안합니다.

- Data 모델, 파이프라인을 개발하기 위한 CI/CD 환경을 구축하고 관리합니다.

- External/In-House 시스템의 Data Ingestion을 일관되고 변화관리에 유연한 형태로 운영 될 수 있도록 연구하고, 수집 퀄리티 관리를 담당합니다.

- 데이터 검증 및 운영을 위한 도구를 개발하고 제공합니다.

- DataOps 관행을 연구하고 도입합니다.

[Data Infra Platform Team에 join하신다면]

- Data Mesh, Self Service Data Platform 을 실현하기 위해, 주도적으로 Ideation을 하고 직접 거버넌스 및 시스템을 디자인 해볼 수 있습니다.

- 멀티 프로덕트 기반의 다양한 도메인 환경에서 발생하는 데이터를 주도적으로 관리할 수 있습니다.

- 데이터 파이프라인 유지 관리를 뛰어넘어, 데이터 기반으로 비즈니스 문제를 해결하기 위한 시스템 구축 및 디자인을 해볼 수 있습니다.

- 비즈니스에 필요한 Data Application을 개발해 볼 수 있는 경험을 할 수 있습니다.

- 글로벌 데이터를 다루다 보니 규모가 굉장히 크고 (수십 TB/day 이상), 대량의 데이터를 바탕으로 기술적으로 다양한 고민과 시도를 해볼 수 있습니다.

- 기존 보다 나은 방향을 끊임없이 연구하고, 합리적으로 새로운 업무 체계나 시스템 도입을 Production에 적용 해볼 수 있습니다.

- EKS, Bigquery, Databricks, Airflow를 활용 중이며, 퍼블릭 클라우드기반의 다양한 데이터 인프라 및 프레임워크를 경험할 수 있습니다.

Responsibilities

데이터 Ingestion 자동화 파이프라인 시스템 구축 관리
Data Lakehouse 구축 관리 및 자동화
Data Platform 사용 가이드 작성 및 전파
데이터 카탈로그, 리니지 추적 시스템 구축 및 관리
Data Infra 비용 최적화
ML조직과 ML 학습 파이프라인 최적화 작업 지원
전사 DataOps Lifecycle에서 발생하는 비효율적인 업무를 정의하고 Automation 업무를 수행
Market에서 끊임없이 출시하는 다양한 Data Infra Platform 도구들과 시스템에 대한 연구 및 PoC

Required Qualifications

5년 이상의 데이터 엔지니어링 실무 경험
RDBMS, NoSQL에 대한 기본적인 이해가 있으신분
SQL을 사용하여 자신이 분석하고자 하는 것을 능숙하게 구현 가능하신 분
Python을 능숙하게 사용할 수 있으시고, 필요한 경우 API 서버등을 활용해 자동화 및 In-House 시스템을 빌드할 수 있는 개발 능력을 보유하신 분
Tableau, Power BI, Looker 또는 이와 유사한 BI 도구 사용 경험이 있으신 분
Git/Git Actions 사용에 능숙하신 분
Databricks, Spark 등을 활용한 신뢰성 있는 대규모 데이터 파이프라인 구현이 가능하신 분
다양한 형태의 데이터 로그들을 다루어 본적이 있고, 표준 데이터로그 설계와 변화관리 설계를 해보신 분
Airflow(ETL)에 능숙하고 트러블 슈팅을 주도적으로 해결해 보신 분
영어를 기반으로 한 미팅과 메일 커뮤니케이션이 가능하신 분
AWS, Google Cloud등 퍼블릭 클라우드 플랫폼에 대해 사용 경험이 있으신 분
Terraform 등 IaC 도구를 통해 데이터 인프라 관리를 수행해보신 분
전사의 다양한 이해관계자들과 협업하고 복잡한 엔지니어링 문제를 이해하기 쉽게 전달할 수 있는 커뮤니케이션 능력을 갖추신분

하이퍼커넥트가 채용하는 포지션에 지원하는 경우, 개인정보 처리에 관하여서는 본 개인정보처리방침이 적용됩니다: https://career.hyperconnect.com/privacy