Seiring berkembangnya suatu bisnis dalam perusahaan tentunya didorong dengan pengelolahan dan pengelolaan data yang optimal. Pengelolaan alur kerja data dari hulu ke hilir akhirnya menjadi sebuah tantangan setiap perusahaan, mengapa demikian? Setiap perusahaan pasti memiliki satu atau lebih tahapan pemrosesan data. Faktanya pengelolaan alur data tidak hanya tentang bagaimana data tersebut dapat di konsumsi oleh (end-user) tetapi juga bagaimana data dapat mengalir secara otomatis dengan control yang mudah (user-friendly). Yup’s apache airflow one of the best solution for it! It’s also an open-source tools for orchestrating a complex workflow and data pipelines!
Lalu, bagaimana detail peran apache airflow dalam mengelola alur data dari hulu ke hilir? Mari temukan jawabannya dalam Seat-IN Data Fellowship: Constructing Fully Automated Data Pipeline with Airflow and Python bersama Rahul Mulia (Senior Data Engineer IYKRA)
Yang akan dibahas dalam Seat-IN Data Fellowship: Constructing Fully Automated Data Pipeline with Airflow and Python
1. An introduction of data pipelines (workflow management system)
2. What’s an apache airflow
3. Getting started with apache airflow
4. Core Concepts in Apache Airflow (Dependencies, DAG’s, Default Arguments, Task & Executors, etc)
5. Apache Airflow UI vs Apache airflow CLI
6. Orchestrating Workflow using Apache Airflow (Hands - On with Docker)
Outcomes yang diharapkan:
1. Peserta memahami fundamental dari data pipelines
2. Peserta memahami apache airflow sebagai WMS
3. To be able orchestrating task using Apache Airflow
Apa saja yang akan kamu dapatkan?
1. E-certificate
2. Recording course
-------------------------------------------------------------------------------
Seat-IN terinspirasi dari kata Sit In, yang berarti hadir di sebuah pertemuan/kelas. Seat-IN adalah program yang memberi kamu seat atau tempat untuk belajar bersama peserta Data Fellowship IYKRA.
Belajar bersama Data Fellowship IYKRA merupakan kesempatan emas karena kamu otomatis mengikuti learning path kurikulum Data Fellowship yang secara khusus telah IYKRA formulasikan untuk menjadi Data Scientist atau Data Engineer.
