ІДЗ
Умови завершення
1. Встановіть Apache Airflow локально у віртуальне середовище. Щоб уникнути конфліктів залежностей, рекомендовано спочатку створити нове віртуальне середовище для роботи з Airflow та зокрема для цього завдання.
2. Для запуску Airflow локально можете використовувати скрипт з Colab https://colab.research.google.com/drive/1JewJFE8piwwYZPMgNLMDWtm4xE5-IcDk?usp=sharing. Рекомендуємо замінити значення змінної середовища AIRFLOW_HOME на абсолютний шлях до директорії airflow.
3. Створіть директорію dags, в якій зберігатимуться ваші пайплайни. Відкрийте файл airflow/airflow.cfg, знайдіть змінну dags_folder та встановіть значення абсолютного шляху до директорії dags
4. У директорії dags створіть файл process_prices.py, у ньому створіть DAG з dag_id=”process_prices”. DAG має складатися з двох тасок:
- завантаження даних за вказаний діапазон часу з Firebase
- збереження даних у вказаній директорії локально.