Інженерія даних

Section outline

• Select section General

  Collapse Expand

  General

  Collapse all Expand all

  • Select activity Оголошення

    

    Оголошення Forum

    Лекційні заняття: професор кафедри програмної інженерії Кудін Олексій Володимирович

    e-mail: alexkudin@znu.edu.ua

    https://meet.google.com/jcn-vngq-xnv

  • Select activity Вступ до інженерії даних (Udemy)

    

    Вступ до інженерії даних (Udemy) URL
  • Select activity Силабус

    

    Силабус File
  • Select activity Інформаційні ресурси

    

    Інформаційні ресурси File
  • Select activity Список рекомендованої літератури

    

    Список рекомендованої літератури File
  • Select activity Система накопичення балів

    

    Система накопичення балів File
  • Select activity Відомості про студентів для доступу до AWS Academy

    

    Відомості про студентів для доступу до AWS Academy URL
• Select section Вступ в інженерію даних

  Collapse Expand

  Вступ в інженерію даних

  • Select activity Лабораторна робота №0

    

    Лабораторна робота №0 Assignment
  • Select activity Лекція та Л.р. 09/03

    

    Лекція та Л.р. 09/03 URL
• Select section Збір та зберігання даних. Web scraping

  Collapse Expand

  Збір та зберігання даних. Web scraping

  • Select activity Лабораторна робота №1

    

    Лабораторна робота №1 Assignment
  • Select activity Л.р. 09/10

    

    Л.р. 09/10 URL
  • Select activity Лекція 09/17

    

    Лекція 09/17 URL
  • Select activity Лабораторна робота №2

    

    Лабораторна робота №2 Assignment
  • Select activity Документація. Pandas Plot

    

    Документація. Pandas Plot URL
• Select section NoSQL бази даних. Firebase

  Collapse Expand

  NoSQL бази даних. Firebase

  • Select activity Лабораторна робота №3

    

    Лабораторна робота №3 Assignment
• Select section Розробка застосунку Інформаційна панель (Dashboard)

  Collapse Expand

  Розробка застосунку Інформаційна панель (Dashboard)

  • Select activity Лабораторна робота №4

    

    Лабораторна робота №4 Assignment
• Select section Клієнт-серверна взаємодія. REST API

  Collapse Expand

  Клієнт-серверна взаємодія. REST API

  • Select activity Лабораторна робота №5

    

    Лабораторна робота №5 Assignment
  • Select activity Проєкт веб сервера

    

    Проєкт веб сервера File
• Select section Робота з SQL базами даних

  Collapse Expand

  Робота з SQL базами даних

  • Select activity Лабораторна робота №6

    

    Лабораторна робота №6 Assignment
  • Select activity Проєкт SQL

    

    Проєкт SQL File
• Select section Оркестрація процесів обробки даних в Apache Airflow

  Collapse Expand

  Оркестрація процесів обробки даних в Apache Airflow

  • Select activity ІДЗ

    

    ІДЗ Assignment

    1. Встановіть Apache Airflow локально у віртуальне середовище. Щоб уникнути конфліктів залежностей, рекомендовано спочатку створити нове віртуальне середовище для роботи з Airflow та зокрема для цього завдання.

    2. Для запуску Airflow локально можете використовувати скрипт з Colab https://colab.research.google.com/drive/1JewJFE8piwwYZPMgNLMDWtm4xE5-IcDk?usp=sharing. Рекомендуємо замінити значення змінної середовища AIRFLOW_HOME на абсолютний шлях до директорії airflow.

    3. Створіть директорію dags, в якій зберігатимуться ваші пайплайни. Відкрийте файл airflow/airflow.cfg, знайдіть змінну dags_folder та встановіть значення абсолютного шляху до директорії dags

    4. У директорії dags створіть файл process_prices.py, у ньому створіть DAG з dag_id=”process_prices”. DAG має складатися з двох тасок:

    - завантаження даних за вказаний діапазон часу з Firebase

    - збереження даних у вказаній директорії локально.

    
    

  • Select activity Стаття про Airflow

    

    Стаття про Airflow URL
  • Select activity Курс з Airflow

    

    Курс з Airflow URL
• Select section Залік

  Collapse Expand

  Залік

  • Select activity Залік

    

    Залік Quiz