Учебный курс: аналитик данных

• Чем занимается аналитик данных?
•  Основные навыки, которыми должен обладать аналитик данных.
•  Различные направления в data-индустрии: (Data Analyst, Data Scientist, Business Intelligence, администратор и инженер Big Data, DevOps-инженер, DataOps, Chief Data Officer, специалист по безопасности и др).
•  Что такое датасеты?
•  Анализ состояния предприятия на предмет необходимости иметь в штате аналитика данных.
• Какие источники данных больше всего подходят для вашего   бизнеса?
•  Инструменты и техники пассивного сбора информации.

• Что такое наука о данных(data science)?
• Что входит в процесс анализа данных?
• Данные и их применение в бизнесе;
• Категории бизнес-аналитики;
• Различные применения анализа данных;
• С чего начать внедрение анализа данных в компании?
• Практические примеры сбора, анализа данных и эффективных результатов.

• Сводные таблицы — базовый инструмент для работы с большим количеством неструктурированных данных.
• Использование полей и элементов в сводной таблице, в том числе создание новых полей и элементов.
• Группировка полей.
• Систематизация и настройка данных в таблице Excel.
• 4 техники анализа данных в Excel.
• Анализ данных через сводные таблицы Excel.
• Автоматизация анализа данных в Excel.
• Дисперсионный анализ.
• Корреляционный анализ.
• Ковариация.
• Вычисление скользящего среднего. Очень популярный метод в статистике и в трейдинге.
• Случайные числа.
• Операции с выборкой.
• Быстрый анализ баз данных в Excel.
• Лист прогнозов.

• Как собирать и структурировать элементарные базы данных с нуля?
• Список сайтов, на которых можно собирать данные по запросу.
• Поиск и хранение данных.
• Перевод базы из СSV в Excel.
• Парсинг (web scraping) — это автоматизированный сбор открытой информации в интернете по заданным условиям.
• Примеры парсеров-программ.
• От Excel к CRM. Что такое CRM-система и какие задачи бизнеса решает?

• В какой степени необходимо владеть Python data-специалисту?
• Устанавливаем Python.
• Рабочая среда аналитика: jupyter и colab.
• Язык разметки Markdown.
• Основной синтаксис языка Python. Синтаксис при сборе данных.
• Методы работы со списками и словарями.
• Методы работы с разными типами данных.
• Работа с файлами.
• Работа со строковыми величинам.
• Работа со временем и датами.
• Распознаем даты в Python.
• Учимся складывать и вычитать даты.
• Объединение данных из разных источников.

• Библиотека Pandas: как с ней работать?
• Учимся группировать данные по колонкам средствами Pandas.
• Распределяем датасет поисковых запросов по количеству слов.
• Знакомимся с Pivot и сложной агрегацией средствами Pandas.
• Учимся работать со сводными таблицами.
• Объект DataFrame для манипулирования индексированными массивами двумерных данных.
• Инструменты для обмена данными между структурами в памяти и файлами различных форматов.
• Встроенные средства совмещения данных и способы обработки отсутствующей информации.
• Переформатирование наборов данных, в том числе создание сводных таблиц.
• Срез данных по значениям индекса, расширенные возможности индексирования, выборка из больших наборов данных
• Вставка и удаление столбцов данных.
• Возможности группировки позволяют выполнять трёхэтапные операции типа «разделение, изменение, объединение» (англ. split-apply-combine).
• Слияние и объединение наборов данных.
• Иерархическое индексирование позволяет работать с данными высокой размерности в структурах меньшей размерности.
• Работа с временными рядами: формирование временных периодов и изменение интервалов и т.д.

• Загрузка данных на Google Drive.
• Чтение данных в Google Colab.
• Подготовка данных к анализу: переименование столбцов, замена форматов данных, проверка на дубликаты, анализ пропущенных значений.
• Первичный анализ: распределение, поиск выбросов.
• Анализ с помощью сводных таблиц.
• Анализ непрерывных переменных с помощью разбиения на диапазоны.
• Анализ с помощью графиков и диаграмм: line plot, bar plot, histogram, scatter plot.
• Принципы проверки своих вычислений и преобразований.
• Принципы написания аналитических выводов.
• Принципы профессионального оформления Jupyter Notebook.
• Практическая часть.

• SQL как основной инструмент для создания, модификации и управления данными.
• Какие бывают базы данных?
• Как подключиться к базе данных: SQL + python + jupyter?
• Как при помощи SQL:
  — создать в базе данных новую таблицу;
  — добавить в таблицу новые записи;
  — изменить записи;
  — удалить записи;
  — сделать выборку записей из одной или нескольких таблиц (в соответствии с заданным условием);
• Можно ли научиться писать простые SQL-запросы без образования программиста?
• Как при помощи SQL-запроса получать данные из баз данных?
• Аналитические функции SQL.
• Оконные функции SQL.
• Где тренировать SQL?

• Закон больших чисел и Центральная предельная теорема: когда работают, а когда нет?
• Метод Монте-Карло: как взломать вероятность?
• АБ тестировние: как отличить случайное от не случайного?
• Использование статистических калькуляторов.
• Z-test, T-test, Chi-Square test.
• Множественная проверка гипотез: как не стать жертвой случайности?

• Введение в BI аналитику.
• Что такое BI системы?
• Обзор продуктов Qlik, Tableau, Power BI.
• Что такое дашборд, их виды и предназначение.
• Story telling (презентация данных).
• Основные элементы интерфейса и типы визуализаций.

Работа в Power BI:

• Получение и моделирование данных в Power BI. Import и Direct Query.
• Создание модели данных. Таблица фактов и таблицы мер (dimensions).
• Создание отчета
• Основы языка DAX. Создание calculated measures.
• Управление закладками и фильтрами.
• Публикация отчета.
• Основные методы защиты данных и разграничения доступа.

• От процесса к технологии. Из чего состоит автоматизация информации? Понимание автоматизации данных.
• Формирование Data Driven в компании и жизненный цикл данных.
• Программы по управлению данными. Разработка решений платформы данных.
• Выбор внешней или разработка собственной платформы для работы с данными.
• Когда нужны облака?
• Коммерческие и открытые платформы управления данными.
• Интеграция. Извлечение данных из различных источников для создания единой среды аналитики.
• Процессы предобработки и автоматизации данных (ETL/ELT, data pre-processing).
• Как реализовать озеро данных (Data Lake) и не утонуть в болоте?
• Использование интерфейса API.

• Анализ данных на Pandas.
• Создание алгоритма предсказания цены вручную.
• Предсказание цены с помощью машинного обучения (catboost).
• Поймем, за счет чего алгоритм машинного обучения назначает цену.
• Никакой математики и теории: только интуиция и понятные практические примеры.