Учебный курс: аналитик данных

• Чем занимается аналитик данных?
•  Основные навыки, которыми должен обладать аналитик данных.
•  Различные направления в data-индустрии: (Data Analyst, Data Scientist, Business Intelligence, администратор и инженер Big Data, DevOps-инженер, DataOps, Chief Data Officer, специалист по безопасности и др).
•  Что такое датасеты?
•  Анализ состояния предприятия на предмет необходимости иметь в штате аналитика данных.
• Какие источники данных больше всего подходят для вашего   бизнеса?
•  Инструменты и техники пассивного сбора информации.

• Microsoft Excel:Обзор интерфейса.
  Основные функции и формулы.
  Практическое задание: создание простой таблицы, использование формул для суммирования и среднего значения.
• Google Sheets:Создание аккаунта и обзор интерфейса.
  Основы совместного редактирования.
  Практическое задание: импорт данных в Google Sheets, использование функций и совместная работа.
• SQL:Обзор SQL-сервера или использование онлайн-решений (например, SQLite).
  Основы синтаксиса SQL.
  Практическое задание: выполнение простых SQL-запросов для выборки данных.
• Python и Jupyter Notebook:Установка Anaconda Distribution.
  Обзор интерфейса Jupyter Notebook.
  Основы работы с библиотеками Pandas и NumPy.
  Практическое задание: загрузка данных, простейший анализ и визуализация.
• Визуализация и базы данных Power BI:Установка Power BI Desktop.
  Импорт данных и создание базовых визуализаций.
  Практическое задание: создание простого дашборда с визуализациями.
• Tableau:Установка Tableau Public.
  Обзор интерфейса и основные возможности.
  Практическое задание: создание базовой визуализации.

• Понимание цели проекта по сбору/анализу данных.
• Откуда брать данные? Источники данных.
• Базовые термины и инструменты, которыми пользуются аналитики данных.
• Обзор инструментов, программ и технологий для анализа данных (например, Python, R, SQL и т.д.).
• Практические примеры того, как реальные компании пользуются этими инструментами.
• Практическое задание: Формулировка аналитической задачи на основе предоставленного сценария. Обсуждение методов сбора данных и источников данных.
• Демонстрация процесса сбора и очистки данных на конкретном примере.
• Практическое задание: Участники очищают набор данных с использованием Excel или Google Sheets.

• SQL как основной инструмент для создания, модификации и управления данными.
• Какие бывают базы данных?
• Как подключиться к базе данных: SQL + python + jupyter?
• Как при помощи SQL:
  — создать в базе данных новую таблицу;
  — добавить в таблицу новые записи;
  — изменить записи;
  — удалить записи;
  — сделать выборку записей из одной или нескольких таблиц (в соответствии с заданным условием);
• Можно ли научиться писать простые SQL-запросы без образования программиста?
• Как при помощи SQL-запроса получать данные из баз данных?
• Аналитические функции SQL.
• Оконные функции SQL.
• Где тренировать SQL?

• В какой степени необходимо владеть Python data-специалисту?
• Устанавливаем Python.
• Рабочая среда аналитика: jupyter и colab.
• Язык разметки Markdown.
• Основной синтаксис языка Python. Синтаксис при сборе данных.
• Методы работы со списками и словарями.
• Методы работы с разными типами данных.
• Работа с файлами.
• Работа со строковыми величинам.
• Работа со временем и датами.
• Распознаем даты в Python.
• Учимся складывать и вычитать даты.
• Объединение данных из разных источников.

• Библиотека Pandas: как с ней работать?
• Учимся группировать данные по колонкам средствами Pandas.
• Распределяем датасет поисковых запросов по количеству слов.
• Знакомимся с Pivot и сложной агрегацией средствами Pandas.
• Учимся работать со сводными таблицами.
• Объект DataFrame для манипулирования индексированными массивами двумерных данных.
• Инструменты для обмена данными между структурами в памяти и файлами различных форматов.
• Встроенные средства совмещения данных и способы обработки отсутствующей информации.
• Переформатирование наборов данных, в том числе создание сводных таблиц.
• Срез данных по значениям индекса, расширенные возможности индексирования, выборка из больших наборов данных
• Вставка и удаление столбцов данных.
• Возможности группировки позволяют выполнять трёхэтапные операции типа «разделение, изменение, объединение» (англ. split-apply-combine).
• Слияние и объединение наборов данных.
• Иерархическое индексирование позволяет работать с данными высокой размерности в структурах меньшей размерности.
• Работа с временными рядами: формирование временных периодов и изменение интервалов и т.д.

• Загрузка данных на Google Drive.
• Чтение данных в Google Colab.
• Подготовка данных к анализу: переименование столбцов, замена форматов данных, проверка на дубликаты, анализ пропущенных значений.
• Первичный анализ: распределение, поиск выбросов.
• Анализ с помощью сводных таблиц.
• Анализ непрерывных переменных с помощью разбиения на диапазоны.
• Анализ с помощью графиков и диаграмм: line plot, bar plot, histogram, scatter plot.
• Принципы проверки своих вычислений и преобразований.
• Принципы написания аналитических выводов.
• Принципы профессионального оформления Jupyter Notebook.
• Практическая часть.

• Импорт данных и первоначальный анализ.
• Импорт данных на рабочий стол из файла Excel или CSV.
• Обзор данных и первоначальный анализ.
• Обработка данных с помощью пакетов Tidyverse: dplyr и lubridate.
• Глаголы dplyr.
• Обработка данных с датами с помощью пакета lubridate.
• Визуализация данных с помощью пакета ggplot2.
• Создание графиков (точечная диаграмма, столбчатая диаграмма и линейная диаграмма).
• Простое оформление графиков.
• Создание отчета в RMarkdown.
• Генерация документов в различных форматах (HTML, Word, PowerPoint, PDF).

• Введение в BI аналитику.
• Что такое BI системы?
• Обзор продуктов Qlik, Tableau, Power BI.
• Что такое дашборд, их виды и предназначение.
• Story telling (презентация данных).
• Основные элементы интерфейса и типы визуализаций.

Работа в Power BI:

• Получение и моделирование данных в Power BI. Import и Direct Query.
• Создание модели данных. Таблица фактов и таблицы мер (dimensions).
• Создание отчета
• Основы языка DAX. Создание calculated measures.
• Управление закладками и фильтрами.
• Публикация отчета.
• Основные методы защиты данных и разграничения доступа.

• Как собирать и структурировать элементарные базы данных с нуля?
• Список сайтов, на которых можно собирать данные по запросу.
• Поиск и хранение данных.
• Перевод базы из СSV в Excel.
• Парсинг (web scraping) — это автоматизированный сбор открытой информации в интернете по заданным условиям.
• Примеры парсеров-программ.
• От Excel к CRM. Что такое CRM-система и какие задачи бизнеса решает?

• Источники данных для ИИ.
• Алгоритмы машинного обучения.
• Классификация и регрессия.
• Кластеризация данных.
• Примеры работы разных методов машинного обучения.
• Примеры использования ИИ в анализе данных.
• Этические аспекты использования ИИ.

• Обеспечение конфиденциальности и защиты при сборе и хранении личных данных.
• Какие данные можно собирать и для чего?
• Когда обработка персональных данных является незаконной?
• Сбор, обработка и хранение персональных данных в маркетинговых целях.
• Какие данные нельзя обрабатывать?
• Права лиц, персональные данные которых подвергаются обработке.
• Что такое нарушение  личных данных?
• Как должна происходить защита данных?
• Что делать, если права всё же нарушены?
• Кто следит за исполнением регламента? Куда обращаться в случае выявленного нарушения?
• Наказание за нарушение использования личных данных.
• Дигитальное архивирование данных клиентов и партнёров.