Учебный курс: аналитик данных

• Чем занимается аналитик данных?
•  Основные навыки, которыми должен обладать аналитик данных.
•  Различные направления в data-индустрии: (Data Analyst, Data Scientist, Business Intelligence, администратор и инженер Big Data, DevOps-инженер, DataOps, Chief Data Officer, специалист по безопасности и др).
•  Что такое датасеты?
•  Анализ состояния предприятия на предмет необходимости иметь в штате аналитика данных.
• Какие источники данных больше всего подходят для вашего   бизнеса?
•  Инструменты и техники пассивного сбора информации.

• Microsoft Excel:Обзор интерфейса.
  Основные функции и формулы.
  Практическое задание: создание простой таблицы, использование формул для суммирования и среднего значения.
• Google Sheets:Создание аккаунта и обзор интерфейса.
  Основы совместного редактирования.
  Практическое задание: импорт данных в Google Sheets, использование функций и совместная работа.
• SQL:Обзор SQL-сервера или использование онлайн-решений (например, SQLite).
  Основы синтаксиса SQL.
  Практическое задание: выполнение простых SQL-запросов для выборки данных.
• Python и Jupyter Notebook:Установка Anaconda Distribution.
  Обзор интерфейса Jupyter Notebook.
  Основы работы с библиотеками Pandas и NumPy.
  Практическое задание: загрузка данных, простейший анализ и визуализация.
• Визуализация и базы данных Power BI:Установка Power BI Desktop.
  Импорт данных и создание базовых визуализаций.
  Практическое задание: создание простого дашборда с визуализациями.
• Tableau:Установка Tableau Public.
  Обзор интерфейса и основные возможности.
  Практическое задание: создание базовой визуализации.

• Базовые термины и инструменты, используемые международными аналитиками данных.
• Жизненный цикл анализа данных.
• Типы анализа данных — Ключевые соображения по анализу данных.
• Типы данных и какие из них использовать для ваших нужд.
• Откуда брать данные? Источники данных.
• Наиболее популярные типы диаграмм.
• Практические примеры того, как реально использовать в компании эти инструменты.
• Обсуждение методов сбора данных и источников данных.
• Демонстрация процесса сбора и очистки данных по конкретному типу.

• В какой степени необходимо владеть Python data-специалисту?
• Устанавливаем Python.
• Рабочая среда аналитика: jupyter и colab.
• Язык разметки Markdown.
• Основной синтаксис языка Python. Синтаксис при сборе данных.
• Методы работы со списками и словарями.
• Методы работы с разными типами данных.
• Работа с файлами.
• Работа со строковыми величинам.
• Работа со временем и датами.
• Распознаем даты в Python.
• Учимся складывать и вычитать даты.
• Объединение данных из разных источников.

• Библиотека Pandas: как с ней работать?
• Учимся группировать данные по колонкам средствами Pandas.
• Распределяем датасет поисковых запросов по количеству слов.
• Знакомимся с Pivot и сложной агрегацией средствами Pandas.
• Учимся работать со сводными таблицами.
• Объект DataFrame для манипулирования индексированными массивами двумерных данных.
• Инструменты для обмена данными между структурами в памяти и файлами различных форматов.
• Встроенные средства совмещения данных и способы обработки отсутствующей информации.
• Переформатирование наборов данных, в том числе создание сводных таблиц.
• Срез данных по значениям индекса, расширенные возможности индексирования, выборка из больших наборов данных
• Вставка и удаление столбцов данных.
• Возможности группировки позволяют выполнять трёхэтапные операции типа «разделение, изменение, объединение» (англ. split-apply-combine).
• Слияние и объединение наборов данных.
• Иерархическое индексирование позволяет работать с данными высокой размерности в структурах меньшей размерности.
• Работа с временными рядами: формирование временных периодов и изменение интервалов и т.д.

• Зачем нужен исследовательский анализ (EDA)?
• Инструменты и методы EDA.
• Подготовка данных к анализу:  загрузка и чтение данных, преобразование данных в нужный формат, проверка на дубликаты, анализ пропущенных значений, и т.п.
• Первичный анализ: распределение, поиск выбросов.
• Анализ данных непрерывных переменных с помощью разбиения на диапазоны.
• Анализ с помощью графиков и диаграмм
• Объяснительный анализ, принципы оформление отчета, блокнота Jupyter Notebook  и аналитических выводов.
• Что можно автоматизировать?
• Практическая часть анализа выполняется в облачном сервисе Google Colab на основе блокнота Jupyter Notebook с кодом на языке Python.

• SQL как основной инструмент для создания, модификации и управления данными.
• Можно ли научиться писать простые SQL-запросы без образования программиста?
• Как при помощи SQL-запроса получать данные из баз данных?
• Какие бывают базы данных?
• Как при помощи SQL:
  — создать в базе данных новую таблицу;
  — добавить в таблицу новые записи;
  — изменить записи;
  — удалить записи;
  — сделать выборку записей из одной или нескольких таблиц (в соответствии с заданным условием);
• Аналитические функции SQL.

• Введение в интерфейс RStudio.
• Настройка библиотек. Активация и использование библиотек.
• Базовые команды R.
• Импорт данных.
• Обзор данных и первоначальный анализ.
• Визуализация данных с помощью пакета ggplot2. Создание графиков.
• Обработка данных с помощью пакета dplyr.
• Генерация документов в различных форматах (HTML, Word, PDF).

• Что такое BI аналитика?
• Как работает Business Intelligence.
• Методы BI.
• Как BI, дата аналитика и бизнесс аналитика работают вместе?
• Что такое дашборд, их виды и предназначение.
• Основные элементы интерфейса и типы визуализаций.
• Этапы разработки дашборда.

Воркшоп в Power BI:

• Импорт данных в Power BI. Import и Direct Query.
• Создание модели данныхи использую fact и dimention таблицы.
• Создание отчета.
• Создание calculated measures испольщуя DAX.
• Закладки и фильтры.
• Публикация отчета.
• Основные методы защиты данных и разграничения доступа.

• Как собирать и структурировать элементарные базы данных с нуля?
• Список сайтов, на которых можно собирать данные по запросу.
• Поиск и хранение данных.
• Перевод базы из СSV в Excel.
• Парсинг (web scraping) — это автоматизированный сбор открытой информации в интернете по заданным условиям.
• Примеры парсеров-программ.
• От Excel к CRM. Что такое CRM-система и какие задачи бизнеса решает?

• Обеспечение конфиденциальности и защиты при сборе и хранении личных данных.
• Какие данные можно собирать и для чего?
• Когда обработка персональных данных является незаконной?
• Сбор, обработка и хранение персональных данных в маркетинговых целях.
• Какие данные нельзя обрабатывать?
• Права лиц, персональные данные которых подвергаются обработке.
• Что такое нарушение  личных данных?
• Как должна происходить защита данных?
• Что делать, если права всё же нарушены?
• Кто следит за исполнением регламента? Куда обращаться в случае выявленного нарушения?
• Наказание за нарушение использования личных данных.
• Дигитальное архивирование данных клиентов и партнёров.

• Источники данных для ИИ.
• Алгоритмы машинного обучения.
• Классификация и регрессия.
• Кластеризация данных.
• Примеры работы разных методов машинного обучения.
• Примеры использования ИИ в анализе данных.
• Этические аспекты использования ИИ.