


Специалист по Big Data
0 0
Забронировать курс
К сожалению, в этом курсе нет ближайших дат для бронирования, но вы можете запросить информацию.
-
⠀
Программа аккредитована проектом Цифровые профессии.
Специалист по Big Data - это программист, который работает с большими массивами данных разной степени разрозненности и структурированности: банковские счета, запросы пользователей в поисковых системах, поведение пользователей социальных сетей, публикации СМИ, открытые фото- и видеофайлы, данные сейсмической активности планеты, метеорологические сводки и другие данные, которые занимают терабайты памяти, превосходят возможности типичных баз данных и доступны для обработки только компьютером.
Чем занимается специалист по Big Data и специалист по машинному обучению:
- Постановка целей анализа совместно с заказчиком
- Составление технического задания на анализ неструктурированного массива данных
- Сбор и исследование массива данных, выявление существенных признаков, поиск закономерностей
- Компьютерное моделирования процесса анализа / машинного обучения на небольших объемах данных
- Оптимизация процесса анализа, корректировка алгоритмов
- Применение алгоритмов ко всему объему данных
- Оценка результатов
- Составление отчетов с прогнозами и презентацией данных
Управление большими данными предполагает создание и применение информационных технологий нового поколения, обеспечивающих экономически эффективное извлечение, статистическую обработку и визуализацию полезной информации из больших объемов разнообразных данных. Высокую скорость сбора, обработку и анализ.
После изучения курса слушатели будут:
-
знать методы анализа больших данных на всех этапах жизненного цикла методологической и технологической инфраструктуры в организации;
-
уметь загружать данные из разных источников;
-
собирать, очищать, подготавливать и объединять полученные данные;
-
производить сцепление и наложение данных, слияние и замену значений;
-
работать с пропущенными значениями, повторами, объединением и переформированием данных;
-
осуществлять фильтрацию, группировку, агрегацию и выполнять описательную статистики
-
вычислять центральную тенденции, среднее, медиану и моду;
-
выполнять разведывательный анализ, вычислять дисперсию, стандартное отклонение, ковариации, корреляции, строить распределение и заниматься постановкой гипотез
-
применять методы и технологии исследования больших данных;
-
владеть навыками разработки продуктов, услуг и решений на основе больших данных;
-
анализировать большие данные с использованием существующей в организации методологической и технологической инфраструктуры.
Слушатели программы получат бесплатное карьерное консультирование!
Бесплатно вы сможете посетить вебинары по темам:
- Технологии успешного трудоустройства;
- Как составить продающее резюме;
- Как успешно пройти собеседование.
Также все слушатели профессиональной переподготовки могут участвовать в стажерской программе Академии АйТи «Школа ИТ-кадры». В рамках программы учебный центр предоставляет возможность проходить стажировки в крупных проектах корпоративных заказчиков, и трудоустраиваться по итогам стажировок в эти компании.
Участие в программах стажировки будет предложено всем выпускникам Академии АйТи.
Программа носит практикоориентированный характер, более 50% материала отведено практическим занятиям.
-
Описание образовательной программы
Большие данные (big data) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия. В качестве источников такой информации могут выступать непрерывно поступающие данные с измерительных устройств и детекторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования земли, потоки данных о местонахождении абонентов сетей сотовой связи. Существующие решения для управления большими объёмами данных в области информационных технологий помогают эффективно переносить, хранить и анализировать данные. Решения Big Data уже доказали свою необходимость в современном мире бизнеса. Их интеграция стремительно увеличивает эффективность работы компании и гарантирует значительный рост дохода.
В результате освоения программы «Специалист по Big Data» слушатель научится работать с Big Data: структурировать данные, выдвигать и проверять гипотезы, находить закономерности и делать выводы. Изучаемые инструменты помогут принимать решения на основе анализа данных.
Для разработки программ для анализа и визуализации больших данных в рамках курса будут изучены как основы программирования на языке Python, так и специальные методы, позволяющие обрабатывать, анализировать, визуализировать, проверять и вычищать данные от имеющихся пропусков и ошибок. Будут изучены основы статистики для первичной обработки данных и выявления имеющихся тенденций.
В профильном модуле слушатели продолжат более глубокое изучения языка Python для работы с Data Science в Jupyter notebook.
Изучение специальных библиотек поможет легко обрабатывать большие данные:
-
Библиотека numpy – решать вычислительные задачи, работать с массивами и матрицами;
-
Библиотека pandas – загружать различные виды данных, анализировать и обрабатывать их;
-
Библиотека matplotlib – визуализировать данные;
-
Библиотека seaborn – легко проводить наглядную визуализацию сложных данных и выявлять имеющиеся тенденции.
Стремительно развивающиеся информационные технологии требуют реализации освоения гражданами ключевых компетенций цифровой экономики. Программа профессиональной переподготовки отвечает новым требованиям к ключевым компетенциям цифровой экономики: умению учиться в условиях постоянно меняющихся реалий, решать задачи в технологически насыщенной среде, управлять информацией и данными.
-
Целевая аудитория

Новички
С нуля освоите Python, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. ⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀

Программисты
Подтянете аналитическое и алгоритмическое мышление, научитесь выявлять потребности бизнеса. Получите опыт работы с моделями машинного обучения, будете применять Python для решения задач с данными.

Начинающие аналитики
Научитесь выдвигать гипотезы и делать выводы на основе данных. Сможете писать код на Python, превращать сырые данные в полезную информацию, понимать математику на основе статистики, обучать машины и прогнозировать результаты.
Расписание
Модуль 1. Базовый модуль: Основы программирования и составления алгоритмов на языке Python
1.1 Алгоритм – свойства и способы представления. Типы данных – назначение и роль в программе. Операнды и операторы – вычисление выражений
1.2 Модели разработки программ. Структурное программирование. Базовые принципы: блочная структура кода – блоки и подпрограммы. Типовые структуры управления – последовательность, ветвление, цикл
1.3 Соcтавление алгоритмов. Применение машинной логики к задачам поиска данных. Оценка времени работы алгоритмов, эффективность кода
1.4 Практические примеры составления блок-схем и псевдокода. Простейшие алгоритмические задачи. Перевод алгоритма в код. Подпрограммы (функции) как основные блоки кода. Типовые задачи на обработку текста
1.5 Понятие массива. Типовые задачи с массивами: доступ к элементу, обход элементов, инициализация элементов
1.6 Простейшие конструкции данных: список, стек, очередь, дерево. Поиск элемента и сортировка элементов. Реализация динамического стека
1.7 Установка интерпретатора Python. Основные операции и типы данных. Операторы ветвления и циклы. Установка и запуск среды разработки. Типы данных: числа, строки, списки, логический тип, None. Функции преобразования типов. Простой ввод и простой вывод
1.8 Cтроки. Методы и функции. Использование срезов. Кортеж. Основные операции с кортежем. Распаковка кортежа. Список. Основные операции со списком. Словарь. Основные операции со словарем. Множества. Основные операции с множеством
1.9 Ветвления. Оператор if. Базовая форма цикла while. Операторы break и continue. Перебор (for). Генераторы словарей, списков, множеств
Модуль 2. Профильный модуль: Расширенные возможности Python
2.1 Функции, Работа с файлами, Модули и библиотеки. Исключения и обработка ошибок
2.2 Создание и вызов функции. Именованные и неименованные аргументы функций
2.3 Работа с файлами и каталогами. Основные операции с файлами. Основные операции с путями к файлам. Чтение файла. Запись в файл. Менеджер контекста with
2.4 Импорт пакета. Важнейшие стандартные пакеты. Подсистема pip. Установка стороннего модуля
2.5 Понятие об исключении. Выброс исключения. Перехват исключения. Стандартные исключения
2.6 Работа с данными из внешних источников. Работа с реляционными базами данных. Реляционные базы данных – принципы организации и работы. Нормализация БД – декомпозиция таблиц. SQL-запросы для типовых операций с таблицами. Практика. Работа с SQLite в Python. Интерфейс модуля SQLite3. Создание и заполнение таблиц. Выборка информации из таблиц
2.7 Классы и объекты. Введение в Объектною-ориентированное программирование (ООП). Класс и экземпляр класса. Данные экземпляра, методы экземпляра и свойства экземпляра. Создание собственного класса. Инкапсуляция. Атрибуты класса. Чтение и изменение атрибута
2.8 Наследование. Роль наследования в ООП, понятие иерархии наследования. Принцип утиной типизации. Понятие базового класса и производного класса. Функция isinstance и ее применение. Создание производного класса. Применение экземпляров базового и производного класса
Модуль 3. Профильный модуль: Data Science. Обработка, анализ и визуализация данных на языке Python. Библиотеки pandas, numpy, matplotlib и seaborn
3.1 Установка и настройка программного обеспечения. Базовый инструментарий работы в Jupyter notebook. Импорт пакета. Важнейшие стандартные пакеты. Подсистема pip. Установка стороннего модуля. Обзор библиотек и инструментов. Необходимые пакеты Python: numpy, pandas, matplotlib, seaborn, Jupyter и другие. Дистрибутив Anaconda, его преимущества и недостатки. Установка пакетов в Linux. Установка пакетов в Windows. Возможные проблемы и методы их решения. Основные команды и методы работы в Jupyter notebook
3.2 Библиотека numpy. Вычислительные задачи. Структура библиотеки. Типы данных библиотеки numpy. Векторы и массивы, специальные типы данных. Понятие массива и его основные характеристики. Принципы вычислений. Универсальные функции. Важнейшие стандартные функции. Работа с массивами и матрицами
3.3 Библиотека pandas и анализ данных. Объект Series. Объект DataFrame. Загрузка данных. Выгрузка данных. Чтение и запись данных в формате Excel. Чтение и запись JSON-файлов. Загрузка данных из интернета и из базы данных SQL. Загрузка CSV-файлов из Интернета. Основы работы с датафреймами. Организация колонок и строчек. Создание срезов объекта Series. Выравнивание данных по меткам индекса. Выполнение логического отбора. Переиндексация объекта Series
3.4 Первичная обработка данных. Сбор данных. Очистка данных. Подготовка данных. Объединение данных. Сцепление и наложение. Слияние данных. Замена значений. Работа с пропущенными значениями и их заполнение. Повторы в данных. Объединение и переформирование данных
3.5 Статистика и анализ. Фильтрация. Группировка. Агрегация. Описательные статистики. Получение итоговых описательных статистик. Измерение центральной тенденции: среднее, медиана и мода. Вычисление дисперсии и стандартного отклонения. Вычисление ковариации и корреляции. Распределения. Разведывательный анализ. Постановка гипотезы
3.6 Библиотека matplotlib. Визуализация данных. Основные элементы диаграммы. Создание диаграммы. Виды графиков и диаграмм. Оформление и кастомизация графиков. Библиотека seaborn. Наглядная визуализация сложных данных. Виды графиков, их корректное использование и интерпретация. Принципы хорошей визуализации, основные ошибки при визуализации данных График функции. Гистограмма. Визуализации отфильтрованных и сгруппированных данных
-
Получаемый документ
Диплом о профессиональной переподготовке
-
Необходимая подготовка
Высшее или среднее профессиональное образование
-
Содержание
Модуль 1. Базовый модуль: Основы программирования и составления алгоритмов на языке Python
Модуль 2. Профильный модуль: Расширенные возможности Python
Модуль 3. Профильный модуль: Data Science. Обработка, анализ и визуализация данных на языке Python. Библиотеки pandas, numpy, matplotlib и seaborn -
Цель курса
Получение компетенций в области создания и применения технологий больших данных.
Рекомендуемые курсы









Преподаватели
0 отзывов
Об этом курсе отзывов пока нет. Будьте первым.