Запись [МФТИ] Профессия Data Engineer [Гайк Инанц, Олег Ивченко]

[Kail]

Ссылка на картинку

Почему Data Engineering?

• Спрос
  Спрос на квалифицированных инженеров
  
  по обработке данных намного превышает предложение
• Работа удаленно
  Возможно работать как в офисе, так и удаленно
• Математический барьер
  Сильно ниже, чем в data science
• Data engineering
  – фундамент любой data-driven компании
• Зарплаты
  Одна из самых высоких заработных плат
• Востребованность в будущем
  Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством

Чем занимается Data Engineer:

• собирает информацию о продукте и/или клиентах из разных источников
• сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
• организовывает безопасное хранение данных, на основании которых принимаются
  
  взвешенные бизнес-решения и создаются конкурентоспособные продукты

Для кого программа?

• Для аналитиков
  Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу
• Для начинающих IT-специалистов
  Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста
• Для практикующих разработчиков
  Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше

Какие компетенции вы получите:

• Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
• Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
• Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
• Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
• Пользоваться распределенной файловой системой
• Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
• Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать