Профессии, связанные с большими данными, становятся все более востребоваными, а среди специалистов тут меньше конкуренции, чем во фронтенде или тестировании. Разбираемся, как войти в Data Engineering, Data Science и Data Analytics.
Профессии, связанные с большими данными, становятся все более востребоваными, а среди специалистов тут меньше конкуренции, чем во фронтенде или тестировании. Разбираемся, как войти в Data Engineering, Data Science и Data Analytics.
Большие данные применяются буквально везде — в маркетинге, здравоохранении, банковской сфере, промышленности, сельском хозяйстве. В IT есть сразу несколько профессий, которые подразумевают работу с BIg Data. Попасть в них с нуля без образования и опыта довольно сложно, но если вы уже работаете в IT на любой технической должности, это будет большим подспорьем. Мы собрали в roadmap полезные ресурсы для самостоятельного обучения и несколько недорогих курсов, которые позволят в кратчайшие сроки сменить сферу.
Разобраться в теме и выбрать полезные материалы помог Вячеслав (имя изменено) — Data Delivery Manager.
В статье есть ссылки партнеров. Если вы что-то покупаете у них с нашей помощью — вы также поддерживаете dev.by. (Вот другой способ).
При этом редакция и авторы независимы в выборе темы, концепции материала, фокуса описания, подхода к услугам или товарам. Прежде чем что-то советовать, мы много читаем и смотрим по теме, говорим с экспертами. Редакция может выражать свое мнение и пробовать всё на себе.
Если рекомендательный материал обновляется, мы в самом начале указываем, что и когда поменялось.
В первую очередь важно определиться, чем именно вам хочется заниматься. Вот основные профессии, которые можно освоить.
Навыки, которые требуются в этих специальностях, во многом пересекаются. Можно просто начать изучать, к примеру, Python или SQL и в процессе решить, чем больше хочется заняться.
Всех технических специалистов в IT объединяет схожий образ мышления, подход к решению проблем, знания процессов, которые схожи в большинстве компаний, набор софт-скиллов. К тому же, выучив хотя бы один язык программирования, будет гораздо проще учить второй и осваивать какие-то новые технологии. Если уделять учебе достаточно времени и найти хорошего ментора, смена профессии — вопрос нескольких месяцев.
Я был разработчиком на Java, спустя 7 лет перешел в Data Software Engineering, а теперь работаю на должности Data Delivery Manager. Изначально причина перехода была в том, что в Java было сложно расти. Основной технический рост у меня шел в первые 2-3 года. Потом развитие было слабым и не поддерживалось компанией, как мне кажется. Я походил на несколько интервью других компаний и понял, что отстал от мира. Спрашивали про технологии и базы, про которые я не знал.
В EPAM была возможность ретрейнинга из других направлений в Data. Я прошел интервью и попал в компанию. Все процессы онбординга были хорошо налажены, это мне сразу понравилось. Перешел на меньшую зарплату, поскольку моей мотивацией было изучение и развитие. Я числился в компании и три месяца проходил курсы. Ходил как на работу, но учился. Получал зарплату за это.
За 3 месяца я изучил Hadoop, Spark, Scala, Kafka — все самое основное. Был личный ментор, к которому я обращался за помощью. Но это был занятой архитектор и поймать его было сложновато. После тренинга у меня был экзамен (собеседование) с ментором из другой локации. По результату получил бейджик о прохождении программы. Очень быстро, буквально через неделю, мне нашли проект и я начал работать.
Выбирая новую специальность, можно отталкиваться от того, что вы уже знаете. Просто посмотрите вакансии в хорошие компании и сопоставьте требования со своим опытом. Возможно, часть языков и технологий вам уже знакомы. Скажем, в Data Science востребован Python и знания Machine Learning, в Data Analytics — SQL и опыт работы аналитиком в других областях IT.
Предыдущий опыт в IT мне очень помог: и hard-, и soft-скиллы. Перейти в Data Software Engineering проще всего с позиции Java Developer или Python Developer. Тут нужны знания Java/Python, SQL, Bash, Docker, Git. Вообще в DSE очень большое число разных технологий и направлений. Знать их все не возможно и не обязательно. Например, разные клауды. Kafka, Databricks или Airflow — все сразу знать глубоко не нужно. Тут редко применяется сразу все на серьезном уровне.
Самые ценные знания, которые можно освоить самому:
- Java, Scala;
- Databricks (Scala);
- Основы Клауда: по AWS Fundamentals or Azure Fundamentals я смотрел курсы на Udemy;
- Docker Essentials, тоже изучал на Udemy.
Мы собрали качественные бесплатные материалы и недорогие курсы, которые будут полезны в разных областях работы с данными. Начинать можно с чего угодно и постепенно осваивать все больше технологий — пока список ваших навыков не будет соответствовать списку требований на желаемую должность.
Один из самых распространенных языков в Big Data. Считается не таким уж сложным для обучения — если вы программируете сейчас на чем-то другом, освоить Python не составит труда.
Бесплатно учиться можно по роликам на Youtube. Например, есть сжатый, но исчерпывающий курс на канале Bro Code. Вас ждут 12 часов объяснений и пошаговых инструкций. Если внимательно прослушаете и выполните все практические задания, уже сможете программировать на начальном уровне.
Если вам нужны более подробные объяснения и тесты для самопроверки, Вячеслав рекомендует недорогой курс Мичиганского университета на Coursera. Это специализация из 5 отдельных курсов, нацеленная именно на работу с данными. Вы получите глубокие знания, применимые в Big Data и поработаете с структурами данных.
TIP от Adviser: Учиться на Coursera выгоднее с подпиской Coursera Plus. За $59 в месяц можно пройти неограниченное число учебных программ из более чем 7000. Это идеальный вариант, если вы готовы посвятить много времени учебе.
Также есть хороший базовый курс по Python на CodeAcademy. Программа включает теоретические основы, тесты и практические задания, которые удобно выполнять прямо на платформе.
Освоить азы языка можно на подробном бесплатном курсе на Khan Academy. Это материалы в текстовом формате, удобно структурированные по урокам: читайте, выполняйте задания и погружайтесь в новые темы в удобном темпе.
Если вам более удобен видеоформат и интерактивные тесты, можно снова обратиться к CodeAcademy. Азы SQL на курсе поданы кратко и доступно, а подписка начинается от $12 в месяц.
Для тех, кто наметил карьерный трек в Data Engineering, этот язык скорее всего будет нужен, и уж точно не будет лишним. Есть хороший бесплатный курс на Udemy — вы просто слушаете теорию по видео и выполняете задания в своем темпе. Поскольку никакой самопроверки тут не предусмотрено, было бы полезно иметь ментора, который сможет иногда смотреть и комментировать ваши работы. В остальном на курсе достаточно материалов для старта.
TIP от Adviser: Обычная стоимость курсов на Udemy от 30 до 80$, но сейчас скидки до 80%. Распродажа продлится всего 2 дня.
Если хотите учиться с интерактивными тестами, можно взять короткий курс на CodeAcademy. А для тех, кто хочет сразу глубоко погрузиться в предмет, есть учебная программа на Coursera — рассчитана на полгода, зато точно позволит разобраться во всех деталях и стать профи.
Databricks — платформа для анализа данных на базе движка Spark, который обеспечивает параллельную или распределенную обработку данных. Технология актуальна для инженеров, аналитиков и Data Scientists.
Пройти обучение пользованию платформой можно на официальном сайте DataBricks: среди материалов есть текстовые инструкции, видеокурсы. На Youtube-канале Databricks можно проходить уроки под конкретные задачи и смотреть вебинары.
Основы работы с самим Spark можно освоить на бесплатном курсе от Cognitive Class — это видеолекции, структурированные в учебную программу.
Это программная платформа для работы с контейнерными приложениями. Docker позволяет локально разворачивать базы данных, а также выводить ML-модели в продакшен.
Хороший бесплатный курс доступен на Cognitive Class, также бесплатное руководство есть на Udemy. А еще на официальном сайте платформы есть подробный тьюториал и даже интерактивное пространство для отработки навыков.
Если вы хотите работать с Azure, есть хорошее бесплатное руководство от Microsoft. Чтение уроков займет около часа, также нужно заложить время на запоминание и отработку навыков. Хорошо, если у вас будет человек, с которым можно проконсультироваться при возникновении непонятных вопросов.
По Google Cloud можно пройти бесплатное обучение на Udemy. Это видеолекции общей длительностью менее двух часов, которые дадут вам представление о платформе.
Есть комьюнити Data Zen — оно создано для начинающих спецов в разных областях работы с данными. Можно участвовать бесплатно, получать полезные материалы и посещать онлайн-мероприятия: полезные лекции и вебинары от экспертов в индустрии.
По основам Data Science доступен бесплатный курс на Cognitive Class. Он дает хорошие базовые знания, но лучше сочетать самостоятельное обучение с консультациями с ментором, чтобы разбирать непонятные вопросы. А если вы пока не определились, в какую точно сферу хотите, пройдите на Cognitive Class обучение основам Big Data. Это будет интересно и полезно вне зависимости от того, какую специализацию вы в итоге выберете.
Как видите, профессиям по работе с данными вполне реально обучиться самостоятельно — в сети множество бесплатных материалов. Дальше главное — сила воли и планирование: важно заниматься регулярно и планомерно, чтобы достичь результатов. И, конечно, для успешного обучения следует проявлять любопытство вне рамок программы: больше гуглить самостоятельно, общаться с профессионалами, посещать мероприятия и быть в курсе новостей индустрии.
Не забывайте читать Adviser. Рассказываем о возможностях обучения и карьерного роста, рекомендуем курсы и разбираем сложные темы с экспертами. А также пишем о жизни вне работы: о ментальном и физическом здоровье, безопасности, хобби и инвестировании.
Рэлацыраваліся? Цяпер вы можаце каментаваць без верыфікацыі акаўнта.