специалисты по искусственному интеллекту и машинному обучению
Зарплаты в ИИ: где больше денег и кого ищут в России
Специалистам по искусственному интеллекту платят почти в два раза больше, чем другим профессионалам в сфере IT. Мы разобрались, на какую зарплату можно рассчитывать в разных областях ИИ в России, кого ищут «Яндекс», ABBYY и «Сбербанк», и какие курсы можно использовать для обучения в этой сфере.
Сколько зарабатывает специалист по ИИ в России
Зарплата специалиста по искусственному интеллекту в России, по данным HeadHunter на начало 2018 года, составила около 190 тысяч рублей. Это вдвое больше, чем средняя зарплата в IT, которая на тот момент равнялась примерно 90 тысячам рублей. К концу третьего квартала она почти не изменилась.
Самой перспективной сферой в 2018 году остается Big Data: экспертам в этой области предлагают зарплату в районе 200 тысяч рублей. Специалистам по машинному обучению — около 180 тысяч, в области нейронных сетей — больше чем 140 тысяч.
Число вакансий в каждой из этих областей растет быстрее количества резюме — это характерно для ситуации с кадрами в IT в целом. По данным исследования ФРИИ, к 2027 году в России будет не хватать порядка 2 миллионов IT-специалистов.
В числе самых востребованных направлений, по прогнозу ФРИИ, к этому времени окажутся искусственный интеллект, машинное обучение, аналитика больших данных, компьютерное зрение и дополненная реальность.
Кого ищут в крупных компаниях
Искусственный интеллект используют в первую очередь крупные компании, такие как «Яндекс», Mail.Ru Group, «МегаФон», МТС, «Билайн», Теле2, ABBYY и «Сбербанк». Для чего это нужно некоторым из них и кого они ищут:
1. ABBYY
ABBYY — один из мировых лидеров в области интеллектуальной обработки данных и лингвистики. Ее решения на базе ИИ позволяют распознавать текстовые данные, работать с печатными документами и файлами в формате PDF, проводить семантический поиск, а также находить переводы незнакомых слов и фраз.
Одно из главных достижений компании — система Compreno, которая позволяет анализировать и понимать текст на естественном языке. Над созданием этой системы специалисты ABBYY работали около десяти лет, стоимость проекта превысила 80 млн долларов.
Compreno может использоваться например, для систематизации архивных документов: с ее помощью можно будет находить информацию по полям или реквизитам, а также по тексту.
Кого ищет ABBYY: сейчас компании нужен Data Scientist — для экспериментов и создания прототипов в области обработки текстов (NLP) в отдел перспективных разработок. От кандидата требуется знание методов машинного обучения и нейронных сетей, алгоритмов и структур данных, опыт программирования на Python и соответствие некоторым другим параметрам.
2. «Яндекс»
Крупнейший российский поисковик уже несколько лет применяет технологии ИИ в своих поисковых механизмах. Так, в «Яндекс.Дзене» это позволяет выдавать персонализированные рекомендации контента в соответствии с интересами пользователя.
«Во многом он похож на поисковую систему. Только если поиск ищет что-то определенное, то Дзен отвечает на более широкий запрос: что интересно конкретному человеку», — говорил руководитель Яндекс.Дзена Виктор Ламбурт на этапе запуска сервиса.
Кого ищет «Яндекс»: прямо сейчас компании требуется разработчик машинного обучения для Дзена, который будет собирать данные, обучать модели, оценивать их в экспериментах и писать продакшн-код. «В первую очередь мы ждем от кандидатов хорошего знания машинного обучения и статистики, но опыт промышленной разработки также будет большим плюсом», — говорится в вакансии.
3. «Сбербанк»
Направление машинного обучения и искусственного интеллекта развивается в «Сбербанке» с 2013 года. Главная цель — создание новых интеллектуальных продуктов и сервисов как для внутреннего, так и для внешнего клиента, а также оптимизация банковских процессов с помощью технологий машинного обучения.
Так, в начале 2018 года банк запустил первую в России нейронную сеть для оценки коммерческой недвижимости. ИИ позволяет банку почти мгновенно проводить оценку залогов. Такой ИИ работает с регулярно актуализируемой базой данных по стрит-ритейлу. Эта база пополняется из нескольких типов источников и содержит основные характеристики объектов-аналогов, их фото и цены.
Нейросеть получает характеристики объекта, который надо сравнить с другими, и на основе собранных данных подбирает наиболее близкие аналоги, которые используются для расчета стоимости. Если экспертам для этого нужны часы и даже дни, то нейросети для анализа требуется несколько секунд.
Кого ищет «Сбербанк»: сейчас банку нужны сразу несколько дата-сайентистов для разных проектов. Так, в одной из вакансий в Москве от специалиста требуется опыт в решении задач
data science для бизнеса, опыт работы с большими данными, хорошие навыки программирования (Python, Spark, SQL) и знание библиотек машинного обучения.
Кроме «Сбербанка», дата-сайентисты и специалисты по машинному обучению требуются многим другим банкам, в том числе ВТБ, «УралСибу» и БинБанку.
С чего начинать
Только 30% специалистов, работающих в сфере ИИ, изучали машинное обучение или большие данные в университете. Об этом свидетельствуют итоги опроса 16 тысяч пользователей Kaggle, проведенного в конце прошлого года. Более половины (66%) всех респондентов считают себя самоучками: для изучения новых дисциплин они использовали различные курсы.
Евангелист Microsoft и руководитель AI School в Binary District Дмитрий Сошников выделяет четыре основных типа курсов на российском образовательном рынке:
Та же проблема с узкоспециализированными курсами: они не позволяют сформировать у слушателя понимание фундаментальных принципов работы ИИ. Слушатель может освоить отдельные практические навыки, но технологии устаревают раз в полгода, и навыки — вместе с ними.
Классические университетские курсы для новичков могут быть слишком сложными: здесь придется вспомнить забытые разделы математики. Будущим дата-сайентистам, кроме этого, обычно надо иметь хорошие навыки программирования.
Для разработчиков, которые хотят разобраться, как и для чего можно использовать ИИ в их компании, лучше всего подойдет не слишком долгий, но интенсивный курс, который позволит научиться решать типовые задачи. В AI School, например, слушатели за месяц изучают пять блоков задач:
По словам Сошникова, прохождение курса не приведет к моментальному повышению зарплаты, но это сделает специалиста более привлекательным для рынка труда. А это уже позволит как требовать повышения от текущего работодателя, так и искать другие возможности. Тут уже все зависит от самого человека.
Специалист по машинному обучению: кто такой, чем занимается и сколько получает
Разбираемся, нужно ли творцам искусственного интеллекта знать математику и Python.
Специалист по машинному обучению (ML, machine learning) — это программист, который с помощью специальных наборов данных и алгоритмов обучает искусственный интеллект.
Посмотрим, например, как приложение «Яндекс.Навигатор» выбирает маршрут до пункта назначения. У него есть ваши GPS-координаты и карта, но при этом он знает и о пробках, авариях, дорожном ремонте. Всё это благодаря графу дорог — алгоритм быстро анализирует возможные пути и находит самый быстрый. А программисты следят, чтобы машинный интеллект не ошибался.
Но ситуация на дорогах постоянно меняется: вчера здесь был поворот, а сегодня висит «кирпич» и водители вынуждены объезжать это место. Добавлять на карту все изменения вручную, особенно в реальном времени, слишком трудозатратно и дорого, требуется много людей. Но алгоритму совсем не обязательно знать про запрет — ему достаточно увидеть, что машины стали двигаться по-другому, чтобы перенаправить всех водителей на другие маршруты.
Научить компьютер принимать такие решения — задача специалистов по ML. Без этого мы не смогли бы обработать море информации, которую люди генерируют каждый день, и сделать нашу жизнь комфортнее.
Пишет про digital и машинное обучение для корпоративных блогов. Топ-автор в категории «Искусственный интеллект» на Medium. Kaggle-эксперт.
Чем занимается специалист по машинному обучению
Задачи специалиста по МL отличаются в разных компаниях и проектах, но чаще всего он делает вот что:
Собирать данные вручную сложно: если это, например. изображения, требуются сотни тысяч фото с разных ракурсов и разными условиями освещённости. «ВКонтакте» недавно запустил новую функцию — сеть показывает фото пользователей их друзьям и спрашивает: «Это Вася Иванов?» Чтобы отметить друга на фото, требуется меньше секунды. Не поленитесь и сделайте это. Так вы поможете нейросети научиться распознавать лица, а заодно почувствуете себя специалистом по ML — хоть немножко 🙂
Алгоритмы для построения модели программируют под конкретные задачи. Иногда они довольно простые — например, алгоритм для предсказания предпочтений туристов из разных городов занимает всего 20 строчек кода.
Но бывают и очень сложные — такие как гигантская нейросеть DeepCoder. Она копирует и миксует готовые фрагменты кода, создавая на выходе новые программы. Эта технология называется программным синтезом.
Получается, что сама нейросеть, состоящая из миллионов строк кода, может заимствовать его из множества других программ. Алгоритм порождает другие алгоритмы — чем не цифровая жизнь?
Кому подойдёт профессия специалиста по ML
Стать специалистом по машинному обучению за три дня не получится. Но вы можете попробовать профессию и попытаться предсказать курс доллара с помощью машинного обучения на бесплатном марафоне «Напишите первую модель машинного обучения за 3 дня».
Какие навыки нужны специалистам по МL
Предположим, нам нужно построить автоматическую систему рекомендаций для соцсети. Что должно лежать в основе рекомендаций? Хороший вариант — посмотреть, что лайкают друзья: людей часто объединяют интересы. Но чтобы система работала ещё лучше, придётся учитывать время года или суток, события в стране и в мире. Например, «ВКонтакте» утром чаще рекомендует новости, а вечером — мемасики про котиков и другой развлекательный контент. Чтобы всё это продумать и учесть сотни различных факторов, нужно быть готовым к кропотливой и даже монотонной работе.
Как определить, хороший контент в соцсети или плохой? Можно посадить сотни модераторов и разработать сложную систему правил, а можно просто добавить кнопку эмоциональной реакции — например, лайк. Если у поста много лайков, значит, людям он нравится, следовательно, материал хороший и нейросеть будет показывать его как можно большему количеству людей. Возможно, эта система не идеальна, но она позволяет решить проблему относительно эффективно и с минимальной затратой ресурсов.
Перспективы развития профессии
Сегодня МL помогает людям практически в любой области — от выбора сериалов на Netflix до заботы о здоровье. Востребованность специалистов по ML с каждым годом растёт. Например, hh.ru отмечает, что с 2015 по 2019 год количество вакансий в сфере машинного обучения выросло в семь раз.
Больше всего таких специалистов требуется в сфере информационных технологий, разработке программного обеспечения, финансовом секторе, бизнес-среде, маркетинге и розничной торговле.
На какую зарплату могут рассчитывать Junior, Middle и Senior
Яндекс, «Тинькофф» и другие компании нуждаются в крутых профессионалах в области ML. По наличию опыта такие специалисты делятся на три группы: Junior, Middle и Senior.
Junior (младший)
Нужно уметь работать с библиотеками для обработки данных — Pandas, NumPy, Matplotlib, и понимать системы управления базами данных — MySQL/PostgreSQL.
В регионах такой специалист может рассчитывать на зарплату от 40 тысяч рублей. В Москве джуны получают значительно больше — от 80 тысяч.
Middle (средний)
Уверенный специалист с опытом от 2 до 5 лет. Он способен перевести задачи бизнеса на язык математики, реализовать с нуля и оценить производительность модели машинного обучения, проанализировать и проверить данные — соответствуют ли они заданным критериям.
Среди требований к мидлу — навыки работы с современными аналитическими пакетами на R/Python и промышленными хранилищами данных (Teradata, DB2), а также понимание BigData. Приветствуется владение статистическими инструментами — SPSS, MATLAB, SAS Data Miner.
В регионах средняя зарплата — 60–80 тысяч, в Москве — не меньше 100 тысяч рублей.
Senior (старший)
Опытный специалист. Работодатели ожидают, что у сеньора за плечами 5–7 лет работы над проектами в сфере data mining, data analysis, машинного обучения или математического моделирования. В списке компетенций: уверенный Python, SQL/CQL, глубокое понимание архитектуры нейросетей, знание Spark Streaming (используется с Apache Spark), Cassandra (система управления базами данных), фреймворков TensorFlow, CV, PyTorch или других — в зависимости от стека компании.
Иногда выделяют ML Team Lead (тимлид, лидер команды). Тимлидами становятся сеньоры, возглавляющие подразделения Machine Learning. Здесь важны лидерские качества, тайм-менеджмент и умение работать в команде.
Сеньоры и тимлиды в регионах зарабатывают 100–120 тысяч, в Москве — от 200 и до 400–500 тысяч. Это хороший стимул освоить профессию. А учитывая, что потребность в машинном обучении с годами будет только расти, зарплаты опытных специалистов по ML точно не станут ниже.
Где учиться
Изучать машинное обучение можно в университете, на курсах или самостоятельно.
Университет даёт студентам хорошую базу, особенно в математике и статистике. Вы получите диплом государственного образца — это может быть плюсом при трудоустройстве. Но поступить на специальность Data Science обычно непросто и дорого. Например, двухлетняя магистратура по наукам о данных в «Высшей школе экономики» обойдётся в 1 155 000 рублей.
Курсы позволяют получить структурированную информацию в сжатые сроки. Такой вариант образования гораздо дешевле университетской программы. Кроме того, на курсах готовят выпускников к практической деятельности, дают поработать над реальными проектами. Стоимость стартует от 50 тысяч рублей и доходит до 150 тысяч.
Самостоятельное обучение подходит тем, у кого уже есть технический бэкграунд. В интернете много бесплатных книг и курсов, и некоторые из них весьма хороши. Но есть сложность: придётся самостоятельно планировать обучение и развитие, получать знания и навыки, которые понадобятся на работе. Без старшего товарища ориентироваться в океане информации и проверять рецепты из интернета непросто.
Вывод
Специалисты по машинному обучению работают над сложными, увлекательными проектами, которые хорошо оплачиваются. Созданные ими решения делают нашу жизнь проще, интереснее и безопаснее. Так что если вам хочется быть на переднем крае технологий и заниматься самыми современными проектами, без которых немыслимо не только будущее, а уже и настоящее, — возможно, это идеальная карьера для вас.
Самому освоить профессию специалиста по машинному обучению трудно. Но можно записаться на курс «Профессия Data Scientist: машинное обучение», где опытные специалисты по ML собрали сбалансированную программу, учли типичные ошибки новичков и делятся лучшими практиками. За год с небольшим вы научитесь разбираться в программировании и моделях МL и поработаете с реальными проектами в машинном обучении.
Специализации по анализу данных и искусственному интеллекту
Изучите один из самых популярных и удобных языков программирования — Python и освойте современные методы машинного и глубинного обучения для прикладных задач и исследований
Факультет компьютерных наук НИУ ВШЭ представляет три больших специализации по современному анализу данных и искусственному интеллекту. Специализации откроются осенью 2020, подключиться к двум курсам можно уже сейчас.
Курсы специализаций подготовлены при экспертной поддержке и при участии компании Яндекс.
Специализация «Основы машинного обучения»
Студенты узнают, что понимается под методами машинного обучения и искусственного интеллекта. Сначала студенты изучат необходимые понятия и теоремы из математики, а также полноценно освоят Python — мощный и популярный язык программирования. Затем разберутся со всеми основными моделями машинного обучения, научатся правильно ставить задачи, измерять качество решения, готовить и анализировать данные, проводить эксперименты.
Включает в себя 4 базовых курса.
Примеры задач, которые студенты смогут решать:
Для кого: для студентов программ бакалавриата инженерного, экономического, социального и естественно-научного профилей.
От студентов ожидается математическая подготовка на уровне курса высшей математики, покрывающего основы математического анализа, линейной алгебры и теории вероятностей.
Специализация «Data Science»
Студенты изучат всё необходимое, чтобы пройти собеседование на junior позицию data scientist’а: специализация даст полноценные знания в области машинного обучения и нейросетей, а также навыки для работы с большими массивами данных.
Включает в себя 6 курсов: 4 базовых и 2 продвинутых.
Примеры задач, которые студенты смогут решать:
Для кого: для студентов программ бакалавриата и магистратуры, готовящие специалистов на стыке двух областей: предметной и IT.
От студентов ожидается математическая подготовка на уровне курса высшей математики, покрывающего основы математического анализа, линейной алгебры и теории вероятностей.
Специализация «Искусственный интеллект»
Студенты получат полноценные знания по современному машинному и глубинному обучению и будут готовы решать исследовательские задачи. Также освоят основные методы обучения с подкреплением, которое всё чаще используется при решении задач, связанных с искусственным интеллектом.
Состоит из 8 курсов: 4 базовых и 4 продвинутых.
Примеры задач, которые студенты смогут решать:
Для кого: для студентов программ бакалавриата и магистратуры по направлениям «прикладная математика», «прикладная математика и информатика».
Преимущества:
По результатам изучения: Microdegree от НИУ ВШЭ и Яндекса в резюме и портфолио.
Что доступно уже сейчас?
Для студентов открыты бесплатно два курса:
Студенты смогут с помощью языка Python автоматизировать рутинные операции на компьютере, собирать и обрабатывать большие объемы данных, а также погрузятся в область машинного обучения, получат первые практические навыки и смогут применять их для решения собственных задач по извлечению знаний из данных.
Подробнее о курсах
Python для извлечения и обработки данных
Курс знакомит с языком программирования Python — де-факто стандартным инструментом для анализа данных. На курсе студенты научатся программировать с нуля, познакомятся с базовыми возможностями языка и смогут использовать его в повседневной работе. Также студенты погрузятся в сбор данных на Python и научатся работать с большими массивами данных.
Примеры задач, которые студенты смогут решать:
Основы машинного обучения
Курс посвящён основам анализа данных и машинного обучения. Студенты научатся предобрабатывать данные и искать в них проблемы, изучат основные методы машинного обучения и способы оценки качества моделей и начнут применять их в реальных задачах.
Примеры задач, которые студенты смогут решать:
Для кого эти курсы
Для студентов программ инженерного, экономического, социального и естественно-научного профилей, которые не изучали анализ данных, но хотят уметь решать задачи анализа и обработки данных в своей профессии.
Особенности курсов
Освоить курс по Python можно без предварительных знаний. Для изучения курса «Основы машинного обучения» нужно уметь программировать на языке Python, помнить школьный курс математики, знать основы высшей математики или в процессе освоить её в минимальном объёме: производные, градиенты, векторы, матрицы и системы линейных уравнений.
Для оценки требований к математической подготовке скоро опубликуем здесь тест с автоматической проверкой.
Наука о данных, искусственный интеллект, машинное обучение: путь самоучки
Не каждый может найти время и деньги на то, чтобы получить очное образование в сферах Data Science (DS, наука о данных), AI (Artificial Intelligence, искусственный интеллект), ML (Machine Learning, машинное обучение). Недостаток времени и нехватка денег — это серьёзные препятствия. Преодолеть эти препятствия можно, занявшись самообучением. Но и тут не всё так просто. Для того чтобы успешно учиться самостоятельно, нужны дисциплина, сосредоточенность и правильный подбор учебных предметов. Самообучение в выбранной области, при правильном подходе, можно свободно совмещать с обычной жизнью или с учёбой в общеобразовательных учреждениях. Но в некоторых областях знаний, в таких, как DS, AI, ML, очень сложно начать учиться самостоятельно. Однако, прошу поверить мне на слово, сложности стоят того, что можно получить в результате. Ключ к успеху в самообучении лежит в том, чтобы учиться в собственном темпе.
В этом материале я хочу рассказать о том, как можно действовать тому, кто хочет самостоятельно обрести знания в областях DS, AI и ML. Применение предложенных здесь методов учёбы способно привести к хорошему прогрессу в изучении нового. Здесь, кроме того, я собираюсь поделиться ссылками на ресурсы, которыми я пользуюсь, и которые я без тени сомнения готов порекомендовать другим.
Изучите некоторые математические дисциплины
Математика, даже если это кому-то и не нравится, очень важна в интересующей нас области. Я думаю, что можно с достаточной уверенностью говорить о том, что те, кто это читают, уже обладают некоторыми знаниями по математике, которые они получили в школе. Это — хорошая база, но этого и близко недостаточно тому, кто хочет развиваться в сферах DS, AI и ML. А именно, тут понадобится углубиться в математику немного сильнее, чем это делается в школе, придётся изучить некоторые вещи из статистики, алгебры и других математических дисциплин. Я собрал бы список полезных ресурсов по математике для DS, но это уже сделали за меня в этой статье. И сделали очень хорошо.
Научитесь программировать
Если вы только начинаете самообучение — не стоит сразу бросаться в изучение того, как писать код для целей машинного обучения. Вместо этого стоит изучить основные концепции программирования, не привязанные к какой-либо предметной области. Узнайте о том, что такое программирование, ознакомьтесь с разными существующими типами кода, разберитесь с тем, как правильно писать программы. Это очень важно, так как в процессе освоения программирования вы изучите множество базовых идей, которые сослужат вам хорошую службу на протяжении всей вашей DS-карьеры.
Не спешите, не стремитесь сразу изучить что-то сложное. То, насколько хорошо вы поймёте основы, скажется на всей вашей будущей профессиональной деятельности. Здесь вы можете найти очень хорошие видеоуроки, которые познакомят вас с программированием и информатикой. А именно, в них разбираются самые важные вещи, в которых вам нужно разбираться. Уделите этому вопросу достаточно времени и постарайтесь дойти до понимания всего, что узнаете.
Выберите один язык программирования и как следует в нём разберитесь
Существует много языков программирования, используемых теми, кто работает в областях DS, AI и ML. Чаще всего здесь используются Python, R, Java, Julia и SQL. В данных сферах могут применяться и другие языки, но те, которые я перечислил, применяются чаще других не без причины:
Научитесь собирать данные
Чаще всего вам никто не будет давать данные, предназначенные специально для вас, а иногда в вашем распоряжении может не быть вообще никаких данных. Но, в любом случае, вам нужно найти способ сбора данных, с которыми вы будете работать. У организации, в которой вы трудитесь, может быть хорошая система сбора данных. Если это так, для вас это — большой плюс. Если такой системы в организации нет, то вам придётся найти способ сбора данных. Но речь идёт не о любых данных, а о качественной информации, с который вы сможете продуктивно работать, достигая поставленных целей. Сбор данных не имеет прямой связи с «добычей данных», с их глубинным анализом. Сбор данных — это шаг работы, который предшествует анализу.
Открытые данные, которыми можно пользоваться бесплатно, можно найти во многих местах интернета. Иногда же нужные данные можно собрать с веб-сайтов, применяя методы веб-скрапинга. Владение веб-скрапингом — это очень важный навык дата-сайентиста, поэтому я очень прошу всех, кто собирается работать в областях DS, AI и ML, освоить этот навык. Вот хорошее руководство по веб-скрапингу.
Данные, кроме того, могут храниться в базах данных, поэтому вам очень пригодятся начальные сведения по администрированию БД и умения по взаимодействию с базами данных. В частности, здесь очень важны знания SQL. Поучиться SQL можно здесь.
Научитесь обрабатывать данные
То, о чём я будут тут говорить, часто называют «первичной обработкой данных» (Data Wrangling). Этот процесс включает в себя очистку имеющихся данных. Здесь применяется разведочный анализ данных и удаление из них всего ненужного. Этот процесс так же включает в себя структурирование данных, приведение их к такой форме, с которой можно будет работать. Эта стадия работы с данными является самой тяжёлой и изматывающей. Те данные, с которыми вы столкнётесь в процессе обучения, будут уже подготовлены к анализу. Но данные, с которыми вы встретитесь в реальном мире, могут быть совершенно «сырыми». Если вы и правда стремитесь стать специалистом в области обработки и анализа данных, вам стоит найти настоящие данные и отыскать способы приведения их в пристойный вид.
Реальные данные можно найти практически повсюду. Например — на Kaggle. На этой замечательной платформе имеются данные от множества компаний со всего мира. Первичная обработка данных — это очень утомительное занятие, но если вы будете заниматься этим регулярно и настойчиво, вы, постепенно, поймёте, что занятие это ещё и очень интересное. Вот хорошие лекции по первичной обработке данных.
Научитесь визуализировать данные
Если вы — специалист по DS, AI или ML, и хорошо разбираетесь в своём деле, вы не должны забывать о том, что то, что кажется вам очевидным, может быть совершенно непонятно окружающим. Не ждите от них того, что они, например, смогут сделать выводы, глядя на колонки цифр. Научиться визуализировать данные нужно для того чтобы результатами вашей работы могли бы воспользоваться специалисты из других областей. «Визуализацией данных» обычно называют процесс представления данных в графическом виде. Такое представление данных позволит извлечь их них пользу даже тем, кто не имеет специальных знаний в сферах DS, AI и ML.
Существует множество способов визуализации данных. Так как мы, всё же, программисты, нашим основным методом визуализации данных должно быть написание соответствующего кода. Это быстро и не требует покупки специализированных инструментов. При написании кода для визуализации данных можно пользоваться множеством бесплатных и опенсорсных библиотек, созданных для используемых нами языков программирования. Например, существуют библиотеки такого рода для Python. Это — Matplotlib, Seaborn и Bokeh. Вот видеоурок по Matplotlib.
Ещё один способ визуализации данных предусматривает использование инструментов с закрытым кодом. Например — Tableau. Существует много таких средств, они позволяют добиваться весьма привлекательных результатов, но они не бесплатны. Tableau — один из самых распространённых подобных инструментов, им я пользуюсь очень часто. Я посоветовал бы всем, кто занимается анализом и визуализацией данных, изучить Tableau. Вот хорошее руководство по этому инструменту.
Искусственный интеллект и машинное обучение
AI и ML можно рассматривать как подразделы DS, так как они основаны на данных. AI и ML — это технологии, которые основаны на обучении машин поведению, сходному с поведением людей. Для этого используются специально подготовленные данные, передаваемые машинам. Компьютерные модели можно научить многому такому, на что способны люди. Для этого их обучают и направляют к нужному результату. В данном случае «машины» можно воспринимать как маленьких детей, не имеющих совершенно никаких знаний. Этих детей постепенно обучают идентифицировать объекты, говорить. Они учатся на своих ошибках и, по мере обучения, начинают всё лучше решать поставленные перед ними задачи. Так происходит и с машинами.
Технологии AI и ML — это то, что «оживляет» машины с использованием множества математических алгоритмов. Человечеству до сих пор не известны границы возможностей этих постоянно совершенствующихся технологий. В наши дни технологии AI и ML широко используются для решения когнитивных задач. Это — обнаружение и распознавание объектов, распознавание лиц и речи, обработка естественного языка, выявление спама и обнаружение мошенничества. Этот список можно ещё очень долго продолжать.
Более подробный рассказ об AI и ML достоин отдельной публикации. Пока же я могу порекомендовать это видео, касающееся общих вопросов применения данных технологий. А вот — многочасовой видеоурок, посвящённый машинному обучению. Проработав эти видео, вы можете приобрести знания в сфере ML, соответствующие начальному или даже среднему уровню. Вы узнаете о множестве существующих алгоритмов машинного обучения, о том, как они устроены, и о том, как ими пользоваться. После этого у вас должно быть достаточно знаний для того чтобы приступить к созданию собственных простых ML-моделей. О том, как это сделать, можно почитать здесь.
Изучите способы публикации ML-моделей в интернете
Существуют инструменты, позволяющие публиковать ML-модели в интернете. Это позволяет дать к ним доступ всем желающим. Для того чтобы публиковать модели в интернете, нужно хорошее понимание процессов веб-разработки. Дело в том, что под «публикацией модели» понимается создание веб-страницы (или группы страниц), обеспечивающей возможность работы с моделью в браузере. Кроме того, нужно учитывать то, что фронтенд проекта, его интерфейс, должен обмениваться данными с бэкендом, с серверной частью проекта, где расположена сама модель. Для того чтобы строить подобные проекты, вы должны уметь создавать серверные API и пользоваться этими API в клиентской части приложений.
В том случае, если вы планируете публиковать модели в облачных средах, если собираетесь использовать технологию Docker, вам пригодится хорошее знание сферы облачных вычислений и DevOps.
На самом деле, существует множество способов развёртывания моделей в интернете. Я посоветовал бы начать с изучения того, как это делается с использованием веб-фреймворка Flask, основанного на Python. Вот хорошее учебное руководство об этом.
Найдите наставника
Самообучение — это прекрасно, но ничто не сравнится с обучением у профессионалов. Дело в том, что при таком подходе усваивается то, что используется в реальности, и в том, что так обучение идёт через практику. Многие вещи можно изучить только на практике. Обучение с наставником имеет множество сильных сторон, но надо учитывать то, что не каждый наставник способен оказать существенное влияние на вашу карьеру или жизнь. Именно поэтому очень важно найти хорошего наставника.
Например, эту задачу можно попытаться решить с помощью платформы Notitia AI. Здесь учащимся назначают персональных наставников, которые делают личный и профессиональный вклад в развитие учеников. Наставники доводят тех, кто хочет учиться, от начального до экспертного уровня в сферах DS, AI и ML. Notia AI, это, кроме того, самая доступная платформа такого рода.
Итоги
Учтите, что изучение курсов, чтение статей и просмотр видео не сделают из вас специалиста по работе с данными. Вам понадобится пройти сертификацию в специализированном учреждении. Кроме того, некоторые вакансии требуют наличия определённых документов об образовании. Вложите время в самообучение, сертифицируйтесь или получите документы об образовании, и вы будете готовы к реальной работе.
Как вы думаете, что нужно знать и уметь тому, кто стремится стать ценным специалистом в сферах искусственного интеллекта или машинного обучения?