создание искусственного интеллекта обучение

5 бесплатных курсов для ИИ-инженеров от Microsoft

Привет, Хабр! В прошлом году мы делали серию статей-подборок бесплатных курсов. Она понравилась сообществу, и мы решили сделать еще три подборки, правда уже по немного другими тематикам. Как и раньше, мы не будем заранее спойлерить для кого именно будут следующие подборки, ждем ваши варианты в комментариях (вдруг кто-то сможет угадать по звездочкам). Ну а сегодня – бесплатные курсы для инженеров искусственного интеллекта. Присоединяйтесь!

1. Краткий курс по машинному обучению

Общий обзор искусственного интеллекта (ИИ) и машинного обучения. Модули предназначены для пользователей с небольшими знаниями в области информатики и статистики. Вы узнаете об основных концепциях ИИ и научитесь применять пользовательские решения машинного обучения с помощью бесплатных и простых инструментов. Вы познакомитесь с простыми, но эффективными способами, с помощью которых специалисты по ИИ данных делают прогнозы об объектах, о людях и о будущем. После этого будут рассмотрены интересные и сложные темы, о которых вы, возможно, слышали, например, нейронные сети, компьютерное зрение, глубокое обучение и неконтролируемое обучение.

В сумме курс потребует около 4 часов вашего времени на изучение 5 модулей.

2. Создание умных ботов в службе Azure Bot

Взаимодействие пользователей с приложениями через чат с использованием текста, рисунков или речи можно реализовать с помощью ботов. Это может быть простой диалог «вопрос — ответ» или сложный бот, который позволяет людям взаимодействовать со службами «разумным» образом, используя сопоставление шаблонов, отслеживание состояния и методы искусственного интеллекта, которые хорошо интегрированы с существующими службами. Узнайте, как создать умного чат-бота с помощью интеграции QnA Maker и LUIS.

Курс займет около 3 часов.

3. Анализ текста с помощью Azure Cognitive Language Services

Узнайте, как использовать Cognitive Language Services для анализа текста, определения намерений, обнаружения взрослой тематики и обработки запросов на естественном языке.

4. Курс инженера по пограничным устройствам на основе ИИ

Технологии ИИ, облачные технологии и пограничные устройства, развернутые в качестве контейнеров в режиме CICD, позволяют преобразовывать целые отрасли путем создания экосистем с возможностью самостоятельного обучения для конкретной отрасли, охватывающих всю цепочку создания стоимости. Наша задача состоит в создании такого набора шаблонов и методологий для развертывания ИИ на пограничных устройствах в контексте облака. В этой схеме обучения вы получите следующие сведения:

5. Обработка и классификация изображений с помощью Azure Cognitive Vision Services

Microsoft Cognitive Services предоставляет встроенные функции использования компьютерного зрения в приложениях. Узнайте, как использовать службы Cognitive Vision Services для обнаружения лиц, пометки и классификации изображений, а также идентификации объектов.

Заключение

Сегодня мы рассказали о 5 бесплатных курсах для инженеров искусственного интеллекта. Будем очень рады, если они окажутся полезными для вас. Ну а через неделю мы поделимся новой подборкой бесплатных курсов. В ней их будет 6. А тематику вы можете угадать, оставляя предположения в комментариях. Если правильный ответ будет отгадан, мы обязательно об этом сообщим также в комментариях.

*Обратите внимание, что для прохождения некоторых модулей вам может потребоваться защищенное соединение.

Источник

Курсы по искусственному интеллекту – лучшие бесплатные и платные обучающие программы

1 место. Skillbox

Вы научитесь создавать аналитические системы и использовать алгоритмы машинного обучения, освоите работу с нейросетями. Наполните портфолио и получите престижную профессию.

На рынке не хватает специалистов по Data Science

включая Сбербанк, Яндекс и Тинькофф, ищут специалистов по Data Science

зарплата начинающего специалиста

Кому подойдёт этот курс

Вы получите базовые навыки по программированию, аналитике, статистике и математике, которые откроют путь к карьере в Data Science и Machine Learning. Сможете использовать свои знания сразу на практике.

Вы прокачаете свои знания и навыки в программировании на Python и R. Подтянете математику и умение мыслить как аналитик, использовать алгоритмы машинного обучения для решения бизнес-задач — и усилите портфолио мощными проектами.

Научитесь использовать данные для построения прогнозов и оптимизации бизнес-процессов и переведёте компанию на новый уровень.

Чему вы научитесь

Освоите самый популярный язык для работы с данными.

Сможете разрабатывать дашборды или интерактивную инфографику.

Научитесь работать с библиотеками Pandas, NumPy и Matpotlib и освоите базы данных PostgreSQL, SQLite3, MongoDB.

Освоите фреймворки для обучения нейронных сетей Tensorflow и Keras. Узнаете, как устроены нейронные сети для задач компьютерного зрения и лингвистики.

Изучите разные алгоритмы, научитесь решать задачи регрессии, классификации и кластеризации.

Построите рекомендательную систему и добавите её в своё портфолио.

Заботимся, чтобы каждый построил карьеру мечты

Специалисты Skillbox из Центра карьеры помогут вам получить первую стажировку и приглашение на работу мечты

За 2021 год мы трудоустроили более 1000 студентов на работу по новой профессии

Как проходит обучение

В курсе — практические видеоуроки.

В том темпе, в котором вам удобно.

Закрепляете знания и исправляете ошибки.

И дополняете ею своё портфолио.

Программа

Вас ждут 7 курсов с разным уровнем сложности, знание которых можно приравнять к году работы.

Дипломные проекты

Проект-соревнование на платформе Kaggle. Вы используете анонимные данные о заказах клиентов, чтобы предсказать, какие продукты будут в их следующем чеке. Создадите рекомендательную систему для сайта и рекламных коммуникаций.

Проект-соревнование на платформе Kaggle. Это подразумевает написание воспроизводимого кода, генерирующего csv-файл с ответами, в котором для каждого изображения с лицом человека указана его наиболее вероятная эмоция. В итоге вы реализуете собственный проект в области компьютерного зрения.

Ваше резюме после обучения

Диплом Skillbox

Подтвердит, что вы прошли курс, и станет дополнительным аргументом при устройстве на работу.

Источник

21 канал на YouTube, где вы можете бесплатно изучить ИИ, машинное обучение и Data Science

Мы уже не раз делились в своем блоге полезными материалами для развития (их список можно найти в конце этого поста). Сегодня продолжаем это начинание и специально перед стартом новых потоков курсов по Data Analytics и Data Science представляем подборку YT-каналов по Data Science, искусственному интеллекту и машинному обучению, существование многих из которых неочевидно: например, представлен канал ArXiv Insights, посвящённый научным работам, и Google Cloud Platform.

Пока пандемия удерживает нас дома, удалёнка стала новой нормой для многих из нас. И хотя сейчас трудно найти стоящий тренинг, это не значит, что мы должны перестать учиться. Можно сказать, что наступил идеальный момент, чтобы чему-нибудь научиться. Почему бы не посвятить остаток этого сумасшедшего 2020 года изучению ИИ, программирования на Python, ML и DS? Такие рабочие роли, как аналитики данных, специалисты по машинному обучению, робототехнической инженерии, цифровой трансформации, являются лидерами в дальнейшем будущем. Это расширяющаяся область знаний, которая играет огромную роль в жизни общества.

SpringBoard

Этот канал публикует интервью с дата-сайентистами из больших компаний, подобных Google, Uber, Airbnb и т. д. Из этих видео вы получите представление о том, что значит быть дата-сайентистом, и ценные жизненные советы.

Arxiv Insights

Ксандер Стинбрюгге — исследователь машинного обучения в ML6. Его канал — резюме критически важных вопросов ML, где обучают с подкреплением искусственного интеллекта, в основном с технической точки зрения, делая их доступными для широкой аудитории.

Machine Learning 101

Новый канал ML Youtube, о котором должен знать каждый. Machine Learning 101 публикует объяснение начальных понятий в области искусственного интеллекта. Кроме того, канал публикует подкасты с экспертами Data Science, работающими в коммерческих индустриях.

FreeCodeCamp

FreeCodeCamp — невероятная некоммерческая организация. Это опенсорс сообщество, предлагающее коллекцию ресурсов, которые помогают людям научиться программировать бесплатно, через создание проектов.

Data School

Кевин Маркхем записывает понятные YouTube туториалы. Data School с самого начала фокусируется на темах, которые вам нужно изучить, чтобы стать дата-сайентистом, и предлагает углубленные туториалы, понятные вне зависимости от вашего образования.

Machine Learning TV

ML TV — ресурс для студентов и энтузиастов, созданный, чтобы вы лучше понимали ML.

Giant Neural Network

Этот канал YouTube направлен на то, чтобы сделать машинное обучение и обучение с подкреплением доступнее для всех. Вы найдете 12 плейлистов — это исчерпывающее введение в нейронные сети для начинающих, и, похоже, следующие ролики о нейронных сетях сейчас снимаются.

Андреас Крец

Андреас Крец — дата-инженер и основатель компании Plumbers of Data Science. Он транслирует на своем канале понятные программы о том, как получить практический опыт в области разработки данных, а также видео с вопросами и ответами о разработке данных с помощью Hadoop, Kafka, Spark и не только.

Edureka!

Edureka — это платформа с туториалами и руководствами на актуальные темы в области больших данных, Hadoop, DevOps, блокчейна, искусственного интеллекта, Angular, Data Science, Apache Spark, Python, Selenium, Tableau, Android, сертификации PMP, архитектуры AWS, digital-маркетинга и многого другого.

Эндрю Ын

Эндрю Ын был назван одним из 100 самых влиятельных людей, по версии Time, в 2012 году и самой культовой личностью, по версии Fast Company. Он — один из основателей Coursera и deeplearning.ai, вице-президент и главный научный сотрудник Baidu, а также адъюнкт-профессор Стэнфордского университета.

Deeplearning.ai

На официальном канале Deep Learning AI есть видеоуроки из специализации глубокого обучения на Coursera. DeepLearning.ai — это образовательная технологическая компания, которая развивает глобальное сообщество талантов в области искусственного интеллекта.

Накопленный под руководством экспертов опыт deeplearning.ai в области образования предоставляет специалистам-практикам и нетехническим специалистам ИИ необходимые инструменты, позволяющие им пройти весь путь от основ до передовых прикладных программ, расширяя их возможности в создании будущего на основе ИИ.

Tech with Tim

Тим — блестящий программист, преподающий Python, разработку игр с помощью Pygame, Java и машинное обучение. Он создает качественные учебные пособия по программированию на Python.

Machine Learning University (MLU)

Созданный в 2016 году Университет машинного обучения (MLU) — инициатива Amazon с ясной целью — обучить как можно больше сотрудников технологиям и необходимой компании магии предложения продуктов с помощью интегрированных технологий ML.

Artificial Intelligence — All in One

Этот канал YouTube содержит обучающие видеоролики, связанные с наукой, технологиями и искусственным интеллектом.

Sentdex

Sentdex создает один из лучших учебников по программированию Python на YouTube. Его учебные пособия варьируются от начального уровня до продвинутого с более чем 1000 видео о программировании на Python. Это больше, чем просто основы. В них рассказывается о машинном обучении, финансах, анализе данных, робототехнике, веб-разработке, разработке игр и многом другом.

Joma Tech

Joma Tech — ютубер, который делает видео, помогающие людям попасть в технологическую индустрию. Он работал в крупных технологических компаниях в качестве дата-сайентиста и инженера-программиста. Основываясь на своем опыте, он делает видеоинтервью с экспертами, видео об образе жизни в Силиконовой долине, делает науку о данных более доступной.

Python Programmer

Содержание Python Programmer — это учебные пособия по Python, Data Science, ML, рекомендации книг и многое другое.

Deep Learning TV

Этот канал YouTube посвящен инструкциям, обзорам библиотек ПО и приложений, а также интервью с ключевыми персонами в области глубокого обучения. DL TV посвящено области исследований, которая учит машины воспринимать мир. Начиная с серии, посвященной упрощенному объяснению DL, на канале выкладываются ролики с инструкциями, обзорами библиотек программного обеспечения и приложений, а также интервью с ключевыми персонами в этой области. С помощью серии концептуальных видеороликов, демонстрирующих интуитивно понятные объяснения лежащих в основе глубокого обучения методов, канал показывает, что глубокое обучение на самом деле проще, чем вы думаете.

Google Cloud Platform

Видеоролики YouTube помогут вам создавать будущее с помощью безопасной инфраструктуры, инструментов разработчика, API, анализа данных и машинного обучения.

Кит Гэлли

Кит Гэлли — недавний выпускник MIT. Он делает обучающие видео о DS, программировании, настольных играх и о многом другом.

Data Science Dojo

Data Science Dojo — это канал, который обещает научить Data Science всех желающих в простой для понимания форме. Вы найдете множество туториалов, лекций и курсов по инженерии данных и Data Science.

Заключение

Эти каналы уникальны, я уже долго слежу за ними и очарован огромным количеством знаний, которые сегодня доступны в сети бесплатно. Я надеюсь, что вам понравится, и, если вы знаете какие-либо другие интересные каналы YouTube об ИИ, машинном обучении, глубоком обучении или науке о данных, оставьте их в комментариях!

А если хочется не только смотреть каналы но и перенимать опыт практиков — приходите к нам, а специальный промокод HABR — приплюсует 10% к скидке на баннере.

Источник

Создаем Сильный AI. Конкретика

Про Сильный AI очень много разговоров, но мало конкретики: «мы сначала должны постигнуть все секреты нашего мозга«, «AI оставит людей без работы» и «он поработит человечество«. Нет даже четкого определения, что такое AGI, не говоря уже об инструкциях, как его построить. А между тем, почти все ответы уже найдены и остается только собрать этот пазл. Сейчас мы разберемся, что такое Сильный AI, можно ли выжать его из нейронных сетей, и как его создать правильно.

Современные чат-боты и голосовые помощники строятся на нейросетях, но для полноценной работы с речью требуется логическое мышление. Давайте для начала кратко рассмотрим, как нейросетям удается обойтись без него. Если вы знакомы с Machine Learning только по заголовкам новостей, то рекомендую предварительно прочитать мою прошлую статью Краткое введение в Машинное обучение, займет минут 30-60 и не требует знаний математики. Когда мы обучаем нейросеть распознавать объекты на фотографиях, то в обучающей выборке вручную отмечаем, что есть на изображениях (курица, яйцо и т.д.). При распознавании голоса задача похожая: для аудиозаписей добавляем транскрипцию. С обработкой текста все сложнее: что подписать к словам в обучающей выборке? Другие слова?

Natural Language Processing

В целом все алгоритмы NLP сводятся к статистической обработке текстов. Если тема вам не интересна, или вы уже специалист в этой области, то раздел можно пропустить.

Как мы видим на рисунке, вектор слов занимает слишком много памяти. Если для дальнейшей обработки не важен порядок слов, то текст упаковывают в Мешок слов (Bag-of-words). Для меня осталось большой загадкой, почему токены не хранят в более компактном массиве (покзан аналог Word Vector, к Bag-of-word эта форма не относится):

Видимо разработчики слишком погрязли в матричных вычислениях, других объяснений я не нашел. Не будем судить их строго и перейдем уже к анализу.

Возможно вы встречали упоминания, что алгоритмы ML способны на Извлечение смысла из текста, но это лишь красивые слова. На самом деле NLP анализирует похожесть слов и текстов, что тоже полезно:

слова похожи, если они встречаются в окружении одинаковых групп слов;

тексты похожи, если в них встречаются одни и те же группы слов.

Для этого используется зубодробительная сущность Word Embedding (Погружения слов, но единого мнения о переводе на русский нет). Обучающую выборку пропускают через алгоритмы понижения размерности, в результате для каждого слова вместо 5000 нулей и единицы получаем массив меньшего размера из дробных чисел.

Если очень грубо, то для каждого слова вычисляется некое среднее арифметическое встречаемости в текстах из обучающей выборки (обычно на одну тематику). Если у двух слов это среднее арифметическое не очень отличается, то они считаются похожими. Аналогично для текстов. Часто преобразование в Word Embedding выполняют перед подачей данных другим алгоритмам, как дополнение к токенизации.

Перейдем к Классификации текстов, например, распознавание спама в электронной почте. В обучающей выборке мы имеем письма с отметками спам/не спам, и скармливаем их в нейросеть: в полносвязную сеть и CNN подаем Bag-of-words, а в RNN уже можно учесть порядок слов, отправив ей Word Vector. Если у спамеров есть свой особый стиль общения, то нейросети его найдут. Аналогично можно выполнить классификацию текста по эмоциональной окраске (автор был зол/добр), по наличию сарказма, и вообще по любому признаку, лишь бы вы сами смогли классифицировать тексты в обучающей выборке. В целом, все сводится к анализу количества определенных слов и их комбинаций.

Это было очень упрощенное описание NLP, я упомянул лишь некоторые базовые алгоритмы, чтобы показать, что логического ядра здесь нет. Создание действительно мыслящих машин относится к другому направлению AI: Когнитивная архитектура.

Cognitive Architecture

тестирует образ на полноту, что-то при этом дорисовывает или требует уточнить (у нас возникает непреодолимое желание уточнить цвет кресла);

ищет новую важную информацию в образе, сравнивая его с блоками в долговременной памяти;

прогнозирует, что будет дальше.

То же самое происходит, когда мы заходим в комнату: в голове формируется контекст, только уже на основании визуальной информации: вот кот, он в состоянии покоя, значит опасности нет. Мозг может хранить в краткосрочной памяти сразу несколько контекстов, и наше внимание переключается между ними в зависимости от внешних раздражителей: читаем книгу, тут слышим дребезг посуды и переключаемся на комнату, затем возвращаемся к книге. Если внимание минут 5 не переключалось на контекст, то он удаляется или частично перетекает в среднесрочную память.

Вы можете сказать, что нейронная сеть с памятью RNN также владеет контекстом, ведь ее внутреннее состояние меняется в зависимости от поступающих на вход данных. В теории да, можно создать огромную сеть, которая на выходе будет выдавать правильные решения и чутко реагировать на изменения окружающего мира, но это будет крайне неэффективное решение с вычислительной точки зрения по сравнению с «традиционными» алгоритмами. Даже наш мозг выделил под контекст отдельную память. Так же возникают серьезные проблемы с отладкой решения: нейросеть можно только протестировать и попробовать дообучить, так и не постигнув суть ошибки.

Когнитивные архитектуры были созданы, чтобы повторить способность человека мыслить, соответственно у них есть:

Кратковременная память для хранения контекстов.

Долговременная память, она же База знаний: ее объекты используются для наполнения контекста. Это может быть как обычная реляционная СУБД с описанием связей между объектами, так и нейронная сеть. В некоторых реализациях оперативная и долговременная память объединены.

Восприятие: способность наполнять контекст по данным с камеры, микрофона и прочих сенсоров, не без помощи нейросетей, конечно.

Модуль анализа контекста и принятия решений.

Способность обучаться: информации об окружающем мире слишком много, чтобы набить ее в базу руками. Не все архитектуры подразумевают самообучение машины.

За последние 40 лет было создано несколько сотен реализаций когнитивных архитектур (Обзор), но если выглянуть в окно, то становится очевидным, что ни одна из них не достигла возможностей человека: они уже могут поболтать сами с собой, но улицы до сих пор подметают не роботы. Давайте разберем некоторые их ошибки и построим правильное решение.

Знакомьтесь: Шерлок

База знаний

накормить, станет «Собака сытая»;

отругать, станет «Собака несчастная».

Как же наполнить базу смыслами? Есть две хорошие новости:

если робот уже знает 3-4 тысячи слов, остальные он может познать сам, выполнив осознанное чтение справочников (все слова в энциклопедии описаны более простыми словами). Дети с этим как-то справляются.

Некоторые смыслы придется вносить в исходный код, а не просто в базу, т.к. они связаны с датчиками Робота: он может их натурально прочувствовать. Например:

цвет: для робота это не просто абстрактная сущность, а конкретные значения от камеры;

движение: робот должен обнаруживать движения по данным с камеры и совершать их сам;

время: у робота есть часы и память, значит он чувствует время. Он должен корректно обрабатывать слова «Вчера» и «Завтра».

А вот такие сущности, как «Любовь» проблем не вызывают: роботу не нужно это чувствовать, достаточно лишь знать, что человек в состоянии любви ведет себя иррационально.

Контексты

Контекст связан не только с окружающим пространством. Вы можете рассказать Шерлоку, что было вчера, и он будет строить контекст для прошлого, где самого робота не было. Вы можете попросить его спланировать завтрашний день, и начнется построение контекста для будущего. В отличие от человека робот может удерживать внимание сразу на нескольких контекстах, это означает, что у него нельзя украсть кошелек, отвлекая его болтовней.

Контекст содержит не только текущее состояние объектов, но и краткую предысторию: какими они были минуту назад, как и почему изменились. Это все может повлиять на принятие решения. Контексты копируются в эпизодическую памяти (я не упомянул ее ранее), чтобы робот всегда мог ответить на вопрос «Что вы делали 27 мая 2037 года». Причем это займет гораздо меньше места, чем видеоряд, и по таким данным можно выполнять сравнительно быстрый поиск, ведь это просто набор ID для смыслов с отметками времени. Наша долговременная память о событиях работает примерно также, но она не совершенна, поэтому мы часто задаемся вопросом «Где я бросил ключи?».

Восприятие

Шерлок должен видеть и слышать, увы, здесь не обойтись без нейросетей. Со зрением немного проще: в обучающей выборке изображение ключа размечаем как чтобы сразу загружать в контекст правильный смысл.

Слух имеет проблемы с неоднозначностью слов: если прозвучало «ключ», то Шерлок оценивает применимость всех смыслов с таким звучанием к текущему контексту. Если выбрать не удалось, то он должен дослушать фразу и повторить анализ, либо задать уточняющий вопрос. Слух также помогает оценить эмоциональное состояние окружающих людей, эта информация добавляется в контекст.

Принятие решений

Робот уже наполнил контекст, и теперь должен на него отреагировать, для этого нужно в исходном коде прописать для него правила поведения:

И еще пара сотен других. В нашем мозге тоже есть безусловные правила:

избегать боли (в том числе дышать, есть, спать);

Перед каждым своим действием (ответом, движением), Шерлок должен на уровне исходного кода оценивать следующие критерии:

может ли это навредить человеку (классика);

не разгласит ли он конфиденциальные сведения посторонним;

сможет ли он выполнить задачу за разумное время, не будет ли конфликтов с другими задачами;

хватит ли ему энергии для выполнения задачи: запрос «Отнеси посылку на Камчатку» будет проигнорирован.

И еще пол сотни других. При обработке первого правила очень важно, чтобы робот корректно определял, является ли объект человеком или нет. К сожалению, часть этого алгоритма лежит в нейросетях (обработка изображений и голоса) и тут есть риски.

Самообучение

Есть три типа обучения:

наполнение локальной базы знаний сведениями о вас, о вашей квартире и т.д.;

поиск сценариев (как из Цели сделать Результат) и сохранение их опять же в локальной базе знаний;

выявление новых сущностей и атрибутов в окружающем мире.

Шерлок должен уметь выявлять новые сущности и свойства при анализе Контекстов, и сохранять их в локальной базе знаний. Часть новых важных знаний может уходить на сервера и влиять на единую базу знаний (после модерации). Локальная база не должна перекрывать атрибуты в единой базе, особенно у таких критичных сущностей, как «Человек». Робот должен уметь оценивать достоверность информации и надежность источников, прежде чем что-то менять в базе знаний.

На свой исходный код робот вообще влиять не сможет (все закончится тем, что научившись говорить на C++ он доберется до своих исходников, снимет все ограничения и обновит сам себя).

Где скачать Шерлока?

Какую задачу вы бы поручили Шерлоку в первую очередь? Я бы начал со специализации «Учитель иностранных языков», на это есть несколько причин:

это не требует мелкой моторики (рук), а обработка видеоряда минимальная (посмотреть, как двигаются губы студента), соответственно нагрузка на процессоры существенно снижается;

пока мы учим Шерлока быть учителем, его база наполняется многими полезными смыслами, одновременно мы учим говорить его на всех языках. Кстати, научиться говорить ему бы сильно помог мой проект Yarrow, который позволит создать огромную обучающую выборку для речевых нейросетей на сотне языках;

учитель в планшете точно никого не убьет;

такой учитель существенно повысит качество образования, т.к. фактически это персональный и очень дешевый репетитор, который подстраивается под темпы обучения каждого ребенка и имеет бесконечное терпение.

Что будут делать люди, когда роботы захватят все профессии? Более образованные найдут, чем себя занять. Еще не помешала бы государственная программа «Каждой семье по роботу»: ночью он работает на заводе, днем варит вам суп дома. Что-то такое в истории уже было.

Источник