сферы применения машинного обучения

17 примеров применения машинного обучения в 5 отраслях бизнеса

Машинное обучение (machine learning) лежит в основе многих инновационных технологий искусственного интеллекта. Программы, разработанные с помощью ML, умеют предсказывать поломки оборудования, предугадывать поведение клиентов и принимать логические и аналитические решения почти как люди.

Расскажем, как компании используют machine learning и покажем примеры применения машинного обучения на реальных кейсах.

Машинное обучение в промышленности: управление производством, минимизация простоев и аварий

Минимизация простоев на производстве. Простои из-за поломок, сбоев или нехватки сырья могут стоить заводу миллионы долларов. Машинное обучение помогает их предотвратить. Для этого с датчиков на оборудовании собирают данные, а потом смотрят, при каких показателях возникают сбои. В будущем с помощью этой информации можно предсказать, когда и почему случится простой, как его избежать.

К примеру, может оказаться, что перед поломкой оборудования в цехе всегда поднимается температура. Тогда при повышении температуры система оповестит инженеров, а они вовремя предотвратят проблему.

Создание системы управления производством. С помощью датчиков и машинного обучения можно не только выполнять узкие задачи, например предотвращать поломки, но и управлять всем производством:

Производитель микроконтроллеров Simatic использует платформу на базе IoT и машинного обучения. Она помогает собирать и анализировать информацию с датчиков на оборудовании в реальном времени. Это помогло на 75% автоматизировать производство тысяч видов продукции, в 9 раз увеличить объем производства при тех же площадях и персонале и почти на 100% сократить брак.

Выявление угроз безопасности. Машинное обучение помогает сделать производство безопаснее: выявлять незначительные изменения в работе оборудования и вовремя оповещать о возможной катастрофе.

Разведка новых месторождений. Одна из главных проблем нефтегазовой и горнодобывающей промышленности — сложность в обнаружении новых месторождений.

Машинное обучение помогает ускорить этот процесс. На основе данных о прошлых месторождениях искусственный интеллект строит модели, которые с высокой точностью предсказывают, где искать новые залежи газа или руды.

У компании «Газпром» есть проект «Цифровой керн». Это цифровая лаборатория, где анализируют пробы пласта с помощью технологий машинного обучения. Алгоритмы моделируют условия там, откуда взята проба, и помогают создать цифровой двойник месторождения. С его помощью оценивают запасы полезных ископаемых и подбирают индивидуальный подход к разработке. Это позволяет в 1,5-2 раза увеличить добычу полезных ископаемых из конкретного месторождения, а также искать новые.

Машинное обучение позволяет создавать сложные визуальные модели месторождений. Источник

Машинное обучение в финансах: оценка рисков и борьба с мошенничеством

Оценка кредитоспособности. Обычно в банках кредитоспособность клиента оценивают менеджеры. Сотрудники тратят на оценку много времени и часто ошибаются — отклоняют кредиты тем, кто мог бы их платить, и выдают неплатежеспособным.

Алгоритм можно научить оценивать кредитоспособность клиентов банка. Для этого в него загружают информацию о ранее выданных кредитах: выплачены они или нет, были ли просрочки или досрочное погашение. Все это помогает банку автоматизировать выдачу кредитов.

Борьба с мошенничеством. Банки и их клиенты регулярно теряют деньги из-за мошеннических операций. Распознавать такие операции помогает машинное обучение — специальные алгоритмы учатся выявлять признаки мошеннических операций и вовремя их блокировать.

Примеры машинного обучения для предотвращения мошенничества есть у многих банков. Например, Сбербанк использует ИИ для блокировки подозрительных операций, а недавно поймал с его помощью мошенника. Зарубежный Danske Bank снизил процент ложных обвинений в мошенничестве на 60%.

Примеры машинного обучения в медицине: диагностика и роботизированные операции

Улучшение клиентского сервиса. Чем быстрее в клинике проходит процесс регистрации на прием, тем меньше очереди, удобнее работать врачам и лояльнее пациенты.

Диагностика заболеваний. Если загрузить данные осмотра и диагностики в программу, ее можно научить ставить диагнозы примерно так же, как это делают врачи.

Например, искусственный интеллект Corti прослушивает звонки в скорую помощь и распознает остановку сердца на основе ответов звонящих, их голоса и дыхания. В одном эксперименте программа распознала 93,1% остановок сердца, люди обычно распознают 72,9%. Кроме того, Corti работает быстрее — ставит диагноз за 48 секунд против 79 у диспетчеров-людей.

Сейчас систему внедряют в нескольких европейских городах — она будет работать в службе спасения вместе с диспетчерами. На видео слышно, как ИИ разговаривает с человеком, позвонившим в скорую.

Источник

Машинное обучение

Многие пользователи постиндустриальной эпохи задавались вопросом: Machine Learning – что это? Фантастическое будущее, которое уже наступило или очередная непонятная теория вроде квантового дуализма. Не то и не другое.

Машинное обучение (МО), а именно так переводится этот термин, является ветвью искусственного интеллекта. Более детальнее – это методика анализа данных, которые позволяют машине/роботу/аналитической системе самостоятельного обучаться посредством решения массива сходных задач.

Принцип МО интересно продемонстрировали в гугловском ролике «Google’s DeepMind AI Just Taught Itself To Walk».

Аналитической системе дали задание добраться из одной точки в другую, используя двуногую и четырехногую модель. При этом не показали, как выглядит ходьба и перемещение на четырех конечностях. Машина путем перебора массива данных, совершая ошибки и пробуя заново, нашла оптимальные варианты движения для двух моделей.

Что касается фантастического будущего, то МО условно делят на три стадии внедрения:

Многие эксперты считают, что искусственный интеллект находится на переходной стадии между вторым и третьим уровнем. То есть подкованные в IT люди уже пользуются инновациями, а большинство ещё побаивается.

Сфера применения

Мы рассмотрели Machine Learning – что это понятие означает. Теперь самое время рассмотреть для чего используется МО в бизнесе и жизни.

Спросите человека, увлеченного робототехникой, о сфере применения машинного обучения. Вы услышите много фантастических историй. Например, роботы будут самостоятельно обучаться выполнять поставленные человеком задачи. Добывать в недрах Земли полезные ископаемые, бурить нефтяные и газовые скважины, исследовать глубины океана, тушить пожары и прочее. Программисту не нужно будет расписывать массивные и сложные программы, боясь ошибиться в коде. Робот, благодаря МО, сам будет обучаться вести себя в конкретной ситуации на основе анализа данных.

Здорово, но пока фантастично. В будущем, может даже и не слишком далеком – это станет реальностью.

На что сейчас способен искусственный интеллект и машинное обучение. Сегодня технологию используют больше в маркетинговых целях. Например, Google и Яндекс применяют МО для показа релевантной рекламы пользователям. Вы замечали не раз, что поискав в сети интересующий товар, потом вам несколько часов, а то и дней, показывают похожие предложения.

По такому же принципу формируются умные ленты в соцсетях. Аналитические машины ФБ, ВК, Инстаграм, Твиттер исследуют ваши интересы – какие посты чаще просматриваете, на что кликаете, какие паблики или группы посещаете и другое. Чем дольше и чаще вы активничаете в соцсетях, тем более персонализированной становится ваша лента новостей. Это и хорошо и плохо. С одной стороны – машина отсеивает массив неинтересной (по её мнению) информации, а с другой – она сужает ваш кругозор. Маркетинг – ничего личного!

Машинное обучение используется в структурах обеспечения безопасности. Например, система распознавания лиц в метро. Камеры сканируют лица людей, входящих и выходящих из метро. Аналитические машины сравнивают снимки с лицами, которые находятся в розыске. Если сходство высоко, то система подает сигнал. Сотрудники полиции идут на проверку документов у конкретного человека.

Искусственный интеллект уже внедряют в медицинские учреждения. Например, обработка данных о пациентах, предварительная диагностика и даже подбор индивидуального лечения на основе информации о болезни человека.

Виды машинного обучения

Методы машинного обучения – это совокупность задач, направленных на проверку гипотез, поиск оптимальных решений с помощью искусственного интеллекта. Выделяют три направления:

Например, система распознавания объектов работает по принципу нейросети. Сначала фотографируется объект целиком (получение графической информации), потом система разбивает данные на точки, находит линии из этих точек, строит из линий простые фигуры, а из них – сложные двумерные и далее 3D-объекты.

Классы задач машинного обучения

Основы машинного обучения

Часто приходится слышать о Machine Learning – что это очень сложная научная дисциплина, осилить которую могут только гении высшей математики и программирования. Однако МО на самом деле гораздо проще, чем кажется на первый взгляд. По крайней мере, изучить основы искусственного интеллекта может любой образованный человек.

Что для этого нужно:

Для углубленного обучения МО советуем записаться на курсы от ВШЭ или специализацию от МФТИ.

Предлагаем добавить в свою библиотеку следующие книги по искусственному интеллекту и МО:

Все книги можно купить на Озоне.

Резюме

Мы изучили на примерах, что такое машинное обучение. Познакомились с методиками обучения, которые применяются в искусственном интеллекте. Узнали классы задач, решаемые МО. В предыдущем абзаце мы указали ряд книг и курсов, которые помогут в освоении технологий машинного обучения.

Источник

Machine learning, deep learning. Что это? Зачем это?

Сейчас многие интернет-СМИ декларируют очередной бум технологий в области искусственного интеллекта.

Предлагаю разобраться с терминологией и понять, что это за «интеллектуальный» кот в мешке.

Многие считают, что это робот с искусственным разумом, который «мыслит» как человек и представляют угрозу для человечества.

На сегодняшний день под термином «искусственный интеллект» понимают конкретную группу технологий, которые заточены на определенные цели, такие технологии часто называют когнитивными.

Возможности применения их провоцируют существенные изменения бизнес-процессов во многих отраслях бизнеса и нашей повседневной жизни.

Вашему вниманию представляю порцию терминов, связанных с данными технологиями:

Машинное обучение (от англ. – machine learning) – алгоритмы, позволяющие компьютеру делать выводы на основании данных, не следуя определенным правилам.

Принято выделять 2 направления:

1. Обучение на основе выявления закономерностей в данных.

2. Обучение, основанное на формализации знаний экспертов и их перенос в виде базы знаний.

Целью машинного обучения является разработка алгоритмов с возможностью воспроизведения работы человеческого мозга при анализе информации и в ходе принятия решения.

Текущая стадия развития обучающихся алгоритмов такова, что под термином «обучение» понимается способность решать уравнения на основе определенных данных.

Алгоритмы глубинного обучения легли в основу таких технологий как:

Машинное зрение – способность машины идентифицировать и анализировать объекты, действия и ситуации в изображениях.

Ключевыми характеристиками такой системы являются чувствительность и разрешение.

Данная технология позволяет расширить диапазон видимости и улучшить качество контроля изучаемых объектов.

Обработка естественного языка – способность машины работать с текстом, извлекая смысл, так как это делают люди.

Данные технологии открывают возможности для создания нового класса машин – решающих когнитивные задачи.

Данные технологии смогут существенно повысить качество жизни человека.

Также в данном направлении имеет место высокая инвестиционная активность со стороны венчурных инвесторов. Стартапы, работающие в области машинного обучения, активно финансируются венчурными фондами, такими как Data Collective. WorkDay’s Machine Learning fund,и Bloomberg Beta, а также крупными российскими и зарубежными корпорациями. В настоящее время Сбербанк и Google на регулярной основе анонсируют мероприятия и хакатоны с фокусом в данном сфере.

Практические сферы применения машинного обучения

Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности.

Машинное обучение имеет широкий спектр приложений:

Источник

Технологии машинного обучения: примеры современных тенденций

Машинное обучение — это один из способов применения искусственного интеллекта в компьютерных технологиях при работе с различными данными. Благодаря машинному обучению, программные приложения могут точнее прогнозировать результаты и анализировать данные. Основная цель и идея машинного обучения — позволить компьютерам обучаться самим, автоматически и без вмешательства человека.

По прогнозам специалистов, машинное обучение — это будущее. По мере того, как люди становятся все более зависимыми от машин и гаджетов, грядет мировая технологическая революция, благодаря которой появятся новые профессии и исчезнут старые. В связи с этим, наша команда приготовила небольшое исследование по этому поводу.

История

В 1959 году Артур Самуэль, исследователь искусственного интеллекта, ввел термин «машинное обучение». Он изобрел первую самообучающуюся компьютерную программу по игре в шашки. Самуэль определил машинное обучение как процесс, в результате которого компьютеры способны показать такое поведение, которое в них не было запрограммировано изначально.

Ниже рассмотрим другие важные даты в истории машинного обучения:

1946: Появился компьютер ЭНИАК — сверхсекретный проект армии США.

1950: Алан Тьюринг создает “Тьюринг тест” для оценки интеллекта компьютера.

1958: Фрэнк Розенблатт придумал Персептрон — первую искусственную нейронную сеть и создал первый нейрокомпьютер «Марк-1».

1959: Марвин Минский создал первую машину SNARC со случайно связанной нейросетью.

1967: Написан метрический алгоритм по классификации данных. Алгоритм позволил компьютерам применять простые шаблоны распознавания.

1985: Терри Сейновски создает NetTalk — искусственную нейронную сеть.

1997: Компьютер Deep Blue обыграл чемпиона мира, Гарри Каспарова, в шахматы.

2006: Джеффри Хинтон, ученый в области искусственных нейросетей, ввел термин «Глубинное обучение» (Deep learning).

2011: Эндрю Энг и Джефф Дин основали Google Brain.

2012: В Google X Lab разработали алгоритм, позволяющий идентифицировать видеоролики, в которых показываются коты 🙂

2012: Google запускает облачный сервис Google Prediction API для машинного обучения. Он помогает анализировать неструктурированные данные.

2014: В Facebook изобрели DeepFace для распознавания лиц. Точность алгоритма 97%.

2015: Amazon запустила собственную платформу машинного обучения — Amazon Machine Learning.

2015: Microsoft создает платформу Distributed Learning Machine Toolkit, предназначенную для децентрализованного машинного обучения.

2020: Технологии искусственного интеллекта применяются практически в каждом программном продукте.

Изображение: Unsplash

Где применяется машинное обучение уже сейчас?

Образование. Благодаря внедрению искусственного интеллекта, разработчики создали обучающие системы, симулирующие поведение учителя. Они могут выявлять уровень знаний учащихся, анализировать их ответы, ставить оценки и даже определять персональный план обучения.

К примеру, AutoTutor, обучает студентов компьютерной грамотности, физике и критическому мышлению. Knewton учитывает характеристику обучения каждого студента и разрабатывает для него уникальную учебную программу. ВВС США используют систему SHERLOCK, чтобы обучить пилотов находить технические неисправности в самолетах.

Поисковики. Поисковые системы используют машинное обучение, чтобы улучшить свои функции. Например, Google внедрила машинное обучение в распознавание голоса и поиск изображений. В 2019 году Google представила Teachable Machine 2.0 — самообучающуюся нейросеть, способную распознавать звуки речи, интонации и позы. С помощью веб-камеры и микрофона пользователь обучает нейронные сети без написания кода и экспортирует их в сторонние приложения, носители или на веб-сайты.

Digital-маркетинг. Машинное обучение в данной сфере обеспечивает глубокую персонализацию клиента. Таким образом, компании могут взаимодействовать с клиентом на личном уровне, становясь к нему ближе. Благодаря алгоритмам сложной сегментации, машина фокусируется на “нужном клиенте в нужное время”, чтобы эффективно продавать продукты. Кроме того, благодаря правильным данным о клиентах, компании располагают информацией, которую можно использовать для изучения их поведения и реакций.

Например, Nova использует машинное обучение для написания электронной рассылки клиентам, делая письма при этом персонализированными. Машина знает, у каких электронных писем ранее была высокая конверсия, и, соответственно, предлагает изменения в рассылках для лучших продаж.

Здравоохранение. У IBM есть разработка Watson. Это суперкомпьютер для медицинских исследований, основанный на машинном обучении. Технология Watson for Oncology обрабатывает большой объем медицинских данных, в том числе изображения, на которых можно точно диагностировать рак. Watson for Oncology сейчас используется в больницах Нью-Йорка, Бангкока и Индии. В июле 2016 года IBM стала сотрудничать с 16 медицинскими центрами и технологическими стартапами, чтобы ускорить развитие программ для точной диагностики.

Вывод

Будущее технологий за машинным обучением. В ближайшее десятилетие машинное обучение будет конкурентным преимуществом не только у топовых компаний, но и у перспективных стартапов. То, что сегодня делается вручную, завтра будут делать машины. Следует добавить, что алгоритмы машинного обучения не только будут использованы в бизнесе и экономике, но и прочно войдут в повседневность (распознавание голосовых команд для умного дома).

Сегодня машинное обучение приобретает новые формы и постоянно развивается. Машинное обучение строится на концепции, что компьютеры могут учиться. Т.е. они могут делать то, на что не были запрограммированы изначально.

В данный момент исследователи искусственного интеллекта хотят протестировать, смогут ли компьютеры учиться на полученных данных. Интерактивный аспект машинного обучения важен, поскольку машины способны постоянно учиться и самостоятельно адаптироваться. Компьютеры учатся на предыдущих вычислениях и показателях, чтобы получить надежные и успешные решения и результаты для создания лучшего будущего.

Источник

🤖 Машинное обучение для начинающих: основные понятия, задачи и сфера применения

Что такое машинное обучение?

Для решения каждой задачи создается модель, теоретически способная приблизиться к человеческому уровню решения данной задачи при правильных значениях параметров. Обучение этой модели – это постоянное изменение ее параметров, чтобы модель выдавала все лучшие и лучшие результаты.

Разумеется, это лишь общее описание. Как правило, вы не придумываете модель с нуля, а пользуетесь результатами многолетних исследований в этой области, поскольку создание новой модели, превосходящей существующие хотя бы на одном виде задач – это настоящее научное достижение. Методы задания целевой функции, определяющей, насколько хороши выдаваемые моделью результаты (функции потерь), также занимают целые тома исследований. То же самое относится к методам изменения параметров модели, ускорения обучения и многим другим. Даже начальная инициализация этих параметров может иметь большое значение!

В процессе обучения модель усваивает признаки, которые могут оказаться важными для решения задачи. Например, модель, отличающая изображения кошек и собак, может усвоить признак «шерсть на ушах», наличие которого скорее свойственно собакам, чем кошкам. Большинство таких признаков нельзя описать словами: вы же не сможете объяснить, как вы отличаете кошку от собаки, правда? Выделение таких признаков зачастую не менее, а иногда намного более ценно, чем решение основной задачи.

Чем машинное обучение отличается от искусственного интеллекта?

Термин «искусственный интеллект» был введен еще в 50-е годы прошлого века. К нему относится любая машина или программа, выполняющая задачи, «обычно требующие интеллекта человека». Со временем компьютеры справлялись все с новыми и новыми задачами, которые прежде требовали интеллекта человека, то есть то, что прежде считалось «искусственным интеллектом» постепенно перестало с ним ассоциироваться.

Модели и параметры

Самая простая модель имеет всего два параметра. Если нужно предсказать результат, линейно зависящий от входного признака, достаточно найти параметры a и b в уравнении прямой линии y=ax+b. Такая модель строится с помощью линейной регрессии. На следующем рисунке показана модель, предсказывающая «уровень счастья» человека по его собственной оценке в зависимости от уровня его дохода (красная линия):

Модель, предсказывающая уровень счастья человека по уровню его дохода

К сожалению, в реальной жизни простые линейные зависимости встречаются крайне редко. Даже на этом графике видно, что высокий уровень дохода выбивается из линейной зависимости – одних денег для счастья все-таки недостаточно. Даже полиномиальные модели, имеющие количество параметров, равное степени полинома, пригодны лишь для очень простых задач.

Хотя алгоритм обратного распространения ошибки (backropagation) был придуман довольно давно, до недавнего времени не было технических возможностей для реализации глубоких нейронных сетей, содержащих большое количество слоев. Быстрое развитие микроэлектроники привело к появлению высокопроизводительных GPU и TPU, способных обучать глубокие нейронные сети без суперкомпьютеров. Именно широкое распространение глубокого обучения стоит за тем бумом искусственного интеллекта, о котором вы слышите отовсюду.

Учиться, учиться и учиться

Машинное обучение требует много данных. В идеале, тренировочные данные должны описывать все возможные ситуации, чтобы модель могла подготовиться ко всему. Конечно, на практике добиться этого невозможно, но нужно стараться, чтобы тренировочный набор был достаточно разнообразным.

Стратегия обучения выбирается в зависимости от поставленной задачи и имеющихся данных для обучения. Выделяют обучение с учителем (supervised learning), обучение без учителя (unsupervised learning) и обучение с подкреплением (reinforcement learning).

Обучение с учителем

Это обучение на примерах, при котором «учителем» называются правильные ответы, которые, в идеале, должна выдавать модель для каждого случая. Эти ответы называются метками (название происходит из задач классификации, модели которых практически всегда обучаются с учителем – там эти ответы являются метками классов), а данные с метками – размеченными.

К сожалению, с моделями машинного обучения все не так просто, поскольку мы сами не знаем, какой ответ будет «правильным» для каждого случая! Ведь именно для получения этих ответов нам и нужна модель. И практически всегда нам нужно, чтобы модель хорошо усвоила зависимость результата от входных признаков, а не точно повторяла результаты тренировочного набора, который в реальной жизни может содержать и ошибочные результаты (шум). Если модель выдает верные результаты на всем тренировочном наборе, но часто ошибается на новых данных, говорят, что она переобучена на этом наборе.

Переобученная модель классификации (зеленая линия) выдает верные результаты на всем тренировочном наборе, но правильно обученная модель (черная линия), скорее всего, будет не так сильно ошибаться на новых данных

Обучение без учителя

Некоторые задачи можно решить и без размеченных тренировочных данных – например, задачи кластеризации. Модель сама решает, как надо сгруппировать данные в кластеры, чтобы похожие экземпляры данных попадали в один кластер, а непохожие – не попадали.

Такую стратегию обучения, использует, например, Airbnb, объединяя в группы похожие дома, и Google News, группируя новости по их темам.

Частичное привлечение учителя

Как и предполагает название, обучение с частичным привлечение учителя (semi-supervised learning) – это смесь обучения с учителем и без него. Этот метод использует небольшое количество размеченных данных и множество данных без меток. Сначала модель обучается на размеченных данных, а затем эта частично обученная модель используется для разметки остальных данных (псевдо-разметка). Затем вся модель обучается на смеси размеченных и псевдо-размеченных данных.

Популярность такого подхода резко выросла в последнее время в связи с широким распространением генеративных состязательных сетей (GAN), использующих размеченные данные для генерации совершенно новых данных, на которых продолжается обучение модели. Если частичное привлечение учителя когда-нибудь станет не менее эффективным, чем обучение с учителем, то огромные вычислительные мощности станут более важными, чем большое количество размеченных данных.

Обучение с подкреплением

Это обучение методом проб и ошибок. Каждый раз, когда модель достигает поставленной цели, она получает «поощрение», а если не получает – «наказание». Эта стратегия обычно используется для обучения моделей, непосредственно взаимодействующих с реальным миром: моделей автоматического вождения автомобилей, игры в различные игры и т.д.

Лучшие курсы для изучения машинного обучения

Сферы применения машинного обучения

Машинное обучение имеет огромное количество применений, но особенно выделяются два крупных и важных направления: машинное зрение (computer vision, CV) и обработка естественного языка (natural language processing, NLP), каждое из которых объединяет множество различных задач.

Машинное зрение

Машинное зрение – это все приложения, включающие обработку изображений и видео. В частности, современные модели способны решать следующие задачи машинного зрения:

Обработка естественного языка

Обработка естественного языка – это революция в области интерфейса между человеком и компьютером. Она включает в себя следующие задачи:

Если вы хотите освоить востребованную профессию, стоит обратить внимание на курс факультета искусственного интеллекта образовательной онлайн-платформы GeekBrains. Одна из самых объемных и содержательных на рынке учебных программ включает основательную математическую подготовку, изучение программирования и статистического анализа, а также работу с базами данных, нейронные сети и машинное обучение. Курс построен на основе практической работы с ведущими специалистами технологических компаний и личным помощником-куратором. Выпускники получат диплом о профессиональной подготовке и помощь в трудоустройстве, а также смогут добавить в портфолио реализованные проекты.

Источник