сколько уровней в модели оценки обучения джека филлипса

Модель оценки эффективности обучения Дональда Киркпатрика

В 1954 году была создана одна из самых ныне известных моделей, подходящих как для оценки эффективности тренинга, так и для оценки эффективности процесса обучения вообще. Ее автором стал почетный профессор университета штата Висконсин (США) Дональд Киркпатрик. Он предложил разделять процесс обучения на четыре уровня, которые впоследствии и оценивать. Таким образом, по его мнению, можно будет обеспечить применение полученных в процессе обучения новых навыков непосредственно на рабочем месте и, следовательно, добиться максимальных показателей от данного обучения.

Рассмотрим, что же это за уровни, и что нуждается в оценке на каждом из них.

ПЕРВЫЙ УРОВЕНЬ — «РЕАКЦИЯ»

На данном этапе важно выяснить, как участвующие в обучении реагируют непосредственно на само обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания.

Для оценки эффективности первого уровня могут быть использованы такие инструменты как листы реагирования (анкеты комментариев, листы улыбок, анкеты реакции), интервью,

Листы реагирования

Главной задачей является составить их так, чтобы получить максимум полезной информации. Рекомендуется составлять от 8 до 15 вопросов для участников обучения, которые должны быть как открытые, так и со шкалами (например «пятибалльная шкала» или «десятибалльная шкала»), необходимыми для наиболее точной оценки мнений всех участников тренинга. Рядом с каждым вопросом нужно обязательно оставить место для комментариев. Целесообразно разместить в листах реагирования вопросы, позволяющие получить такую информацию, как: эффективен ли тренер и используемые им методы, соответствуют ли и насколько задачи курса целям деятельности, доступен ли был предоставленный материал, каким образом можно улучшить программу и т. д.

Желательно, чтобы анкеты были анонимными. Считается, что в таком случае ответы будут более откровенными.

Интервью

Интервью проводится после обучения с каждым из участников курса так же, как и в случае с анкетами, для получения обратной связи.

могут быть использованы в случае проведения пилотных проектов. Первый раз мнения участников рекомендуется собирать через неделю после окончания проекта, второй раз — через 90 дней после проекта.

Результат оценивания первого уровня может быть выражен в ответах на такие вопросы:

Таким образом, как участники реагируют на курс, такова и есть его оценка. Реакция участников тренинга, по мнению Д. Киркпатрика, является достаточно важным критерием успешности и эффективности всего курса обучения.

ВТОРОЙ УРОВЕНЬ — «ОБУЧЕНИЕ»

Этот уровень предполагает оценку того, в какой мере усвоили участники новую информацию, сформировали ли они необходимые отношения, изменились ли и насколько их знания, установки под конец процесса обучения.

Для количественного измерения прогресса в обучении используются специально разработанные опросники, задания и тесты.

Инструментами, необходимыми для оценки второго уровня модели, являются: тест на знание изученного материала, лист проверки умений, составление плана действий, обучение других сотрудников.

Лист проверки умений

Лист проверки умений заполняет наблюдатель, который в ходе беседы с участником курса определяет его умения использовать полученные во время обучения навыки. В первой колонке листа выставляется оценка умения, во второй вносятся комментарии. Умения оцениваются следующим образом:

1 — неправильное использование умения;

2 — верное использование умения;

3 — экспертное использование умения.

Составление плана действий

Для составления плана действий участникам тренинга предлагается дать ответы на вопросы такого плана:

Еще один инструмент оценки — это обучение других сотрудников.

Его можно организовать в виде проведения различных презентаций для коллег из других подразделений, помощи в обучении и адаптации новых сотрудников, обучения группы в парах.

По мнению Д. Киркпатрика, если процесс обучения был эффективным, то должны произойти видимые изменения, т. е. улучшатся знания, усовершенствуются навыки и изменятся установки.

ТРЕТИЙ УРОВЕНЬ — «ПОВЕДЕНИЕ»

В данном случае нужно определить, изменилось ли в результате обучения поведение его участников, применяют ли они из полученных навыков и знаний на своем рабочем месте.

Инструменты оценки, использующиеся для третьего уровня следующие:

В обзорном тесте можно использовать следующие вопросы: были ли получены новые знания; насколько улучшилось в результате обучения поведение на работе; через сколько смогли применять обучение в своей работе; если же до сих пор не получилось, то почему и т. д.

Д. Киркпатрик обращает внимание, что если изменения в поведении участников после обучения не произошли, то это абсолютно не означает, что тренинг был не эффективен. Бывают такие случаи, когда не были созданы необходимые условия, и, следовательно, даже при позитивной реакции на тренинг поведение участников не изменилось. Поэтому при оценивании очень важно проверять наличие следующих условий:

ЧЕТВЕРТЫЙ УРОВЕНЬ — «РЕЗУЛЬТАТЫ»

Оценка того, в какой степени были достигнуты намеченные заранее результаты, и есть основная цель данного уровня, т.е. это оценка экономической эффективности обучения. Также важно отметить, принесли ли положительное влияние на саму организацию изменения в поведении участников обучения.

Оценить четвертый уровень модели достаточно непросто, так как тут нужно определить, как изменились организации. Т. е. нужно правильно выбрать показатели, которые будут измеряться как до, так и после проведения обучения.

Д. Киркпатрик отмечает, что к результатам будут относиться изменения, произошедшие в связи с прохождением обучения участниками (например, увеличение продаж, улучшение качества, увеличение производительности и т. д. ).

Проведение оценки необходимо осуществлять до, во время и после процесса обучения, а также через некоторое время, когда результаты станут более заметными.

В 1970 годы модель оценки эффективности обучения Д. Киркпатрика была уже достаточно известна и принята в качестве стандарта для проведения оценки непосредственно профессионального обучения.

Долгие годы автор модели проводил различные исследования, разрабатывая новые инструменты и оценочные методы, которые относились в основном к 1 и 2 уровням. И только в 2005 году им был предложен инструментарий, необходимый для оценки 3 уровня модели. Задача обеспечения наиболее эффективного применения полученных за счет обучения знаний и навыков в реальной деятельности до сих пор достаточно актуальна для различных обучающих организаций.

В 2006 году Киркпатрик выпустил уже третье издание своей книги «Оценка тренинговых программ», в которой основное внимание уделено 4 уровню модели, а также значительно расширена сфера применения непосредственно самой модели. Автор предложил использовать свою модель не только для оценки эффективности программ обучения, но и для процесса, связанного с управлением изменениями, а также для того, чтобы можно было продемонстрировать ценность обучения бизнесу.

Алгоритм работы с самой моделью тоже поменялся. В книге Д. Киркпатрика предлагается проводить оценку, начиная с 4 уровня и заканчивая 1. Так, по его мнению, специалисты, отвечающие за обучение, будут уделять должное внимание не только самому процессу обучения, но и поддержке нужного поведения, достижению запланированных

По мнению авторов, для того, чтобы получить гарантированные результаты, прежде чем начинать обучение, нужно определить ожидаемые результаты, ключевые показатели и методы, с помощью которых будет осуществляться измерение и оценка.

ПЯТЫЙ УРОВЕНЬ — ROI

Также известен 5 уровень модели, разработанный Джеком Филипсом, благодаря которому должно стать ясно, стоило ли вкладывать деньги в обучение. Его показатель — ROI («возврат на инвестиции») позволяет перевести результаты оценки четвертого уровня в материальный эквивалент, далее полученная сумма прибыли сравнивается с затратами на курс обучения. Коэффициент ROI показывает процентное соотношение прибыли от курса обучения к сумме затрат на него.

Таким образом, модель Джека Филипса предоставляет возможность оправдать затраты на обучение, провести оценку курса обучения как и показывает прямую зависимость увеличения продуктивности компании от обучения ее сотрудников, т.е. сделать обучение экономически эффективным.

Несмотря на то, что модели Дональда Киркпатрика уже более 50 лет, еще достаточно многие менеджеры и специалисты по обучению считают, что учащийся, получивший знания, уже является экспертом и может легко их применять. Но, как показывают практика и результаты оценки эффективности обучения по модели Д. Киркпатрика, это далеко не так. Использование данной модели позволит совершенствовать в дальнейшем учебные программы, а также повысить эффективность подготовки сотрудников.

Статья является собственностью профессионального портала для тренеров http://trenerskaya.ru/. При перепечатывании статьи ссылка на сайт обязательна.

Вам понравилась статья?
Нажмите на кнопки социальных сетей и поделитесь ею с друзьями и коллегами!

Рекомендуем уникальные тренерские методички лучших упражнений для тренингов:

Это упражнение позволяет участникам тренинга отработать умение уверенно общаться в любой ситуации, даже когда у них не так» (не так одет, не так причесан, не так себя чувствует). В процессе упражнения участники опытным путем понимают, что все барьеры, препятствующие общению, только в голове говорящего. Если вы «ОК», то внешние признаки для собеседника отходят на второй план. Поэтому, если убрать лишние мысли, ненужные жесты,— уверенность станет естественным состоянием.

В упражнении есть некоторая доля вызова. Если некоторые участники чувствовали себя во время упражнения неуверенно,— они увидят проблему и их мотивация на изменение значительно повысится.

В разработке описано проведение упражнения в рамках тренинга уверенности, для которого оно идеально подходит. Также упражнение удачно подходит для тренингов стрессоустойчивости, тренингов трудоустройства и тренингов знакомств.

Это классическое А, значит, оно отлично снимает первичное напряжение и недоверие в тренинговой группе, способствует установлению теплых, доверительных отношений между участниками тренинга.

Упражнение «Слепой и Поводырь» отлично подводит участников тренинга к исследованию и обсуждению темы доверия к другим людям. Помогает участникам тренинга увеличить уровень доверия в своей жизни, начать больше доверять людям, увидеть, что в жизни мы часто изначально «не доверяем».

Упражнение «Слепой и Поводырь» дает возможность каждому участнику тренинга лучше узнать самого себя: насколько он доверяет окружающим, легко или сложно ему положиться на другого человека, каков он во взаимодействии с другими, каким его воспринимают другие люди.

Это отличная возможность! Вы оплачиваете всего 1190 руб. и получаете сразу 3 эксклюзивных психологических упражнения для тренингов:

Ваша выгода составит более 1300 руб.(!)

Источник

Расчет эффективности обучения персонала: от опросников к ROI

«Предоставляем бесплатное обучение», — когда-то возможности написать так в вакансии было достаточно, чтобы убедить руководство поддержать запуск корпоративного обучения. Теперь вопросов все больше, и главный из них: «Сколько обучение сотрудников помогает заработать?». Только в США в 2018 году общие расходы на обучение составили 87,6 млрд долларов. Справедливо, что руководители компаний хотят знать, как окупаются инвестиции.

Из этой статьи вы узнаете о методологии расчёта рентабельности корпоративного обучения (ROI) и получите инструкцию, как это сделать на практике. Но сперва пройдите короткий тест и узнайте, готова ли ваша компания начать измерять ROI обучения персонала.

Что такое ROI обучения и зачем его измерять

ROI — это показатель возврата вложенных средств и индикатор эффективности инвестиций. Суперсила коэффициента ROI в том, что он знаком финансистам и вызывает доверие у руководства компании.

Смысл расчёта ROI заключается в переводе затрат на обучение и выгод от него в одинаковые единицы измерения — рубли, доллары или другую валюту. Это здорово, потому что тогда возможно провести прямое сравнение и сделать однозначный вывод об эффективности обучения для бизнеса.

Формула расчёта ROI выглядит так:

Положительный коэффициент означает что вы отработали в плюс, отрицательный — обучение идёт в убыток.

Пример 1. Компания «Бета» вложила в обучение сотрудников 650 000 рублей. Благодаря этому удалось повысить продажи и заработать на 1 750 000 рублей больше.

ROI = (1 750 000 — 650 000)/650 000*100 = 169%

Получается, на каждый вложенный рубль компания получила 2 рубля 69 копеек.

Пример 2. Компания «Гамма» потратила на обучение 250 000 рублей. Обученные сотрудники принесли компании дополнительные 75 000 рублей.

В этом примере ROI отрицательный. Это означает, что получение дополнительных 75 тысяч прибыли не стоило ресурсов, вложенных в программу. Овчинка выделки не стоила.

Пока всё просто, в чём подвох?

Перемножать и делить числа легко, когда речь идёт об абстрактных примерах. Но на практике узнать, сколько удалось заработать благодаря изучению какого-то курса, — сложно.

Здесь стоит напомнить, что сама по себе формула расчёта ROI — не магический шар, который отвечает на любые вопросы. Допустим, британские учёные сообщили, что ROI последнего курса составил 7%. Какой из этого следует вывод?

Это хорошо или плохо?

Что помешало добиться большего ROI?

Как можно повысить ROI?

Точно ли результат получен благодаря обучению сотрудников, а не новой рекламной кампании?

Без дополнительных данных коэффициент ROI лишь демонстрирует экономический эффект. Что само по себе уже неплохо, но для правильного толкования результатов требуется комплексный подход к оценке эффективности обучения. Давайте рассмотрим этот подход в деталях.

Методология оценки эффективности обучения: модели Киркпатрика и Филлипса

Самая известная модель для измерения эффективности обучения — четырехуровневая модель Дональда Киркпатрика. Основная претензия в адрес Киркпатрика заключалась в его убеждении, что измерять результаты обучения в деньгах невозможно или не имеет смысла. Вот почему позднее Джек Филлипс создал свою 5-уровневую модель ROI.

Сравнение моделей Киркпатрика и Филлипса

Филлипс доработал модель Киркптарика, добавив в неё Уровень 0 (Затраты) и Уровень 5 (ROI) — те самые конкретные цифры, которые хочет видеть заказчик. Кроме того, Филлипс предложил способы изоляции результатов обучения от влияния других факторов, например, маркетинга. Это серьёзно повышает достоверность оценки.

«Все решения работают в комплексе, но важно знать, в какой степени каждое из них повлияло на конечный результат. Если вы не знаете, что именно привело к результату, вы не можете управлять ситуацией. Уж поверьте, маркетологи сумеют составить отчёт об отдаче от рекламы, промо-акций и даже эффекте от смены ценовой политики. В этом плане маркетинг сильно обгоняет обучение. Если мы будем бездействовать, как предлагает Киркпатрик, мы потеряем доверие и поддержку».

Response to LinkedIn Post: Kirkpatricks vs. Phillips

Как измерить ROI обучения

Измерение ROI по методике Филлипса состоит из четырёх этапов: планирование оценки, сбор данных, анализ и подготовка отчёта.

Последовательность действий при измерении ROI. Источник: ROI Institute

1. Определяем цели обучения

Чётко поставленные и зафиксированные цели гарантируют, что в процессе сбора данных вы будете задавать правильные вопросы и ничего не упустите. Патти Филлипс в своей книге «The Bottomline on ROI» рекомендует прорабатывать цели сверху вниз, начиная с желаемого экономического результата и заканчивая реакцией учащихся на учебный курс.

За 12 месяцев сократить объём брака на 20%

Операторы линии в состоянии своевременно распознать потенциальный брак изделия.

Применяют систему «андон» на практике в случае необходимости.

В случае обнаружения серьёзных проблем, в полном объёме соблюдают четыёхшаговую инструкцию.

Рейтинг курса не ниже 9 баллов из 10 возможных.

Патти Филлипс рекомендует проводить исследования первого уровня (Реакция) для 90-100% учебных программ, а вот измерение ROI необходимо лишь в 5-10% случаев.

2. Разрабатываем план

На этом шаге создаём и утверждаем три документа: план сбора данных, план по анализу данных и план по расчёту ROI — по этим документам вы будете контролировать ход проекта и оценивать свои успехи.

Что важно прописать в плане:

способы их достижения;

инструменты (например, СДО);

ответственных за выполнение каждого пункта.

На сайте ROI Institute можно бесплатно скачать шаблон плана проекта расчёта эффективности учебной программы и другие полезные ресурсы.

Если вы хорошо потрудитесь, то получите проработанную пошаговую тактику реализации проекта — её необходимо согласовать с клиентом или руководством. Так вы ещё раз убедитесь, что ваши ожидания совпадают, и договоритесь о критериях признания каждого этапа выполненным.

3. Собираем данные во время обучения и после него

На этом шаге работаем по классической методике Киркпатрика. Во время обучения оцениваем реакцию учащихся на изученные материалы и то, как новые знания усвоились. После завершения обучения отслеживаем, как полученные знания применяются на практике и какой результат это приносит.

Для этого можно использовать:

Пример вопросов из листа реагирования (Уровень 1)

Пример измерения изменений в поведении (Уровень 4)

4. Изолируем эффект от обучения

На конечный результат бизнеса влияет огромное число факторов: от ценовой политики до харизмы отдельных сотрудников. Изоляция — критически важный шаг, который помогает отделить заслуги обучения от влияния других факторов и обеспечивает достоверность всей методики.

Наиболее доступные техники изоляции:

Контрольная группа: вы запускаете пилотное обучение на отдельных группах участников и сравниваете результат с показателями контрольной группы, которая не участвует в программе.

Оценка участников: вы предлагаете самим участникам оценить, в какой степени обучение повлияло на их результаты.

Оценка руководителей подразделений или супервайзеров: вы просите руководителей оценить влияние обучения их команды на конечный результат группы.

5. Переводим результаты в деньги

На этом шаге присваиваем ценность в денежном эквиваленте каждому виду результатов, полученных после обучения. Так вы сможете сравнить их с затратами. Точные данные — выработка, качество и время, — как правило, можно без проблем конвертировать в деньги. Например:

дополнительные продажи → прибыль от этих продаж;

экономия времени сотрудника → рассчитываем стоимость сэкономленного времени исходя из среднего размера зарплаты (стоимость часа работы умножаем на количество сэкономленных часов сотрудника);

снижение времени простоя оборудования → оцениваем по затратам прошлых лет;

снижение текучки персонала → средства, сэкономленные на подборе персонала и адаптации;

повышение качества → средства, сэкономленные благодаря снижению процента брака.

6. Оцениваем затраты на программу

Подсчитываем все прямые и сопутствующие расходы, связанные с проведением обучения. Сюда входят зарплаты преподавателей, расходы на СДО, траты на пиар учебной программы, покупка оборудования и т.д. Не забудьте включить и расходы на проведение оценки эффективности программы.

7. Рассчитываем ROI по формуле

Как правило, для краткосрочных программ ROI рассчитывается за год. Но в отдельных случаях, когда вы реализуете масштабную программу (например, запускаете корпоративный университет), достижение максимального эффекта может занять несколько лет. Это стоит учитывать.

8. Определяем нематериальные выгоды

В большинстве случаев учебные программы помимо финансовых выгод приносят и нематериальные выгоды. Например, улучшение имиджа организации, рост сплочённости коллектива, повышение лояльности сотрудников компании. Проблема в том, что эти результаты субъективны.

Попытка конвертировать, скажем, командный дух в деньги для использования в расчёте ROI может серьёзно навредить достоверности и убедительности итоговых результатов. Лучше получить меньший коэффициент ROI с сильным отчётом о нематериальных выгодах, чем продемонстрировать высокий ROI, рискуя подорвать доверие ко всей оценке программы.

Если сомневаетесь, нужно конвертировать показатель или нет, воспользуйтесь подсказкой от ROI Institute:

9. Готовим отчёт и представляем результат

Отчёт о результатах — последний по списку, но не по важности шаг в оценке учебной программы. Подготовка отчёта и его презентация требуют тщательного планирования, ведь на кону дальнейшая судьба проекта. На этом этапе у вас две основные задачи:

А) Подготовить отчёт для разных целевых аудиторий. Разной аудитории нужна разная информация, поэтому заранее продумайте, какие отчёты потребуются. Хорошая идея — готовить сразу две версии каждого отчёта: краткую и подробную. Так вы облегчите понимание результатов, за что вам точно будут признательны.

Заказчики, высшее руководство

Полный отчёт о проведении оценки программы обучения

Источник