Тип термина: Definition
Термин: Модель Киркпатрика
Альтернативные термины: -
Короткое описание: Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения
Длинное описание:
Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения:
Реакция (эмоциональный уровень)
Усвоение (уровень знаний)
Поведение (уровень навыков)
Результат
Реакция (эмоциональный уровень) - эмоциональная оценка обучения участниками. С одной стороны, положительная реакция как таковая не имеет большого значения, поскольку “понравившийся тренинг” отнюдь не означает “эффективный тренинг”. Он может никоим образом не изменить участников. С другой стороны, не стоит недооценивать этот фактор: удовлетворенность тренингом - это заинтересованность, внимание и позитивный настрой участников, необходимые для успешного обучения.
Усвоение (уровень знаний) показывает,какие знания, навыки, техники и методы усвоены участниками тренинга. Приобретение новых знаний является важным, но недостаточным результатом тренинга. Чтобы получить знания, не обязательно проходить тренинг - достаточно прочитать книгу или посетить лекцию. К тому же, само по себе приобретение новых знаний, без умения и желания их применять, часто не влияет на эффективность работы человека. Более ценным результатом тренинга может оказаться получение участниками «осознаний», так называемых «инсайтов», когда участник тренинга получает какое-либо знание не от тренера, а в результате анализа опыта, полученного в ходе какого-либо упражнения.
Поведение (уровень навыков) - изменение поведения участника в рабочей ситуации, применение им полученных навыков в рабочих условиях. Изменение поведения показывает, что участники на практике применяют знания и навыки, полученные на тренинге. Это важнейший показатель эффективности, поскольку основная цель тренинга - улучшение бизнес-показателей путем совершенствования поведения участников. Ведь новые знания и умения бесполезны, если их не применять.
Результат - выявляются измеримые результаты (например, улучшение качества обслуживания, уменьшение нерациональных расходов и т. д.). В компаниях обычно имеются данные о ключевых, интегральных бизнес-показателях, таких, как объем продаж, прибыль, затраты. Понятно, что проведенный тренинг не является единственным фактором, который влияет на эти показатели, существует много других факторов, как внешних, так и внутренних. И точно измерить вклад тренинга, например, в увеличение объема продаж довольно сложно, особенно, если это был тренинг по лидерским навыкам или по навыкам самоорганизации. Затраты на исследования этого показателя могут многократно превышать стоимость самих тренингов, поэтому этот уровень оценки рекомендуется проводить только в случае проведения долгосрочных и дорогостоящих программ.
Рассуждения про модель Киркпатрика, оценку эффективности обучения, регрессионный анализ и, главное, отношение HR -а к этому.
Мы рассматривали сегодня регрессионный анализ. Было при этом максимально человек 25. Что очень мало для нашего портала.
Если бы вебинар был по теме Модель Киркпатрика, уверяю вас, было бы человек 90-120. От чего так? Я не буду отвечать прямо, дабы не обидеть рынок, а поррассуждаю.
Модель Киркпатрика
Когда речь заходит о практическом применении модели Киркпатрика, то HR -ы обычно говорят: мы оцениваем первый уровень… а мы уже второй… а мы еще и третий…
В этот момент хочется тупо спросить: …и?
В нашем случае модель выглядит так
Критерий эффективности = Ф1 + Ф2 + Ф3 и т.п…
В случае с моделью Киркпатрика критерием эффективности выступают экономические факторы, хотя Киркпатрик отошел от этого и помимо экономических метрик (hard ) предлагает не экономические (soft ): такие как улучшение процессов, организационной культуры и т.п… Это безусловно, от безысходности. Можно как угодно называть это, но по простому за изменениями корпоративной культуры чаще стоят всего лишь опросы персонала. Но нам надо по модному назвать это измерением корпоративной культуры.
Итак
Чаще всего за критерием эффективности у нас будут стоять только опрос экспертов – это самая доступная процедура.
Либо, что предпочтительнее – уровень продаж, уровень ошибок, объем выполняемых работ и т.п… - т.е. некий вещественный результат
А вот все остальные факторы – обратная связь, мотивация, уровень знаний, навыки - являются вкладом в эти критерии. И наша задача усмотреть связь (или ее отсутствие) между этими факторами и критериями эффективности.
Как нам помогает в этом модель Киркпатрика? Хреновасто, прямо надо сказать. В лучшем случае мы сами (а никак не с указания Киркпатрика) меряем корреляции между уровнями модели. Но и это нам мало помогает
Регрессионный анализ
Более того, в модели регрессионного анализа факторов может быть разное количество. На этом фоне смешной выглядит дискуссию о первом уровнемодели Киркпатрика : должна ли быть это обратная связь или внутренняя мотивация сотрудников. В регрессионном анализе и то, и другое возможно, причем уровень определяется весом фактора. И, например, обратная связь может быть вообще незначима, и это значит, что в данном конкретном случае измерять ее не имеет смысла.
Не, ну классно же?
Почему нет
Я опущу здесь опять критику в сторону HR , чтобы не выглядеть этаким теоретиком, который силен только в своем блоге. Безусловно, регрессионный анализ требует бОльшие ресурсы, чем Модель Киркпатрика. Безусловно, регрессионный анализ требует скилсы от HR более высокого уровня, чем для работы с моделью Киркпатрика.
Можно сетовать по этому поводу, а можно диагносцировать отрасль HR : в маркетинге незнание статистических методов уже моветон, в экономике статистика применяется на рабочем уровне. И представители маркетинга, экономисты не обсуждают вопросы, могут ли они быть бизнес партнерами. Этот вопрос стоит в HR .
Может быть мы станем бизнес партнерами, когда освоим регрессионный анализ вместо игрушек типа модели Киркпатрика?
Модель Киркпатрика
1) реакции. Участники тренинга положительно реагируют на тренинг непосредственно после его завершения;
участники тренинга положительно реагируют на его завершение 🙂
2) знания. Участники выучили материал тренинга;
3) поведения. Участники применяют на работе то, что они изучили на тренинге;
4) ROE. Тренинг имеет положительные результаты для организации;
Критика модели Киркпатрика:
Существует несколько доводов, критикующих модель Киркпатрика. Во-первых, последние исследования, совершенные Элвудом Холтоном и Джорджем Аллигером, бросают тень сомнения на иерархический аспект модели. Их исследования показали, что корреляции между уровнями иерархии Киркпатрика либо малы, либо несущественны. Во-вторых, когда с тренинговой программой что-то не так (низкий трансфер), модель не определяет причину проблемы и что с ней делать. В-третьих, модель не учитывает другие переменные, такие как мотивация участников, само-эффективность или условия организации. В-четвертых, модель не обладает высокой степенью точности. Например, второй уровень, «знания», не определяет – декларативные это знания или процедурные. Также, сложно измерить первый уровень, «реакции»: участники могут тренинг ненавидеть, получать от него удовольствие, он им может нравиться, показаться приятным, скучным, интересным. Но самый главный аргумент, заключается в том, что по модели Киркпатрика, оценка любого тренинга должна основываться на одних и тех же переменных. Современный взгляд на оценку эффективности тренинга предполагает, что методы оценки должны выбираться исходя из целей оценки.
Без оценки эффективности процесса обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. Потенциал наиболее распространенной модели оценки - Д. Киркпатрика пока, к сожалению, не полностью используется практиками. А с особенностями ее последней версии большинство наших HR-менеджеров вовсе не знакомо.
В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами». Он предложил краткую формулу для описания цикла обучения: реакция - обучение - поведение - результаты . Разделение процесса обучения на этапы помогло объяснить, как обеспечить применение новых навыков на рабочем месте, без чего нельзя достичь желаемых результатов. Кроме того, практики получили инструменты для оценки эффективности каждого из этапов обучения. В 1959 году Д. Киркпатрик написал цикл статей для ASTD Journal*, в которых четко сформулировал критерии для всех четырех уровней оценки (таблица ).
Четыре уровня оценки обучения Д. Киркпатрика
|
Уровни |
Что оценивается |
Ключевые вопросы |
|
Уровень 1: |
Как участники реагируют на обучающее событие | Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками? |
|
Уровень 2: |
Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия | Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения? |
|
Уровень 3: |
Как участники применяют на рабочем месте то, что они узнали во время обучения | Изменили ли участники свое поведение на рабочем месте после обучения? |
|
Уровень 4: |
В какой степени по итогам обучения достигнуты намеченные результаты | Оказывают ли изменения в поведении участников положительное влияние на организацию? |
Первые статьи Киркпатрика стимулировали дальнейшие исследования в области оценки эффективности обучения (в основном на уровнях 1 и 2). В 1970-е годы четыре уровня Киркпатрика уже широко использовались многими организациями во всем мире, со временем они были оформлены в целостную модель оценки (Four Levels TM Evaluation Model) и приняты в качестве стандарта для оценки профессионального обучения. На протяжении 1980-х было разработано множество различных оценочных методов и инструментов, но внимание практиков по-прежнему концентрировалось на уровнях 1 и 2.
Только в 2005 году Дональд Киркпатрик предложил инструментарий для оценки уровня 3 (поведение), который описал в книге «От обучения к поведению» (Transferring Learning to Behavior) - в соавторстве с сыном Джимом (Dr. James D. Kirkpatrick). Обеспечение эффективного применения результатов обучения в реальной деятельности (перенос знаний и навыков) и сегодня продолжает оставаться одной из самых важных задач для многих обучающих организаций.
|
Изменения последних лет:
|
В 2006 году, в третьем издании книги «Оценка тренинговых программ» (Evaluating Training Programs), Киркпатрик значительно расширил сферу применения модели, базирующейся на четырех уровнях. Теперь основной акцент в ней делается на уровне 4 (результаты), поэтому модель может использоваться для оценки эффективности как программ обучения, так и процесса управления изменениями, и кроме того - для демонстрации ценности для бизнеса функции обучения в целом . Что важно, был пересмотрен алгоритм работы с моделью: сейчас предлагается начинать оценку «сверху» - с уровня 4, после чего последовательно продвигаться «вниз» - к менее сложным уровням (рис. 1 ). По мнению автора, это позволит сосредоточить усилия специалистов по обучению на достижении запланированных бизнес-результатов и поддержке необходимого поведения.
Нажмите на изображение для увеличения
Рис. 1. Измененная модель Киркпатрка: «Конец - это начало»
В 2007 году Дональд и Джим Киркпатрики развили свои идеи в работе «Применение четырех уровней» (Implementing the Four Levels), в которой предложили практикам принципиально новый подход: формирование «цепочки доказательств» (chain of evidence) для руководителей. Этот алгоритм позволяет специалистам по обучению собрать убедительные свидетельства, помогающие показать топ-менеджерам, какая ценность создается для бизнеса.
Алгоритм «цепочка доказательств»:
- концентрирует внимание руководителей на уровнях 3 и 4, где речь идет о влиянии обучения на достижение запланированных результатов и создании ценности для бизнеса;
- помогает использовать модель четырех уровней для измерения полученного результата , причем - на всех этапах, начиная с момента возникновения инициативы по обучению.
В этом его принципиальное отличие от традиционного подхода, в большей степени оценивающего эффективность процесса обучения (поскольку он сфокусирован на уровнях 1 и 2, внимание менеджеров в основном сосредоточено на затратах на обучение ).
По мнению разработчиков новой концепции, для того чтобы гарантировать результаты, необходимо еще до начала обучения определить:
- ожидаемые результаты;
- ключевые показатели;
- методы измерения и оценки.
И это еще не все изменения! Авторы добавили в модель еще один - пятый уровень оценки (уровень 5: «Рентабельность инвестиций»). Оценка эффективности обучения на этом уровне позволяет получить ответ на ключевой для бизнеса вопрос: «А стоило ли тратить деньги на обучение»?
|
Сильные стороны модели Киркпатрика (с точки зрения экспертов):
Ограничения модели:
|
Модель Киркпатрика успешно работает уже более 50 лет. Но существенные изменения в методах управления и организации бизнеса потребовали переосмысления роли функции обучения в организации. В то же время, как отмечают Киркпатрики, многие специалисты по обучению до сих пор не готовы принять на себя ответственность за все, что выходит за рамки подготовки и реализации учебных программ (особенно за результаты, которые прошедшие обучение люди демонстрируют на рабочих местах).
Продолжая творчески развивать свой подход, Джим Киркпатрик - теперь уже в соавторстве с женой Венди (Wendy Kayser Kirkpatrick) написал книгу Training on Trial: How Workplace Learning Must Reinvent Itself to Remain Relevant. Фактически это «руководство по изменениям» для корпоративных тренеров и специалистов тренинговых компаний. Эксперты настоятельно рекомендуют практикам в условиях кризиса:
- переосмыслить свою роль;
- активно расширять сферы своей компетентности за счет приобретения опыта работы в бизнес-подразделениях;
- усиливать свое влияние за пределами учебных аудиторий - предлагать решения, которые приносят ощутимые (измеримые) бизнес-результаты.
Но пока изменения «в головах» внутренних и внешних тренеров происходят очень медленно: многие из них все еще пытаются доказать свою незаменимость, используя показатели «уровень посещаемости» и «данные об оценках» (уровень 1), а также «результаты тестирования» (уровень 2). При этом бенчмаркинговые исследования убедительно демонстрируют: тот, кто начинает с уровня 1, очень редко доходит до самых высоких уровней оценки.
Авторы убеждены: подобное упорство специалистов по обучению наглядно иллюстрирует живучесть мифа о том, что само по себе участие в обучающем мероприятии автоматически способствует улучшению бизнес-результатов (уровень 4). Но сегодня стейкхолдеры расценивают подобную «наивность» как свидетельство неадекватности, что буквально провоцирует их задаться вопросами: «Сколько стоит это удовольствие? Какую пользу приносит?».
Джим и Венди Киркпатрики считают, что ситуация с репутацией функции обучения в глазах менеджеров очень серьезна. Чтобы исправить положение, специалистам по обучению уже недостаточно «просто» разрабатывать новые программы и методы обучения - сегодня они должны изменить принципы своей работы, научиться создавать реальные ценности для бизнеса и убедительно демонстрировать важность этих ценностей .
Авторы предлагают новый принцип, который поможет в корне пересмотреть подход к планированию и разработке обучающих программ: «Конец - это начало!» В качестве исходного пункта они советуют тренерам обсудить с руководителями:
1) ожидания бизнес-лидеров;
2) их понимание успеха (как желаемый результат «будет выглядеть»);
3) какие наблюдаемые и измеримые показатели успеха будут использоваться для оценки результата (уровень 4).
Итогом работы на этом этапе должны стать наборы HR-метрик, на основе которых рассчитывается новый показатель: возврат на ожидания - return on expectations, ROE (по аналогии с ROI - возврат на инвестиции). Затем специалисты по обучению должны обсудить с руководителями среднего звена, какое именно поведение критически важно для того, чтобы добиться намеченных результатов (уровень 3). Только после этого они могут приступить к проектированию учебных мероприятий (уровни 1 и 2), которые обеспечат формирование критически важных сценариев поведения сотрудника, необходимых для повышения его эффективности на рабочем месте.
Лишь на этой основе можно обеспечить:
- эффективное применение новых навыков и закрепление изменений в поведении на рабочем месте (уровень 3);
- достижение бизнес-целей (уровень 4);
- реализацию задач в области управления талантами (уровень 4).
Таким образом, метрики уровня 4 становятся краеугольным камнем в определении объема ответственности всех заинтересованных сторон. В свою очередь, четкое разграничение сфер ответственности является базовым условием для успешной реализации модели бизнес-партнерства.
Еще одно усовершенствование Д. Киркпатрика - разработка новой «Модели достижения целей». Особое место в ней занимают «драйверы» (или «усилители»). Драйверами выступают все процессы и системы (рис. 2 ), которые:
- усиливают действия (поведение);
- контролируют процедуры (мониторинг);
- вознаграждают демонстрацию критически важного поведения на рабочем месте.
Рис. 2. Драйверы («усилители») - поощряют или препятствуют закреплению новых поведенческих моделей
Эффективное выполнение рабочих задач обеспечивает совместное воздействие процесса оценки поведения (уровень 3) и драйверов. Без этой поддержки успешно применяется на практике всего около 15% новых знаний, навыков и установок, что снижает ценность обучения для бизнеса.
Новая «Модель достижения целей» Киркпатрика также позволяет специалистам выйти за рамки собственно обучения. Она помогает людям разрабатывать планы достижения целей, предусматривающие конкретные мероприятия/ действия (и измерение эффективности на всех четырех уровнях). Поэтапное планирование, ясное представление о конечных целях/ результатах, тщательный мониторинг выполнения мероприятий плана и объективная оценка каждого этапа процесса повышают вероятность достижения успеха.
Кроме того, модель Киркпатрика предоставляет консультантам в области обучения и провайдерам консалтинговых услуг методологию и инструментарий для того, чтобы они могли убедительно продемонстрировать своим клиентам, какие результаты получатся при реализации предлагаемых программ обучения и развития.
Новые разработки семьи Киркпатриков дают эйчарам эффективные инструменты, позволяющие им действительно стать бизнес-партнерами, наглядно продемонстрировать силу бизнес-партнерства тренеров, линейных руководителей и топ-менеджеров. (Опросник Д. Киркпатрика «Бизнес-партнерство» см. в приложении ).
|
Приложение Опросник «Бизнес-партнерство» (Kirkpatrick SM) Шкала оценки:
Интерпретация результатов Чтобы оценить, насколько хорошо отвечающее за обучение подразделение (специалист) соответствует интересам бизнеса, используйте шкалу:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Среди специалистов в области обучения и менеджеров широко распространен упрощенный взгляд на обучение. Этот подход породил ряд мифов, устойчиво циркулирующих среди менеджеров: Миф 1: «Каждый, кто когда-нибудь чему-нибудь учился, является экспертом в области обучения». На самом деле: Обучающее мероприятие/тренинг - это поведенческое и когнитивное событие, которое может быть структурировано и исследовано эмпирически. Существует специальная научная дисциплина, достижения которой должны использоваться для оптимизации плана обучающих программ. Разработаны методы и процедуры, правильное и последовательное применение которых способствует повышению эффективности обучения. Миф 2: «Эксперты могут определить потребности в обучении». На самом деле: Личного опыта экспертов не всегда достаточно; чтобы понять истинные потребности в обучении, необходимо собрать данные из многих источников. Эксперты в определенной предметной области не обязательно понимают суть и особенности процесса обучения. Привлекать экспертов в предметных областях очень важно, однако они должны работать в партнерстве со специалистами по обучению. Миф 3: «Реакция на обучение = обучение». На самом деле: Если слушателям весело, это не означает, что они чему-то научатся. «Инструментальность» обучения слабо связана с его эффективностью, но оказывает влияние на мотивацию обучаемых. Простые методы измерения результатов обучения недостаточны для оценки качества подготовки. Миф 4: «Обучение непосредственно (само по себе) ведет к изменению поведения». На самом деле: Перенос навыков на рабочее место - очень сложный процесс, на который влияет множество факторов, например: поддержка руководителя и коллег, культура обучения в компании, возможности для применения новых знаний/навыков на практике и т. п. Даже если слушатели демонстрируют хорошие результаты обучения после завершения учебной программы, это не означает, что они смогут успешно применить новые знания и навыки на своем рабочем месте. |
Зачем оценивать обучение?
В статье «Методы оценки тренинговых программ» (Techniques for Evaluating Training Programs) Дон Киркпатрик писал: «Я бы рекомендовал директорам по обучению проявлять инициативу в оценке учебных программ - до того, как придет день расплаты». Что удивительно, так это дата написания статьи в ASTD Journal - ноябрь 1959 года! За прошедшие полвека тезис о том, что процесс обучения, затраты на него и результаты должны оцениваться, казалось бы, стал банальностью. Но, несмотря на это, поэтапная оценка обучения, к сожалению, так и не изменила «модус вивенди» корпоративных тренеров.
- усовершенствование учебных программ;
- повышение эффективности подготовки сотрудников;
- демонстрация ценности функции обучения для топ-менеджеров.
Традиционно усилия специалистов по обучению были сфокусированы на наиболее очевидных результатах: эмоциональной реакции участников после завершения тренинговой программы. К сожалению, многие из сложившихся практик не соответствуют требованиям и нуждаются в усовершенствовании.
|
Чтобы проанализировать мнение участников о программе обучения (Уровень 1: «Реакция»), тренеры разработали множество инструментов. Их называют по-разному: «анкеты комментариев», «анкеты реакции», «листы улыбок» или «листы счастья» и т. п. Какой же должна быть форма, которая позволит получить максимум информации и в то же время потребует минимум ресурсов? Предлагаем несколько советов.
Можно начинать с отрицательных или положительных отзывов - это не принципиально.
Почему обязательно следует разрабатывать специальную форму? Во-первых , речь идет о клиентах (не имеет значения, внутренних или внешних), поэтому важно, чтобы они остались довольны программой. Некоторые коллеги, руководители или будущие участники учебных программ, наверное, спросят у тех, кто уже прошел обучение: «Что вы думаете об этом курсе?» Трудно представить себе. Какой урон будет нанесен функции обучения, если люди будут давать негативные отзывы о приобретенном опыте: «Только зря потерял время!», «Ничего, что пригодилось бы в работе» или «Откажитесь от этого, если сможете»… Во-вторых , скорее всего, негативно окрашенные слухи дойдут до кого-то из топ-менеджеров. Последствия этого могут стать трагическими для отдела обучения: скорее всего, руководитель не станет утруждать себя анализом общего мнения о курсе, а сделает вывод о его неэффективности (со всеми вытекающими последствиями). Поэтому поинтересоваться мнением участников важно в первую очередь для самих тренеров! Фрагмент из книги «Четыре ступеньки к успешному тренингу», Дональд Л. Кирпатрик и Джеймс Д. Кирпатрик, М. - Эйч Ар Медиа, 2008. |
С усложнением условий ведения бизнеса (рост конкуренции, увеличение роли человеческого фактора, финансовый кризис и т. д.) предприятия все больше стремятся к сокращению расходов и финансированию мероприятий, которые дают прогнозируемые результаты и наивысшую отдачу. В конечном итоге:
- Топ-менеджеры требуют оценить эффективность обучения на более высоких уровнях - Уровень 3: «Поведение» и Уровень 4: «Результаты».
- Многие компании отказываются от учебных программ, ценность которых не может быть обоснована с финансовой точки зрения (и, к сожалению, «до улучшения ситуации» увольняют специалистов по обучению персонала).
Это говорит о том, что сегодня в серьезной опасности оказались уже не отдельные тренеры/ тренинговые компании - во многих случаях под сомнение ставится необходимость самой функции обучения! Разрабатывая «стратегию спасения», Киркпатрики предлагают тренерам срочно изменять свое представление о мире бизнеса и осваивать в организации новые роли. Важнейшие условия изменения:
- выявлять потребности бизнеса;
- достигать практических (!), не просто выдающихся (!), но превосходящих ожидания (!) результатов;
- оценивать (в цифрах) свой вклад в достижение успеха и развитие компании и убедительно демонстрировать его всем ключевым заинтересованным сторонам.
Самое главное для тренеров - научиться действовать в «проектной рамке», как это принято в других функциях: предоставлять экономическое обоснование для получения средств (инвестиций) на проекты, заблаговременно планировать и бюджетировать их реализацию.
__________
* ASTD Journal
- журнал Американской ассоциации обучения и развития (American Society for Training & Development, ASTD)
Статья предоставлена нашему порталу
редакцией журнала
То, что произошло с американцем Дональдом Кирпатриком, бывает довольно редко. Полвека назад он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки "по Киркпатрику".
Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки тренингов остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность; был президентом одного из самых авторитетных профессиональных объединений тренеров и консультантов в мире – American Research and Development Society (ARSD). Сегодня Дональд Киркпатрик продолжает заниматься общественной работой и поддерживает контакты с профессиональным сообществом. Он продолжает публиковать статьи и выступать с лекциями и семинарами на крупнейших форумах.
Итак, что же предложил Киркпатрик?..
Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов :
- Определение потребностей.
- Постановка целей.
- Определение предметного содержания.
- Выбор участников обучения.
- Формирование оптимального расписания.
- Подбор соответствующего помещения.
- Подбор соответствующих преподавателей.
- Подготовка аудиовизуальных средств.
- Координация программы.
- Оценка программы.
- Оправдать существование отдела обучения, показав, какой вклад делает этот от-дел в достижение целей и задач организации.
- Принять решение о том, продолжать или прекратить тренинговую программу.
- -Получить информацию о том, как улучшить тренинговую программу в будущем.
Сам Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность тренинга, какими способами можно его улучшить . В связи с этим предлагается ответить на следующие 8 вопросов:
- В какой мере содержание тренинга соответствует потребностям участников?
- Является ли выбор преподавателя (Киркпатрик использует здесь слово "лидер", которое по-русски имеет совершенно другое значение) оптимальным?
- Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
- Являются ли условия для проведения обучения удовлетворительными?
- Устраивает ли участников расписание занятий?
- Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
- Была ли координация программы удовлетворительной?
- Что еще может быть сделано для улучшения программы?
Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы "да" или "нет"). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда. Однако мы придерживаемся авторского текста.
Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга – изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что
- ее не считают срочной или важной,
- никто не знает, как ее провести,
- руководство не требует этого,
- люди чувствуют себя в безопасности и не видят нужды "копать" глубже,
- есть много вещей, которые для них более важны или которыми они предпочитают заниматься.
Четыре уровня Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным" (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:
- Уровень 1 – Реакция (Reaction)
- Уровень 2 – Научение (Learning)
- Уровень 3 – Поведение (Behavior)
- Уровень 4 – Результаты (Results)
Реакция
Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей . В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам .
- Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
- Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
Научение
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
Поведение
На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен . Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий :
- Желание участников изменить поведение.
- Наличие у участников знаний о том, что и как делать.
- Наличие соответствующего социально-психологического климата.
- Поощрение участников за изменение поведения.
Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата – вовлечение руководителей в разработку учебных программ .
Результаты
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.
Киркпатрик настаивает на том, что результаты не следует измерять в деньгах . Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Киркпатрик пишет: " Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции".
По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
- если возможно, использовать контрольную группу (не проходившую обучение),
- проводить оценку через некоторое время, чтобы результаты стали заметны,
- проводить оценку до и после программы (если это возможно),
- провести оценку несколько раз в ходе программы,
- сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).
Как построена книга Киркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.
Книга разделена на две неравные части. Первая – описание 4-уровневой модели, теория (примерно 70 страниц). Вторая часть (около 200 страниц) – подробный разбор нескольких конкретных случаев (case studies) и примеры инструментов, используемых для проведения оценки на разных уровнях.
По материалам информационного бюллетеня компании «Процесс Консалтинг» (processconsulting.ru/bulletin1.pdf)
Загрузка...
