Чотирикрокова модель оцінки результатів навчання Дональда Кіркпатріка. Модель оцінки ефективності навчання Д. Кіркпатріка Що написав Кіркпатрік

Тип терміну: Definition

Термін:Модель Кіркпатріка

Альтернативні терміни: -

Короткий опис:Модель Кіркпатріка – чотирирівнева модель оцінки ефективності навчання

Довгий опис:

Модель Кіркпатріка- чотирирівнева модель оцінки ефективності навчання:

Реакція (емоційний рівень)

Засвоєння (рівень знань)

Поведінка (рівень навичок)

Результат

Реакція (емоційний рівень)- емоційна оцінка навчання учасниками . З одного боку, позитивна реакція як така не має великого значення, оскільки тренінг, що "сподобався", аж ніяк не означає "ефективний тренінг". Він може жодним чином не змінити учасників. З іншого боку, не варто недооцінювати цей фактор: задоволеність тренінгом – це зацікавленість, увага та позитивний настрій учасників, необхідних для успішного навчання.

Засвоєння (рівень знань)показує, які знання, навички, техніки та методи засвоєні учасниками тренінгу. Набуття нових знань є важливим, але недостатнім результатом тренінгу. Щоб здобути знання, не обов'язково проходити тренінг – достатньо прочитати книгу чи відвідати лекцію. До того ж, саме собою набуття нових знань, без уміння та бажання їх застосовувати, часто не впливає на ефективність роботи людини. Більш цінним результатом тренінгу може бути отримання учасниками «усвідомлень», про «інсайтів», коли учасник тренінгу отримує якесь знання немає від тренера, а результаті аналізу досвіду, отриманого під час будь-якої вправи.

Поведінка (рівень навичок) -зміна поведінки учасника у робочій ситуації, застосування їм здобутих навичок у робочих умовах. Зміна поведінки показує, що учасники практично застосовують знання і навички, отримані на тренінгу. Це найважливіший показник ефективності, оскільки основна мета тренінгу – покращення бізнес-показників шляхом удосконалення поведінки учасників. Адже нові знання та вміння марні, якщо їх не застосовувати.

Результат- виявляються вимірні результати (наприклад, покращення якості обслуговування, зменшення нераціональних витрат тощо). У компаніях зазвичай є дані про ключові, інтегральні бізнес-показники, такі, як обсяг продажів, прибуток, витрати. Зрозуміло, що проведений тренінг не є єдиним фактором, який впливає на ці показники, є багато інших чинників, як зовнішніх, так і внутрішніх. І точно виміряти внесок тренінгу, наприклад, у збільшення обсягу продажів досить складно, особливо якщо це був тренінг за лідерськими навичками або за навичками самоорганізації. Витрати на дослідження цього показника можуть багаторазово перевищувати вартість самих тренінгів, тому цей рівень оцінки рекомендується проводити лише у разі проведення довгострокових та дорогих програм.

Міркування про модель Кіркпатрика, оцінку ефективності навчання, регресійний аналіз та, головне, відношення HR-а до цього.

Ми розглядали сьогодні регресійний аналіз. Було при цьому максимально 25 чоловік. Що дуже мало для нашого порталу.

Якби вебінар був на тему Модель Кіркпатрика, запевняю вас, було б людина 90-120. Чому так? Я не відповідатиму прямо, щоб не образити ринок, а розважаю.

Модель Кіркпатріка

Коли мова заходить про практичне застосування моделі Кіркпатрика, то HR зазвичай кажуть: ми оцінюємо перший рівень… а ми вже другий… а ми ще й третій…

У цей момент хочеться тупо спитати: …і?

У нашому випадку модель виглядає так

Критерій ефективності = Ф1 + Ф2 + Ф3 і т.п.

У випадку з моделлю Кіркпатрика критерієм ефективності виступають економічні фактори, хоча Кіркпатрік відійшов від цього і крім економічних метрик (hard) пропонує не економічні (soft): такі як покращення процесів, організаційної культури тощо… Це, безумовно, від безвиході. Можна як завгодно називати це, але просто за змінами корпоративної культури частіше стоять лише опитування персоналу. Але нам треба по модному назвати це виміром корпоративної культури.

Отже

Найчастіше за критерієм ефективності у нас стоятимуть лише опитування експертів – це найдоступніша процедура.

Або, що краще – рівень продажів, рівень помилок, обсяг виконуваних робіт тощо… - тобто. якийсь речовий результат

А ось решта факторів – зворотний зв'язок, мотивація, рівень знань, навички – є вкладом у ці критерії. І наше завдання побачити зв'язок (або його відсутність) між цими факторами та критеріями ефективності.

Як нам допомагає у цьому модель Кіркпатрик? Хріновасто, прямо треба сказати. У кращому разі ми самі (а ніяк не з вказівки Кіркпатріка) міряємо кореляцію між рівнями моделі. Але це нам мало допомагає

Регресійний аналіз

Більше того, у моделі регресійного аналізу факторів може бути різна кількість. На цьому тлі смішний виглядає дискусію про перший рівень моделі Кіркпатріка: чи має бути це зворотний зв'язок чи внутрішня мотивація співробітників. У регресійному аналізі і те, й інше можливо, причому рівень визначається вагою фактора. І, наприклад, зворотний зв'язок може бути взагалі незначимий, і це означає, що в даному конкретному випадку вимірювати його не має сенсу.

Чи не, ну класно ж?

Чому ні

Я опущу тут знову критику у бік HR, щоб не виглядати таким собі теоретиком, який сильний тільки у своєму блозі. Безумовно, регресійний аналіз потребує більших ресурсів, ніж Модель Кіркпатрика. Безумовно, регресійний аналіз вимагає скілси від HR вищого рівня, ніж для роботи з моделлю Кіркпатріка.

Можна нарікати з цього приводу, а можна діагносцювати галузь HR: у маркетингу незнання статистичних методів вже моветон, в економіці статистика застосовується на робочому рівні. І представники маркетингу, економісти не обговорюють питання, чи можуть вони бути бізнес-партнерами. Це питання стоїть у HR.

Може, ми станемо бізнес партнерами, коли освоїмо регресійний аналіз замість іграшок типу моделі Кіркпатріка?

Модель Кіркпатріка

1) р еакції.Учасники тренінгу позитивно реагують на тренінг безпосередньо після завершення;

учасники тренінгу позитивно реагують на його завершення 🙂

2) з ня.Учасники вивчили матеріал тренінгу;

3) п оведіння.Учасники застосовують на роботі те, що вони вивчили під час тренінгу;

4) ROE.Тренінг має позитивні результати для організації;

Критика моделі Кіркпатріка:

Існує кілька аргументів, що критикують модель Кіркпатріка. По-перше, останні дослідження, здійснені Елвудом Холтоном та Джорджем Аллігером, кидають тінь сумніву на ієрархічний аспект моделі. Їхні дослідження показали, що кореляції між рівнями ієрархії Кіркпатрика або малі, або несуттєві. По-друге, коли з тренінговою програмою щось не таке (низький трансфер), модель не визначає причину проблеми і що з нею робити. По-третє, модель не враховує інших змінних, таких як мотивація учасників, самоефективність або умови організації. По-четверте, модель не має високого ступеня точності. Наприклад, другий рівень, «знання», не визначає – це декларативні знання чи процедурні. Також складно виміряти перший рівень «реакції»: учасники можуть тренінг ненавидіти, отримувати від нього задоволення, він їм може подобатися, здатися приємним, нудним, цікавим. Але найголовніший аргумент, полягає в тому, що за моделлю Кіркпатрика, оцінка будь-якого тренінгу повинна ґрунтуватися на одних і тих самих змінних. Сучасний погляд на оцінку ефективності тренінгу передбачає, що методи оцінки повинні вибиратися виходячи з цілей оцінки.

Без оцінки ефективності процесу навчання неможливо побудувати систему навчання та розвитку, що забезпечує необхідні бізнес-результати. Потенціал найпоширенішої моделі оцінки – Д. Кіркпатрика поки що, на жаль, не повністю використовується практиками. А з особливостями її останньої версії більшість наших HR менеджерів зовсім не знайома.

1954 року Дональд Кіркпатрік (Donald Kirkpatrick) захистив кандидатську дисертацію в Університеті штату Вісконсін (США) на тему «Оцінка ефективності управління програмами». Він запропонував коротку формулу для опису циклу навчання: реакція - навчання - поведінка - результати. Поділ процесу навчання на етапи допоміг пояснити, як забезпечити застосування нових навичок на робочому місці, без чого не можна досягти бажаних результатів. Крім того, практики отримали інструменти для оцінки ефективності кожного етапу навчання. У 1959 році Д. Кіркпатрік написав цикл статей для ASTD Journal*, в яких чітко сформулював критерії для всіх чотирьох рівнів оцінки ( таблиця).

Чотири рівні оцінки навчання Д. Кіркпатріка

рівні	Що оцінюється	Ключові питання
Рівень 1: «Реакція»	Як учасники реагують на навчальну подію	Чи сподобався учасникам навчання? Що вони планують робити з новими знаннями та навичками?
Рівень 2: «Навчання»	Наскільки учасники засвоїли знання, навички та сформували необхідні відносини після завершення навчального заходу	Які навички, знання, налаштування змінилися після навчання? Наскільки значними є ці зміни?
Рівень 3: "Поведінка"	Як учасники застосовують на робочому місці те, що вони дізналися під час навчання	Чи змінили учасники свою поведінку на робочому місці після навчання?
Рівень 4: «Результати»	Наскільки за підсумками навчання досягнуто намічені результати	Чи надають зміни у поведінці учасників позитивний вплив на організацію?

Перші статті Кіркпатрика стимулювали подальші дослідження щодо оцінки ефективності навчання (в основному на рівнях 1 і 2). У 1970-ті роки чотири рівні Кіркпатрика вже широко використовувалися багатьма організаціями у всьому світі, згодом вони були оформлені в цілісну модель оцінки (Four Levels TM Evaluation Model) і прийняті як стандартуз метою оцінки професійного навчання. Протягом 1980-х було розроблено безліч різних оціночних методів та інструментів, але увага практиків, як і раніше, концентрувалася на рівнях 1 і 2.

Тільки в 2005 році Дональд Кіркпатрік запропонував інструментарій для оцінки рівня 3 (поведінка), який описав у книзі «Від навчання до поведінки» (Transferring Learning to Behavior) – у співавторстві із сином Джимом (Dr. James D. Kirkpatrick). Забезпечення ефективного застосування результатів навчання у реальній діяльності (перенесення знань та навичок) і сьогодні продовжує залишатися одним із найважливіших завдань для багатьох навчальних організацій.

Зміни останніх років: Кількість та якість досліджень у сфері навчання та розвитку людських ресурсів постійно зростає. Для практиків пропонується все більше підходів, методів та інструментів. Справжню революцію зробило застосування у сфері навчання та розвитку понять когнітивної психології та концепції організаційного розвитку. Область навчання та розвитку стає міждисциплінарною. Широке використання сучасних технологій радикально змінює наші уявлення не лише про форми та види, а й про сутність, і навіть про мету навчання. Функція навчання визнана невід'ємною (і найважливішою) частиною організаційної системи.

У 2006 році, у третьому виданні книги Оцінка тренінгових програм (Evaluating Training Programs), Кіркпатрік значно розширив сферу застосування моделі, що базується на чотирьох рівнях. Тепер основний акцент у ній робиться на рівні 4 (результати), тому модель може використовуватися для оцінки ефективності як програм навчання, так і процесу управління змінами, та крім того - для демонстрації цінності для бізнесу функції навчання загалом. Що важливо, було переглянуто алгоритм роботи з моделлю: зараз пропонується розпочинати оцінку «зверху» - з рівня 4, після чого послідовно просуватися «вниз» - до менш складних рівнів ( Мал. 1). На думку автора, це дозволить зосередити зусилля фахівців щодо навчання на досягненні запланованих бізнес-результатів та підтримці необхідної поведінки.

Натисніть на зображення для збільшення

Мал. 1. Змінена модель Кіркпатрка: «Кінець – це початок»

У 2007 році Дональд та Джим Кіркпатрікі розвинули свої ідеї в роботі «Застосування чотирьох рівнів» (Implementing the Four Levels), в якій запропонували практикам принципово новий підхід: формування «ланцюжка доказів»(chain of evidence) для керівників. Цей алгоритм дозволяє фахівцям із навчання зібрати переконливі свідчення, які допомагають показати топ-менеджерам, яка цінність створюється для бізнесу.

Алгоритм «ланцюжок доказів»:

• концентрує увагу керівників на рівнях 3 та 4, де йдеться про вплив навчання на досягнення запланованих результатів та створення цінності для бізнесу;
• допомагає використовувати модель чотирьох рівнів для вимірювання отриманого результату, причому - всіх етапах, починаючи з виникнення ініціативи з навчання.

У цьому його принципова відмінність від традиційного підходу, що більшою мірою оцінює ефективність процесу навчання(оскільки він сфокусований на рівнях 1 і 2, увага менеджерів в основному зосереджена на витратах навчання).

На думку розробників нової концепції, для того, щоб гарантувати результати, необхідно ще до початку навчаннявизначити:

• Очікувані результати;
• ключові показники;
• методи вимірювання та оцінки.

І це ще не всі зміни! Автори додали в модель ще один – п'ятий рівень оцінки (рівень 5: «Рентабельність інвестицій»). Оцінка ефективності навчання на цьому рівні дозволяє отримати відповідь на ключове для бізнесу питання: «Чи варто було витрачати гроші на навчання»?

Сильні сторони моделі Кіркпатріка (з погляду експертів): легкість розуміння - всім людей, як фахівців у сфері навчання; гарне опрацювання; широке використання (у промисловості, у вузах та ін.); основа розробки інших моделей оцінки (наприклад, рівні Кауфмана і Келлера, модель ROI Філіпса та інших.). Обмеження моделі: надто спрощений підхід; не доведено причинно-наслідковий зв'язок між різними рівнями; рівні 1 і 2 можуть поєднуватися, тоді можливі помилкові висновки; багато організацій реалізують програми навчання, що відповідають лише рівням 1 і 2, ігноруючи необхідність формування поведінкових моделей, які потрібні для перенесення навичок та знань у робочі ситуації; рівні оцінки не виходять за рамки навчання (не включають заходів щодо підвищення продуктивності).

Модель Кіркпатріка успішно працює вже понад 50 років. Але суттєві зміни у методах управління та організації бізнесу зажадали переосмислення ролі функції навчанняв організації. У той же час, як зазначають Кіркпатрики, багато фахівців з навчання досі не готові взяти на себе відповідальність за все, що виходить за рамки підготовки та реалізації навчальних програм (особливо за результати, які люди, які пройшли навчання, демонструють на робочих місцях).

Продовжуючи творчо розвивати свій підхід, Джим Кіркпатрік - тепер уже у співавторстві з дружиною Венді (Wendy Kayser Kirkpatrick) написав книгу Training on Trial. Фактично це «посібник зі змін» для корпоративних тренерів та фахівців тренінгових компаній. Експерти наполегливо рекомендують практикам в умовах кризи:

• переосмислити свою роль;
• активно розширювати сфери своєї компетентності за рахунок набуття досвіду роботи у бізнес-підрозділах;
• посилювати свій вплив за межами навчальних аудиторій – пропонувати рішення, що приносять відчутні (вимірні) бізнес-результати.

Але поки що зміни «в головах» внутрішніх та зовнішніх тренерів відбуваються дуже повільно: багато хто з них все ще намагається довести свою незамінність, використовуючи показники «рівень відвідуваності» та «дані про оцінки» (рівень 1), а також «результати тестування» (рівень) 2). При цьому бенчмаркінгові дослідження переконливо демонструють: той, хто починає з рівня 1, дуже рідко сягає найвищих рівнів оцінки.

Автори переконані: подібна завзятість фахівців з навчання наочно ілюструє живучість міфу про те, що сама по собі участь у навчальному заході автоматично сприяє покращенню бізнес-результатів (рівень 4). Але сьогодні стейкхолдери розцінюють подібну «наївність» як свідчення неадекватності, що буквально провокує їх поставити запитання: «Скільки коштує це задоволення? Яку користь приносить?».

Джим та Венді Кіркпатрікі вважають, що ситуація з репутацією функції навчання в очах менеджерів дуже серйозна. Щоб виправити становище, спеціалістам з навчання вже недостатньо «просто» розробляти нові програми та методи навчання – сьогодні вони мають змінити принципи своєї роботи, навчитися створювати реальні цінності для бізнесу та переконливо демонструвати важливість цих цінностей.

Автори пропонують новий принцип, який допоможе докорінно переглянути підхід до планування та розробки навчальних програм: «Кінець – це початок!» Як вихідний пункт вони радять тренерам обговорити з керівниками:

1) очікування бізнес-лідерів;
2) їх розуміння успіху (як бажаний результат «виглядатиме»);
3) які спостерігаються та вимірні показники успіху будуть використовуватися для оцінки результату (рівень 4).

Підсумком роботи на цьому етапі мають стати набори HR-метрик, на основі яких розраховується новий показник: повернення на очікування – return on expectations, ROE (за аналогією з ROI – повернення на інвестиції). Потім фахівці з навчання повинні обговорити з керівниками середньої ланки, яка саме поведінка є критично важливою для того, щоб досягти намічених результатів (рівень 3). Лише після цього вони можуть розпочати проектування навчальних заходів (рівні 1 та 2), які забезпечать формування критично важливих сценаріїв поведінки співробітника, необхідних для підвищення його ефективності на робочому місці.

Лише на цій основі можна забезпечити:

• ефективне застосування нових навичок та закріплення змін у поведінці на робочому місці (рівень 3);
• досягнення бізнес-цілей (рівень 4);
• реалізацію завдань у галузі управління талантами (рівень 4).

Таким чином, метрики рівня 4 стають наріжним каменем визначення обсягу відповідальності всіх зацікавлених сторін. У свою чергу чітке розмежування сфер відповідальності є базовою умовою для успішної реалізації моделі бізнес-партнерства.

Ще одне удосконалення Д. Кіркпатріка – розробка нової «Моделі досягнення цілей». Особливе місце у ній посідають «драйвери» (або «підсилювачі»). Драйверами виступають усі процеси та системи ( Мал. 2), які:

• посилюють дії (поведінка);
• контролюють процедури (моніторинг);
• винагороджують демонстрацію критично важливої ​​поведінки на робочому місці.

Мал. 2. Драйвери («підсилювачі») – заохочують або перешкоджають закріпленню нових поведінкових моделей

Ефективне виконання робочих завдань забезпечує спільну дію процесу оцінки поведінки (рівень 3) та драйверів. Без цієї підтримки успішно застосовується на практиці лише близько 15% нових знань, навичок та установок, що знижує цінність навчання для бізнесу.

Нова «Модель досягнення цілей» Кіркпатрик також дозволяє фахівцям вийти за рамки власне навчання. Вона допомагає людям розробляти плани досягнення цілей, що передбачають конкретні заходи/дії (і вимірювання ефективності всіх чотирьох рівнях). Поетапне планування, ясне уявлення про кінцеві цілі/результати, ретельний моніторинг виконання заходів плану та об'єктивна оцінка кожного етапу процесу підвищують ймовірність досягнення успіху.

Крім того, модель Кіркпатріка надає консультантам у галузі навчання та провайдерам консалтингових послуг методологію та інструментарій для того, щоб вони могли переконливо продемонструвати своїм клієнтам, які результати вийдуть під час реалізації запропонованих програм навчання та розвитку.

Нові розробки сім'ї Кіркпатріков дають ейчарам ефективні інструменти, що дозволяють їм справді статибізнес-партнерами, наочно продемонструвати силу бізнес-партнерства тренерів, лінійних керівників та топ-менеджерів. (Опитувач Д. Кіркпатрика «Бізнес-партнерство» див. додатку).

додаток Опитувальник "Бізнес-партнерство" (Kirkpatrick SM) Шкала оцінки: низький – рідко відповідає; середній – іноді відповідає; високий – відповідає завжди (або майже завжди). Твердження Оцінка (рівень) Низький Середній Високий 1 Наша функція навчання часто отримує обґрунтовані прохання про допомогу від лінійних бізнес-лідерів, пов'язані із завданнями, потребами чи можливостями для розвитку бізнесу. 2 У нас є процеси, які дозволяють визначити, чи пов'язані запити з боку бізнесу з необхідністю у професійній підготовці (або з іншими проблемами) 3 Наші процеси розробки навчальних програм добре узгоджені з потребами бізнесу 4 Збираючи інформацію для оцінки потреб у навчанні від внутрішніх клієнтів (бізнес-стейкхолдерів), для ключових ініціатив, ми з'ясовуємо «як виглядатиме успіх» 5 Ми залучаємо експертів у предметних галузях до розробки та розвитку програм 6 До початку програм професійної підготовки лінійні менеджери обговорюють з учасниками навчання очікування та перспективи використання результатів повернення на роботу. 7 Ми залучаємо бізнес-лідерів до визначення ключових напрямів навчання та навчальних програм 8 Ми визначаємо та розвиваємо специфічні для кожного виду робіт компетенції 9 Ми узгоджуємо компетенції з реальними вимогами щодо поведінки на робочому місці 10 Ми ефективно оцінюємо рівень 1: «Реакція» 11 Ми ефективно оцінюємо рівень 2: «Навчання» 12 Ми ефективно оцінюємо Рівень 3: «Поведінка» 13 Ми ефективно оцінюємо Рівень 4: «Результати» 14 Ми проводимо оцінку ефективності результатів навчання, щоб продемонструвати його цінність для бізнесу 15 Менеджери забезпечують своїм підлеглим зворотний зв'язок та коучинг, щоб максимізувати результати навчання 16 Ми виявляємо та контролюємо ключові фактори, які сприяють або перешкоджають закріпленню результатів навчання у поведінці 17 Ми розробили ефективну допомогу для учасників навчання та їхніх керівників, щоб закріпити те, чого вони навчилися на робочому місці. 18 Ми ефективно використовуємо нові технології для того, щоб удосконалити навчання та оцінку 19 Ми ефективно демонструємо бізнес-лідерам цінність, яку додає навчання та його вплив на бізнес-результати 20 Я вважаю, що загалом у нашій організації сформовано «культуру навчання» X 1 X 2 X 3 Помножте суму балів у кожній колонці на відповідний множник (X 1 – низькі, X 2 – середні, X 3 – високі) Підсумовуйте всі оцінки Σ = Інтерпретація результатів Щоб оцінити, наскільки добре відповідає за навчання підрозділ (фахівець) відповідає інтересам бізнесу, використовуйте шкалу: 60-50 - відмінно; 49–42 – дуже добре; 41–34 – добре; 33–26 – середньо; 2–20 – погано.

Серед фахівців у галузі навчання та менеджерів широко поширений спрощений погляд на навчання. Цей підхід породив низку міфів, що стійко циркулюють серед менеджерів: Міф 1:«Кожен, хто колись чогось навчався, є експертом у галузі навчання». Насправді: Навчальний захід/тренінг - це поведінкова та когнітивна подія, яка може бути структурована та досліджена емпірично. Існує спеціальна наукова дисципліна, досягнення якої мають використовуватись для оптимізації плану навчальних програм. Розроблено методи та процедури, правильне та послідовне застосування яких сприяє підвищенню ефективності навчання. Міф 2:«Експерти можуть визначити потреби у навчанні». Насправді: Особистого досвіду експертів не завжди достатньо; щоб зрозуміти справжні потреби у навчанні, необхідно зібрати дані з багатьох джерел. Експерти у певній предметній галузі не обов'язково розуміють суть та особливості процесу навчання. Залучати експертів у предметних галузях дуже важливо, проте вони мають працювати у партнерстві зі спеціалістами з навчання. Міф 3:"Реакція на навчання = навчання". Насправді: Якщо слухачам весело, це не означає, що вони чогось навчаться. «Інструментальність» навчання слабо пов'язана з його ефективністю, але впливає на мотивацію учнів. Прості методи вимірювання результатів навчання є недостатніми для оцінки якості підготовки. Міф 4:«Навчання безпосередньо (саме собою) веде до зміни поведінки». Насправді: Перенесення навичок на робоче місце - дуже складний процес, який впливає безліч чинників, наприклад: підтримка керівника і колег, культура навчання у компанії, можливості застосування нових знань/навичок практично тощо. Навіть якщо слухачі демонструють добрі результати навчання після завершення навчальної програми, це не означає, що вони зможуть успішно застосувати нові знання та навички на своєму робочому місці.

Навіщо оцінювати навчання?

У статті «Методи оцінки тренінгових програм» (Techniques for Evaluating Training Programs) Дон Кіркпатрік писав: «Я рекомендував би директорам з навчання виявляти ініціативу в оцінці навчальних програм - до того, як прийде день розплати». Що дивно, то це дата написання статті в ASTD Journal – листопад 1959 року! За минулі півстоліття теза про те, що процес навчання, витрати на нього та результати мають оцінюватися, начебто, став банальністю. Але, незважаючи на це, поетапна оцінка навчання, на жаль, так і не змінила "модус вівенді" корпоративних тренерів.

• удосконалення навчальних програм;
• підвищення ефективності підготовки працівників;
• демонстрація цінності функції навчання топ-менеджерів.

Традиційно зусилля фахівців із навчання були сфокусовані на найбільш очевидних результатах: емоційна реакція учасників після завершення тренінгової програми. На жаль, багато з практик, що склалися, не відповідають вимогам і потребують удосконалення.

Щоб проаналізувати думку учасників щодо програми навчання (Рівень 1: «Реакція»), тренери розробили безліч інструментів. Їх називають по-різному: «анкети коментарів», «анкети реакції», «листи усмішок» чи «листи щастя» тощо. Якою ж має бути форма, яка дозволить отримати максимум інформації і водночас вимагатиме мінімум ресурсів? Пропонуємо кілька порад. Складіть перелік питань для учасників (ми рекомендуємо 8–15), на які хочете отримати відповіді. Розробте спеціальну форму для оцінки думок учасників тренінгу. Найчастіше в таких випадках використовується «п'ятибальна шкала» або добре відома «шкала Лікерта»: Можна починати з негативних чи позитивних відгуків - це важливо. Залишіть місце для коментарів. Наприкінці анкети передбачте місце для пропозицій учасників щодо покращення курсу. (Наприклад, запитайте: «Які зміни покращили б програму?») Анкети мають бути анонімними. (Звичайно, знати автора буває важливо у тому випадку, якщо в анкеті зустрінеться цікава пропозиція щодо покращення курсу, але загалом гарантія анонімності дозволяє отримати більш щирі відгуки.) Переконайтеся, що для оцінки вибрано відповідні запитання. Намагайтеся отримати відповіді від усіх учасників курсу. Якщо оцінюється електронний курс навчання, розішліть учасникам зручну форму для зворотного зв'язку (обов'язково наголосіть на важливості відповідей кожного з учасників програми). Якщо оцінюється очна навчальна програма, передбачте наприкінці занять спеціальний час заповнення учасниками анкети. Чому обов'язково слід розробляти спеціальну форму? По перше, мова йде про клієнтів (не має значення, внутрішніх чи зовнішніх), тому важливо, щоб вони залишилися задоволеними програмою. Деякі колеги, керівники чи майбутні учасники навчальних програм напевно запитають у тих, хто вже пройшов навчання: «Що ви думаєте про цей курс?» Важко уявити собі. Якої шкоди буде завдано функції навчання, якщо люди будуть давати негативні відгуки про набутий досвід: «Тільки даремно втратив час!», «Нічого, що знадобилося б у роботі» або «Відмовтеся від цього, якщо зможете»… По-другеНайімовірніше, негативно забарвлені чутки дійдуть до когось із топ-менеджерів. Наслідки цього можуть стати трагічними для відділу навчання: швидше за все, керівник не заважатиме аналізом загальної думки про курс, а зробить висновок про його неефективність (з усіма наслідками). Тому поцікавитися думкою учасників важливо насамперед для самих тренерів! Фрагмент із книги «Чотири сходинки до успішного тренінгу», Дональд Л. Кірпатрік та Джеймс Д. Кірпатрік, М. – Ейч Ар Медіа, 2008.

З ускладненням умов ведення бізнесу (зростання конкуренції, збільшення ролі людського фактора, фінансова криза тощо) підприємства все більше прагнуть скорочення витрат та фінансування заходів, що дають прогнозовані результати та найвищу віддачу. В кінцевому рахунку:

1. Топ-менеджери вимагають оцінити ефективність навчання на вищих рівнях – Рівень 3: «Поведінка» та Рівень 4: «Результати».
2. Багато компаній відмовляються від навчальних програм, цінність яких не може бути обґрунтована з фінансової точки зору (і, на жаль, «до покращення ситуації» звільняють фахівців із навчання персоналу).

Це говорить про те, що сьогодні в серйозній небезпеці виявилися вже не окремі тренери/тренінгові компанії – у багатьох випадках під сумнів ставиться необхідність функції навчання! Розробляючи «стратегію порятунку», Кіркпатрікі пропонують тренерам терміново змінювати своє уявлення про світ бізнесу та освоювати в організації нові ролі. Найважливіші умови зміни:

• виявляти потреби бізнесу;
• досягати практичних (!), не просто видатних (!), але перевершують очікування (!) результатів;
• оцінювати (у цифрах) свій внесок у досягнення успіху та розвиток компанії та переконливо демонструвати його всім ключовим зацікавленим сторонам.

Найголовніше для тренерів – навчитися діяти у «проектній рамці», як це заведено в інших функціях: надавати економічне обґрунтування для отримання коштів (інвестицій) на проекти, завчасно планувати та бюджетувати їх реалізацію.
__________
* ASTD Journal- журнал Американської асоціації навчання та розвитку (American Society for Training & Development, ASTD)

Стаття надана нашому порталу
редакцією журналу

Те, що сталося з американцем Дональдом Кірпатріком, досить рідко. Півстоліття тому він запропонував концептуальний підхід до оцінки тренінгових програм, який став класичним. Будь-який фахівець із оцінки сьогодні просто зобов'язаний знати чотири рівні оцінки "за Кіркпатріком".

Цікаво, що довкола запропонованого Кіркпатриком підходу не замовкають суперечки, проте його модель оцінки тренінгів залишається однією з базових, а його книги найбільш цитованими. Класик і нині живе, хоч уже відійшов від активного бізнесу. Він зробив блискучу кар'єру; написав кілька книг, які стали бестселерами і принесли йому світову популярність; був президентом одного з найавторитетніших професійних об'єднань тренерів та консультантів у світі – American Research and Development Society (ARSD). Сьогодні Дональд Кіркпатрік продовжує займатися громадською роботою та підтримує контакти з професійною спільнотою. Він продовжує публікувати статті та виступати з лекціями та семінарами на найбільших форумах.

Отже, що ж запропонував Кіркпатрік?

Кіркпатрік розглядає оцінку як невід'ємну частину циклу проведення навчання, що включає 10 етапів :

1. Визначення потреб.
2. Постановка цілей.
3. Визначення предметного змісту.
4. Вибір учасників навчання.
5. Формування раціонального розкладу.
6. Вибір відповідного приміщення.
7. Вибір відповідних викладачів.
8. Підготовка аудіовізуальних засобів.
9. Координація програми.
10. Оцінка програми.

1. Виправдати існування відділу навчання, показавши, який внесок робить цей відділ у досягнення цілей і завдань організації.
2. Прийняти рішення, продовжувати чи припинити тренінгову програму.
3. -Отримати інформацію про те, як покращити тренінгову програму у майбутньому.

Сам Кіркпатрік вважає, що в більшості випадків оцінка проводиться для того, щоб зрозуміти, як підвищити ефективність тренінгу, якими способами можна його покращити. У зв'язку з цим пропонується відповісти на наступні 8 питань:

1. Наскільки зміст тренінгу відповідає потребам учасників?
2. Чи є вибір викладача (Кіркпатрік використовує тут слово "лідер", яке російською мовою має зовсім інше значення) оптимальним?
3. Чи використовує викладач найефективніші методи підтримки інтересу учасників, передачі їм знань, формування в них навичок і установок?
4. Чи є умови для навчання задовільними?
5. Чи влаштовує учасників розклад занять?
6. Чи сприяють аудіовізуальні засоби покращенню комунікації та підтримці інтересу учасників?
7. Чи була координація програми задовільною?
8. Що ще може бути зроблено для покращення програми?

Зазначимо, що всі питання крім першого та останнього сформульовані автором як закриті (що передбачають відповіді "так" чи "ні"). З погляду формулювання питань завдання щодо оцінки така форма питань хороша які завжди. Однак ми дотримуємось авторського тексту.

Кіркпатрік вважає, що в більшості випадків оцінка обмежується використанням анкет після закінчення тренінгу – вивченням безпосередньої реакції слухачів на навчання. Він називає ці анкети "аркушами для посмішки" (smile-sheets), маючи на увазі, що найчастіше учасники використовують анкети для подяки. Більш складна та глибока оцінка не проводиться, тому що

• її не вважають терміновою чи важливою,
• ніхто не знає, як її провести,
• керівництво не вимагає цього,
• люди почуваються в безпеці і не бачать потреби "копати" глибше,
• є багато речей, які для них важливіші або якими вони вважають за краще займатися.

Чотири рівніЧотири рівні, за Кірктпатриком, визначають послідовність проведення оцінки навчання (тренінгу). Він пише: "Кожен рівень важливий і впливає на наступний за ним рівень. При переході від рівня до рівня процес оцінки стає більш важким і вимагає більше часу, але при цьому дозволяє отримати більш цінну інформацію. Жоден з рівнів не може бути пропущений просто тому , щоб сконцентрувати на тому, що тренер вважає найбільш важливим" (треба зауважити, що багато фахівців не згодні з цим твердженням Кіркпатріка). Ось знамениті чотири рівні за версією автора:

• Рівень 1 – Реакція (Reaction)
• Рівень 2 – Навчання (Learning)
• Рівень 3 - Поведінка (Behavior)
• Рівень 4 – Результати (Results)

Реакція

Оцінка цьому рівні визначає, як учасники програми реагують неї. Сам Кіркпатрік називає це оцінкою задоволеності споживачів. Що стосується, коли навчання проводиться усередині фірми, реакція учасників який завжди інтерпретується як радість споживачів. Справа в тому, що участь у таких тренінгах буває обов'язковою. Люди просто не мають вибору. Керівництво компанії визначає необхідність цього тренінгу та зобов'язує співробітників брати в ньому участь. Здавалося б, у цьому випадку треба говорити про реакцію керівництва. Кіркпатрік підкреслює, що і в цьому випадку реакція учасників є дуже важливим критерієм успішності тренінгу як мінімум з двох причин .

• По-перше, люди так чи інакше діляться своїми враженнями від тренінгу зі своїм керівництвом, і ця інформація йде вище. Отже, вона впливає на ухвалення рішень щодо продовження тренінгу.
• По-друге, якщо учасники не реагуватимуть позитивно, то у них не буде мотивації до навчання. На думку Кіркпатріка, позитивна реакція не гарантує успішного освоєння нових знань, умінь та навичок. Негативна реакція на тренінг майже напевно означає зменшення ймовірності навчання.

Навчання

Навчання визначається як зміна установок, покращення знань та вдосконалення навичок учасниківвнаслідок проходження ними програми навчання. Кіркпатрік стверджує, що зміна поведінки учасників у результаті тренінгу можлива лише тоді, коли відбудеться навчання (зміняться установки, покращаться знання або удосконаляться навички).

Поведінка

На цьому рівні відбувається оцінка того, якою мірою змінилася поведінка учасників в результаті навчання. Кіркпартик вказує на те, що відсутність змін у поведінці учасників не означає, що тренінг був неефективним. Можливі ситуації, коли реакція на тренінг була позитивною, навчання сталося, але поведінка учасників надалі не змінилася, оскільки для цього не було дотримано необхідних умов. Тому відсутність зміни поведінки учасників після тренінгу не може бути приводом для ухвалення рішення про припинення програми. Кіркпартик рекомендує в цих випадках крім оцінки реакції та навчання перевірити наявність наступних умов :

1. Бажання учасників змінити поведінку.
2. Наявність в учасників знань у тому, що як робити.
3. Наявність відповідного соціально-психологічного клімату.
4. Заохочення учасників за зміну поведінки.

Говорячи про соціально-психологічний клімат, Кіркпатрік має на увазі насамперед безпосередніх керівників учасників навчання. Він виділяє п'ять видів "клімату": забороняє, бентежить, нейтральний, підтримує, вимагає. Позиція керівника відповідно змінюється від заборони на зміну поведінки до вимоги змінити поведінку після закінчення тренінгу. Кіркпатрік вважає, що єдиний спосіб створення позитивного клімату – залучення керівників у розробку навчальних програм.

Результати

До результатів належать зміни, які відбулися у зв'язку з тим, що учасники пройшли навчання. Як приклади результатів Кіркпатрік наводить збільшення продуктивності, поліпшення якості, зменшення кількості нещасних випадків, збільшення продажів, зниження плинності кадрів.

Кіркпатрік наполягає на тому, що результати не слід вимірювати у грошах. Він вважає, що перелічені вище зміни можуть, своєю чергою, призводити до збільшення прибутку. Кіркпатрік пише: "Мене розбирає сміх, коли я чую, що професійні тренери повинні вміти показувати вигоду для клієнта в термінах повернення на інвестиції в тренінг. Те ж саме я думаю про зв'язок між тренінговими програмами та прибутком. Ви тільки уявіть собі всі фактори, які впливають на прибуток! І можете додати їх до списку факторів, що впливають на інвестиції.

На думку Кіркпатріка, оцінка на цьому рівні – найскладніша і найдорожча. Ось кілька практичних рекомендацій, які можуть допомогти в оцінці результатів:

• якщо можливо, використовувати контрольну групу (що не проходила навчання),
• проводити оцінку через деякий час, щоб результати стали помітними,
• проводити оцінку до та після програми (якщо це можливо),
• провести оцінку кілька разів у ході програми,
• зіставити цінність інформації, яку вдасться отримати за допомогою оцінки та вартість отримання цієї інформації (автор вважає, що проведення оцінки на 4 рівні не завжди є доцільним у зв'язку з її високою вартістю).

Як побудовано книгу Кіркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.

Книжку поділено на дві нерівні частини. Перша – опис 4-рівневої моделі, теорія (приблизно 70 сторінок). Друга частина (близько 200 сторінок) – докладний розбір кількох конкретних випадків (case studies) та приклади інструментів, що використовуються для оцінки на різних рівнях.

За матеріалами інформаційного бюлетеня компанії "Процес Консалтинг" (processconsulting.ru/bulletin1.pdf)