Теорія та методологі ...

Методи експертних оцінок

Метод експертних оцінок використовуються для одержання змінних емпіричних даних. З його допомогою дослід-жують педагогічні проблеми, які не піддаються формалізації. Цей метод поєднує опосередковане спостереження і опитування із залученням для оцінювання явищ компетентних фахівців. Для цього проводиться опитування спеціально дібраної групи експертів (5-7 осіб) з метою вивчення значень певних змінних величин, потрібних для оцінки досліджуваного питання. Експерти добираються за ознакою їх формального професійного статусу – посади, наукового ступеня, стажу роботи та інше.

Існують різні експертні методи, які включають індивідуальні й колективні експертні оцінки. А.А.Киверялг визначає такі різновиди методу експертних оцінок: метод комісії, метод мозкового штурму (колективної генеральної ідеї), метод Дельфі, метод евристичного прогнозування, метод узагальнення незалежних характеристик.

А.А.Киверялг пропонує експертну оцінку проводити в такій послідовності.

1-й етап. Підготовка документа експертної оцінки. У документі фіксуються такі питання, як постановка завдання, мета експерименту, терміни виконання робіт, керівник і склад групи проведення експертної оцінки, матеріальне забезпечення роботи.

2-й етап. З’ясування вихідної інформації. Така інформація дозволяє об’єктивізувати відповіді експертів. До неї можуть належати навчальні плани, навчальні програми, норми, правила, методичні рекомендації, дидактичні вимоги до сучасного навчального процесу.

3-й етап. Формування експертної групи і оцінка компетентності експертів. Для вирішення проблеми створюється експертна група кількістю 20 осіб, до складу якої належать провідні спеціалісти, наукові співробітники, представники інших організації, методисти, спеціалісти і т.д.

Для визначення компетентності експертів і вирішення репрезентативності експертної групи використовується анкета, в якій зазначаються такі дані про експерта:

– стаж роботи в сфері поставленої проблеми;

– наявність наукового ступеня чи звання;

– опубліковані друковані роботи в сфері проблеми;

– джерела аргументації з обговорюваної проблеми (теоретичний аналіз, експериментальне дослідження, узагальнення досвіду, власний педагогічний досвід);

– рівень ознайомлення зі сферою, до якої належать проб-леми (на рівні авторства книг і методичних рекомендацій, на рівні рецензента, члена комісії).

 

Враховувати склад експертної групи можна по-різному, але в основному враховується компетентність експерта з означеної проблеми (наприклад, стаж роботи в сфері проблеми до 5 років, то коефіцієнт = 0,4; більше 10 років – 0,8).

4-й етап. Підготовка і проведення опитування експертів. Опитування – головний етап методу експертних оцінок. Виділяють три типи завдань, які вирішуються в процесі опитування: якісна або кількісна оцінка заданих об’єктів, побудова нових об’єктів, оцінка нових об’єктів.

Під час колективного опитування використовуються такі види опитування, як дискусія, анкетування, інтерв’ю, метод мозкового штурму.

Перед підготовкою опитування уточнюється місце і час проведення опитування, кількість і завдання турів опитування, форма проведення опитування, порядок фіксації і збору результатів опитування, необхідні документи.

На перших загальних зборах експертів проводиться дискусія експертів і з’ясовується за їх допомогою коло питань, які є найбільш спірними і повинні бути включені в таблицю експертних оцінок. Питання заносяться в таблицю, яка пере-дається кожному експерту для відповідей.

Під час укладання таблиць необхідно врахувати, що більш загальні питання повинні записуватися раніше, а потім записувати вузькі питання. Необхідно також забезпечити одно-значність розуміння окремих питань.

5-й етап. Обробка результатів експертної оцінки. Для підведення підсумків експертизи матеріали індивідуальних експертних оцінок необхідно обробити статистичними методами. Ці дані представляються на зборах експертів для подальшого обговорення.

6-й етап. Аналіз і оформлення результатів експертної оцінки. Результати колективного аргументованого обговорення беруться за основу для завершального вирішення проблеми.

Різновиди методу експертних оцінок: метод комісії, метод мозкового штурму (колективної генеральної ідеї), метод Дельфі, метод евристичного прогнозування, метод узагальнення незалежних характеристик.

Метод комісії полягає в тому, що на базі сукупностей індивідуальних думок експертів намагаються віднайти найбільш об’єктивну, обґрунтовану думку для вирішення будь-якого питання. Оскільки експерти за цим методом працюють в групі, то вони можуть безпосередньо обмінюватися один з одним думками. Кожний експерт захищає свою думку, але у випадку необхідності повинен бути готовий змінити її. Під час викладу своєї думки експерт має аргументувати і обґрунтувати свою позицію, навести докази.

З метою проведення експертизи, наприклад, навчальної літератури до оцінювання варто запрошувати як науковців, так і практиків. Експертна комісія створюється із 9-10 членів. Можна створювати три групи експертів по 9 членів: перша група – це науковці; друга група – вчителі і методисти з двох різних регіонів. Таким чином, дотримуючись рекомендацій щодо кількості експертів, маємо можливість порівнювати позиції науковців та практиків, аналізувати їх точки зору щодо складових комплексу та їх окремих показників якості, що підлягали оцінюванню.

Наведемо приклади етапів проведення експертного оцінювання навчально-методичної літератури методом комісії, визначені Л.Б.Лук’яновою:

Організаційний етап – визначення кола питань щодо постановки завдання, окреслення мети, терміну виконання роботи, визначення комплексу вихідної інформації, необхідної для роботи експертів, призначення голови і складу комісії.

Етап формування експертної групи і визначення компетентності експертів. При доборі експертів треба враховувати їх компетентність, креативність, відсутність схильності до конформізму, наукову об’єктивність, аналітичність, широту й конструктивність тощо. На етапі відбору експертів застосовують метод взаємних рекомендацій (серед кандидатів в експерти поширюється анкета з відомостями про них: місце роботи, посада, науковий ступінь, вчене звання, кількість публікацій...); метод самооцінки (поширюється анкета з такими показниками: знання навчального плану, робочої програми, навчального матеріалу, методики його викладу, ступінь ознайомленості з іншими спорідненими дисциплінами, вміння організувати поза-класну роботу з предмета); метод аргументованості (показниками у цьому разі є досвід роботи у навчальному закладі, кількість особистих наукових або методичних робіт з проблеми, рівень ознайомленості із сучасною літературою, досвід участі в експертизі); метод анкетних даних (показниками є стаж роботи кандидата в експерти, кількість його наукових публікацій...).

Визначення компетентності обраної групи експертів здійснюють за методикою А.Киверялга. Склад експертної комісії можна враховувати по-різному, але в основному враховується компетентність експерта з обговорюваної проблеми. Експертам необхідно заповнити анкету: наявність наукового ступеня або звання; стаж роботи, кількість публікацій. Рейтинг кожного екс-перта у балах підраховується з урахуванням певних міркувань, які оцінюються таким чином: наявність наукового ступеня, звання від 0,4 до 0,8; стаж роботи в галузі проблеми – до 5 років – 0,5, понад 10 років – 0,8; обґрунтування думки з обговорюваної проблеми: проведені дослідження – 0,8; педагогічний досвід – 0,6; інтуїтивні уявлення – 0,2.

Показником репрезентативності експертної групи є середньоарифметичне значення компетентності усіх експертів.

Група експертів вважається репрезентативною за умов, коли 2\3 експертів відповідають вимогам 0,67<<1. У випадку, коли дотримується зазначена вимога, експерти мають право залишатися у сформованій групі, а результати експертного оцінювання можна вважати репрезентативними.

Етап безпосередньої експертизи, що полягає у визначенні думки експертів. З усіх видів колективного опитування можна використовувати дискусію та анкетування у такій послідовності: дискусія-анкетування – дискусія. Наприклад, проводячи експертизу навчально-методичної літератури, відбувається безпосереднє оцінювання складових комплексу. Свою оцінку експерти мають виставити в індивідуальну оцінювальну картку, яка містить зміст вимог до кожного показника й шкалу оцінювання за 10 бальною системою. Одержані у такий спосіб дані становитимуть сукупність оцінок, виставлених експертом за кожним показником у балах, які набували значень від 1 до 10. У подальшому індивідуальну оцінку кожного експерта необхідно перенести у зведену таблицю й на підставі цих оцінок побуду-вати середньоарифметичне значення, коефіцієнт вагомості показника й результати математичного опрацювання та підсумовування результатів оцінювання. Результат від добутку середньо-арифметичного значення показника і коефіцієнта його вагомості відповідає рівню якості кожного показника. Сума усіх добутків визначає оцінку посібника.

Етап опрацювання результатів експертної оцінки. Матеріали, одержані від експертів, підлягають подальшому вивченню та обробці статистичними методами. На останньому засіданні заслуховуються результати оцінювання і приймається остаточне рішення.

Метод мозкового штурму. За цим методом заключне рішення приймається на основі суми індивідуальних думок експертів, а не на основі групового мислення експертів  суть цього методу полягає у вирішення таких завдань: творче генерування нових ідей, аналіз і оцінка запропонованої ідеї. Для вирішення таких завдань утворюються дві групи експертів. У першій групі – генераторів ідей – від 4 до 15 осіб. За декілька днів до початку сесії їм надається інформація про проблему, що виноситься на обговорення. У процесі роботи цієї групи не допускається критики ідей, що пропонуються для обговорення.

Суть методу мозкового штурму: творче генерування нових ідей, аналіз і оцінка запропонованої ідеї.

Друга група – аналітиків – критично розглядає висловлювання, ідеї та думки та відбирає найбільш цінні. Головні недоліки цього методу – спонтанність і стихійність генерації ідей і значні затрати часу.

Метод мозкового штурму включає:

1 етап – постановка задачі.

2 етап – висловлювання ідей, кожен по черзі висловлює всі свої думки, ніхто його не перебиває, не критикує, всі думки записуються.

3 етап – кожен учасник отримує загальний список всіх ідей і вибирає з них до 10 привабливих. Після цього кожен обґрунтовує 2-3 ідеї (повтори не допускаються).

4 етап – ранжування ідей за кількістю за результатами голосування, визначення 10 найкращих. Так повторюється декілька раз доки не залишиться 2-3 основні рішення, які і залишаються.

Основні правила мозкового штурму:

1. Починається "штурм" з розминки – швидкого пошуку відповідей на запитання тренувального характеру. Потім ще раз уточнюється поставлена задача, нагадують правила обговорення, а потім починається основний штурм".

2. Задачу послідовно розв'язують дві групи, в кожній з яких від 4 до15 осіб. Перша група висуває різні ідеї – це група "генераторів ідей". Бажано, щоб до неї входили люди з багатою фантазією. Задача штурмується від 10 до 15 хвилин. Друга група ("експерти") після закінчення штурму оцінює висунуті ідеї. В її складі краще працюють люди з аналітичним складом розуму. Умова задачі перед штурмом формулюється лише в загальних рисах, проте формулювання задачі повинно бути чітким. Для "штурму" пропонуються питання, які потребують нетрадиційного розв'язку.

3. Основне завдання групи "генераторів" – видати за відведений час якомога більше ідей (зокрема, можливо фантастичних, явно помилкових, жартівливих).

4. При генеруванні ідей забороняється будь-яка критика, причому не лише явна, а й прихована – у вигляді посмішок, засобами міміки, жестів та ін. Повинна бути створена доброзичлива атмосфера.

5. Експертизу і відбір ідей після закінчення процесу генерації необхідно проводити дуже ретельно. Слід розглянути уважно всі ідеї, навіть ті, що здаються несерйозними, абсурд-ними. Одержані ідеї систематизуються за загальними принципами і підходами. Далі розглядаються різні перешкоди щодо реалізації відібраних ідей. Оцінюються зроблені критичні зауваження. Остаточно відбираються лише ті ідеї, які не були відкинуті критичними зауваженнями і контр ідеями.

6. Процесом розв'язування задачі управляє керівник, який повинен намагатися забезпечити дотримання всіх умов і правил. Якщо генерація ідей проходить лише в раціональному напрямі, керівнику слід самому запропонувати якусь фантастичну ідею або оголосити п’ятихвилинку для висування лише непрактичних ідей.

7. У випадку, коли задача не розв'язана в ході штурму, можна повторити процедуру (але краще це зробити з іншим колективом). Якщо знову штурм виконується тим самим колективом, задачу потрібно поставити по-іншому або ширше. Тоді учасники сприйматимуть проблему як нову, що сприяє появі інших підходів до її розв'язання. Для більш інтенсивної генерації ідей у ході штурму застосовуються певні прийоми, які давно відомі винахідникам. Це, наприклад, "інверсія" (зроби навпаки), "аналогія" (зроби так, як було зроблено для іншого рішення), "фантазія" (зроби дещо фантастичне).

Серед численних різновидів мозкового штурму найбільш простим з точки зору його організації є індивідуальний штурм (коли одна людина спочатку генерує ідеї, а потім оцінює їх).

Питання про авторство під час мозкового штурму вирішується двома шляхами: слід або визнавати всіх учасників автора-ми на однакових правах, або вважати авторами осіб, які зробили "остаточний крок" у формуванні нової ідеї і розв'язку.

Загальна кількість часу на проведення процедури складає 1,5-2 години.

Принципи "мозкового штурму": не критику-вати; стимулювати будь-яку ініціативу; прагну-ти до найбільшої кількості ідей; дозволяється змінювати, комбінувати, покращувати висунені ідеї.

Основні принципи "мозкового штурму": не критикувати – можна висловлювати будь-яку думку без побоювання, що вона буде визнана невдалою; стимулювати будь-яку ініціативу, при-чому чим вигадливішою буде ідея, тим краще; прагнути до най-більшої кількості ідей; дозволяється змінювати, комбінувати, покращувати висунені ідеї (свої і чужі).

Метод евристичного прогнозування характеризується теоретичним обґрунтуванням, з’ясуванням компетенції експертів і алгоритмом обробки одержаної інформації.

Метод "Дельфі". Слово "дельфа" проходить від давньо-грецької назви міста Дельфи, яке відоме своїми "дельфійськими оракулами", до яких звертались за порадою.

Тут створюються умови, які виключають безпосереднє спілкування між членами експертної групи.

Суть методу "Дельфі" полягає у послідовному анкетуванні експертів і виявленні основної (головної) точки зору фахівців з певного питання.

Суть методу "Дельфі" полягає у послідовному анкетуванні експертів і виявленні основної (головної) точки зору фахівців з певного питання.

А.А.Киверялг виділяє характерні ознаки методу Дельфі:

– відсутність контакту між експертами та колективних обговорень;

– багатотурове опитування експертів;

– обмін анонімною інформацією експертів та обґрунтованість їх відповідей.

 

На першому етапі за допомогою ранжування досліджуваному явищу дається кількісна оцінка. Потім експертам подають-ся для аналізу обґрунтовані анонімні висновки інших експертів з даного питання і дозволяється за бажанням доповнити свою первинну анкету.

Вважається, що точність експертних оцінок залежить від кількості експертів. Найчастіше використовують думку 15-20 експертів. Це пояснюється тим, що відношення між респондентами має переважно багатогранний характер. Кількість особитісних якостей або інших ознак, які підлягають ранжуванню, як правило, не повинно бути більшим 20, і найбільш надійна ця процедура, коли їх кількість менше 10.

У другому турі одержані середні і крайні думки експертів і аргументації повідомляються експертам і проводиться третій тур опитування. У його ході експерти знову переглядають свої відповіді і аргументують нове рішення. Зазвичай, після цього туру відповіді експертів не змінюються і опитування можна припинити.

Недоліком методу Дельфі вважають значні витрати часу для його проведення і повна відсутність обміну думками між експертами.

Взаємний вплив учнів виключається – кожний учасник сидить за окремим столом чи навіть у окремому приміщенні, якщо є така можливість.

Замість групового обговорення проводиться індивідуальне опитування учнів за попередньо підготовленими питаннями.

Етапи організації заняття:

– Розробка питань за темою і запис їх на окремих аркушах.

– Видача аркушів кожному учню з проханням відповісти на питання.

– Письмові відповіді на питання.

– Аналіз одержаних відповідей, вибір з них найбільш правильних.

– Публічне обговорення відповідей (без назви їх авторів).

– Вироблення узгодженої відповіді з врахуванням висловлених зауважень.

 

У разі необхідності процедура повторюється.

Метод "дельфі" виключає навіюваність групової думки і дозволяє без сорому висловити свою точку зору на проблему.

Метод узагальнення незалежних характеристик полягає в тому, що про особу, за якою спостерігають, дають незалежні оцінки різні люди. Узагальнення характеристик необхідно розу-міти не їх суму з метою знаходження середніх тенденцій, а детальний аналіз і синтез різних характеристики, під час яких відкидається несуттєве, суперечливе.

Метод узагальнення незалежних характеристик полягає в тому, що про особу, за якою спостерігають, дають незалежні оцінки різні люди.

Метод узагальнення характеристик застосовують під час вивчення особистості учнів у різних видах діяльності: у навчальній, суспільній, спортивній. У такому випадку досліднику потрібно узагальнити дані, одержані від педагогів, майстрів, вихователів.

Для оцінки професійних якостей учнів використовуються опитувальні листи, які заповнюють майстер групи, викладачі дисциплін. У листі виділяють дві частини: офіційні дані, які заповнює майстер групи і експертні оцінки, які заповнюють всі експерти. На основі узагальнення даних декількох експертів подається загальна професійна характеристика учня. А.А.Киверялг наводить приклад окремих елементів оформлення листа для оцінки професійних якостей працівника (учня).

На думку С.У.Гончаренка, найчастіше в педагогічних дослідженнях застосовується метод експертних оцінок. Тут створюються умови, які виключають безпосереднє спілкування між членами експертної групи. За допомогою методу експертних оцінок здійснюються: аналіз складних педагогічних явищ, процесів, ситуацій, що характеризується в основному якісними ознаками, які не піддаються формалізації; прогнозування роз-витку певної галузі знання, процесів навчання й виховання та їх взаємодії із зовнішнім середовищем; визначення і ранжування за заданим критерієм найістотніших факторів, які впливають на функціонування і розвиток освітньої системи; оцінка альтернативних розв’язків і вибір найбільш вдалих.

С.У.Гончаренко визначає такі основні етапи реалізації методу експертних оцінок: організація експертизи, формулювання проблеми і мети експерименту, встановлення відповідальності і прав робочої групи; добір експертів; проведення опитування їх; аналіз і обробка результатів.

Під час добору експертів треба враховувати їх

– компетентність,

– креативність,

– відсутність схильності до конформізму,

– наукову об’єктивність,

– аналітичність,

– широту й конструктивність тощо.

 

Під час вибору методів педагогічних досліджень важливо враховувати, що при груповій експертній оцінці важко буває врахувати вплив на експертів дослідника. Тому невміле використання даного методу нерідко призводить до підміни глибокого і всебічного вивчення педагогічного явища підтасуванням фактів, які підтверджують сформульоване заздалегідь рішення.

Методи математичної статистики, які мають використовуватися практично на кожному етапі проведення експертизи, ґрунтуються на ранжуванні, тобто розміщенні факторів у по-рядку зростання (або зменшення) певної оцінюваної якості для визначення їх відносної значущості.

Як зазначає С.У.Гончаренко, під час застосування експерт-них методів дослідження потрібно оцінювати ступінь надійності результатів експертизи. Необхідною умовою надійності колективної оцінки є достатня узгодженість думок опитаних експертів. Тому під час статичного аналізу одержаної від експертів інформації слід визначити ступінь узгодженості індивідуальних експертних оцінок.

Кількісна оцінка узгодженості думок експертів здійснюється з використанням багатьох методів. Найпростішими з них для використання в педагогічних дослідженнях є два. Критерієм узгодженості думок двох експертів найчастіше є коефіцієнт рангової кореляції, запропонований Спірменом для психологічних досліджень.

Для визначення узгодженості групових оцінок використовують коефіцієнт конкордації – спільний коефіцієнт рангової кореляції для групи експертів.

Методи експертних оцінок використовуються під час складання нових планів і програм, оцінки навчальних матеріалів, професійних якостей особи, прогнозування розвитку спеціальностей.

Приклад оцінювання діяльності учня із пошуку, переробки і структурування інформації, здійснюваний методом експертних оцінок наводить А.М.Коломієць. Для визначення якості засвоєння матеріалу, що виноситься на самостійне вивчення, на заняттях оцінювались такі показники: уміння вибрати головне; повнота висвітлення матеріалу; логічна послідовність викладу інформації; обсяг використаних джерел; різноманітність використаних джерел; правильність оформлення списку використаних джерел. Кожний із показників оцінювався за 12-ти бальною шкалою.