# Аналіз предметної області

# Вступ

У цьому документі розглядаються наведені основні визначення, різні підходи та способи вирішення завдань і порівняльна характеристика існуючих засобів вирішення подібних проблем, що відносяться до систем управління експертними опитуваннями. Як наслідок прийдемо до висновку, чи варто модифікувати вже існуючу систему чи створювати нову.

# Основні визначення

# Експерт

Експерт (від лат. expertus — досвідчений) — висококваліфікований спеціаліст, який має вищу освіту, відповідну кваліфікацію і професійні знання з питань, що досліджуються, виконує службові обов'язки, пов'язані з провадженням діяльності у відповідній галузі, безпосередньо проводить експертизу та несе персональну відповідальність за достовірність і повноту аналізу, обґрунтованість висновків відповідно до завдання на проведення експертизи.

# Експертний потенціал

Основні показники екпертного потенціалу: [1]

Високий рівень інтелекту
Значний досвід роботи
Визнання колег
Активна наукова діяльність
Існування публікацій у престижних виданнях
Престижна освіта
Високий особистий статус

# Оцінювання

Оцінювання (англ. assessment) - це процес, який може бути несистемним, зі збору інформації, її аналізу та формування суджень на його основі. [2]

# Експертне оцінювання

Експертне оцінювання (лат. expertus - досвідчений, оцінювання - експертиза) - особливий різновид методу опитування, де вимоги, які застосовуються в масових опитуваннях, неприйнятні. В процесі масового опитування джерелом соціологічної інформації, яка дає оцінку тим чи іншим сторонам об'єкта дослідження, виступають і представники цього ж об'єкта. При експертному опитуванні ситуація інша. Експерти майже ніколи не виступають представниками об'єкта дослідження.

Практика застосування експертних методик (як для вирішення проблем прогнозування, управління, так і в традиційних сферах соціологічного дослідження) показала, що вони такою ж є мірою, важливі і надійні, як і метод масових опитувань з його розширеною методикою забезпечення репрезентативності. Експертні методики містять ряд експліційованих понять: експертні системи, діагностика, експертне опитування та оцінювання, думки, сценарії. Експертне опитування посідає тут центральне місце.

# Методи експертного оцінювання

Методи експертного оцінювання поділяються на індивідуальні та групові.

Індивідуальні експертні методи — методи оцінювання, які полягають в тому, що кожний експерт дає свою оцінку незалежно від інших, ці оцінки за допомогою статистичних методів об’єднують у загальну. [3]

Основні індивідуальні експертні методи:

Метод інтерв’ю — метод збору соціальної інформації, що ґрунтується на вербальній соціально-психологічній взаємодії між інтерв'юером і респондентом з метою одержання даних, які цікавлять дослідника. Під час інтерв'ю контакт між дослідником і респондентом здійснюється за допомогою інтерв'юера, котрий ставить запитання, передбачені дослідженням, організовує та спрямовує бесіду з кожною людиною, фіксує одержані відповіді згідно з інструкцією. [4]
Метод анкетування — метод отримання інформації шляхом письмових відповідей респондентів на систему стандартизованих запитань попередньо підготовлених бланків — анкет. [5]

Групові експертні методи — методи оцінювання, які полягають у спільній роботі експертів та поданні узагальненої оцінки від цілої робочої групи. [3]

Основні групові експертні методи:

Метод Дельфі базований на тому, що на основі індивідуальних опитувань і спеціальної методології дозволяється уникнути групового впливу, який доволі часто виникає в групі експертів. Техніка проведення такої експертної оцінки полягає в тому, що спочатку шляхом анонімного опитування всім експертам ставиться запитання, відповідь на яке дається письмово в балах. Вважається, що завдяки такому способу опитування зменшується вплив таких факторів, як навіювання(схиляння) до думки більшості. Опитування складаэться з декількох етапыв, між якими встановлюється зворотний зв’язок у вигляді повідомлення обробленої інформації про збіг точок зору на різних етапах. Наприклад, після якогось етапу проводиться обробка отрианої від експетів інфомації. Показником групової думки вважається медіана, а показником узгодженості думок — діапазони квартилів (процентилей). Тобто визначається частка (10-15%) експертів, які дали найвищий та найнижчий бал. Після цього цим експертам повідомляють про те, що їх відповідь знаходиться поза середньою зоною, пропонують обґрунтувати розбіжності в поглядах та оцінках, надається змога поставити бал на поставлене запитання ще раз, але про їх попередні відповіді нічого не уточнюється. Така процедура дає змогу спеціалістам у разі необхідності змінити свою думку, враховуючи упущені вперше обставини. Після повторного збору даних від цих експертів, проводиться повторний підрахунок аналогічних статистичних показників. В ідеалі процес за методом Дельфі має бути повторений як мінімум в 4 етапи, після чого медіана 4-го етапу приймається як кінцева узагальнена оцінка на поставлене запитання. [1]
Метод «мозкової атаки» полягає в тому, що формулюється певна проблема, яка в подальшому обговорюється групою експертів. При цьому жодна із запропонованих ідей не критикується, а навпаки — схвалюється. Використання цього методу дозволяє підвищувати продуктивність експертів: вважається, що «хороших» ідей виникає більше в тих випадках, коли намагаються аналізувати лише «хороші». [1]

# Бізнес-процес

Бiзнес-процес (англ. Business Process) — будь-яка діяльність, що має вхідний продукт, додає вартість до нього, та забезпечує вихідний продукт для внутрішнього або зовнішнього споживача. [14]

Існують три види бізнес-процесів:

Процеси управління — бізнес-процеси, які управляють функціонуванням системи. Прикладом керувального процесу може служити корпоративне управління та стратегічний менеджмент.
Основні — бізнес-процеси, які складають основний бізнес компанії і створюють основний потік доходів. Прикладами операційних бізнес-процесів є постачання, виробництво, маркетинг та збут.
Забезпечувальні — бізнес-процеси, які обслуговують основний бізнес. Наприклад, бухгалтерський облік, кадрове, інформаційне забезпечення. [14]

Компоненти бізнес-процесу

Входи бізнес-процесу - ресурси або дані, які мають бути, й тригери, ініцільовані процесом. Наприклад, це можуть бути експерні опитування або оцінювання.
Виходи бізнес-процесу - це результати діяння на входи механізмів, які управляються згідно з регулюваннями. Це результати подібних опитувань та оцінвань
Механізми бізнес-процесу - це інструменти, включаючи машини, системи і людей, які запускаються входами і виконують дії над входами.
Контрольні точки бізнес-процесу - це вимоги, обов'язкові дії, інструкції і обмеження, а також закони, положення, регламенти, правила і установки, які структурують і визначають дії над входами. Механізми і контрольні точки можуть бути одним й тим самим, наприклад, регламенти, фінанси і люди. [14]

Інтелектуальний аналіз даних (англ. Data mining) — збірна назва, використовувана для позначення совокупності методів, виявлених у даних раніше невідомих, нетривіальних, практично корисних і доступних інтерпретацій знань, необхідних для прийняття рішень у різних сферах людської діяльності. [15]

# Анкета

В більшості методів експертного оцінювання використовують анкети. Анкета — структурно організований набір запитань, кожне з яких логічно пов'язане з основною метою дослідження, отримання інформації відбувається шляхом опитування респондентів. Використовується при проведенні соціологічних, політичних, психологічних, маркетингових досліджень для оцінки поточної ситуації або визначення перспектив розвитку досліджуваних процесів. [16]

Структура: [16]

Наукова якість інформації, отриманої методом анкетування залежить від того, яким чином скомпонована або структурована анкета, чи містить вона в собі всі невід’ємні складові, чи має певну логічну схему і послідовність запитань в ній. Побудова анкети повинна складатися з чотирьох частин:

Вступна: У першій частині анкети пояснюється мета дослідження, гарантується анонімність відповідей, дається інструкція щодо заповнення, підкреслюються важливість та цінність відповідей респондента.
Демографічна: В цій частині фіксуються вікові, статеві, етнічні, соціально-статусні, професійні, освітні, сімейно-шлюбні, соціально-поселенські та інші ознаки респондента.
Основна: Складається з набору запитань, відповіді на які передбачають виконання завдань дослідження. Ця частина анкети за змістом найбільш важлива та складна. Запитання повинні враховувати усі, в тому числі і психічні особливості респондентів. Запитання складають у логічній послідовності блоками. Головна мета запитань анкети полягає в тому, щоб зацікавити респондента, включити його поступово в процес заповнення анкети. Далі пропонуються запитання складніші, які мають прямий стосунок до основної теми дослідження. У заключній частині тексту анкети пропонуються найбільш інтимні та різного характеру контрольні запитання, мета яких — поглибити та уточнити інформацію, яка була отримана у відповідях на попередні запитання.
Завершальна: Остання частина анкети передбачає подяку респондентам та, можливим є, побажання на майбутнє.

Оформлення

Суттєве значення має і оформлення анкети. Анкета сприятливо впливає на респондента, якщо вона поліграфічно виконана відмінно Поганий папір, граматичні, офографічні та стилістичні помилки відштовхують респондентів.

Анкета має бути поділена на абзаци. В ній мають бути курсиви, підкреслення важливих моментів, інтервали і відступи між різними запитаннями та варіантами відповідей на них. Текст запитань та відповідей мають бути різними (більний та жирніший в текстах запитань та звичайний в текстах відповідей).

Нумерація повинна бути в єдиній цифровій системі та стилі. Недоречно змішувати різні типи нумерацій: арабську з римською, буквеною і т.д. Не можна поєднувати, навіть якщо одна нумерація відповідає за питання, а інша за відповіді.

Важливими є інструктивні вказівки та орієнтири по матеріалу анкети. Приклади: «Оберіть КІЛЬКА варіантів відповіді», «Підкресліть ТІЛЬКИ один варіант відповіді» і т.д.

Для анкети дуже важливе графічне оформлення, вказівні стрілки. Це потрібно для кращого розуміння, легшого сприйняття інформації і т.д.

Класифікація запитань в анкетах [16]

За змістом:

особистісні (стать, вік, професія, освіта і тд);
про факти свідомості (думки, враження, судження, мотиви і тд);
про факти поведінки (результати діяльності, вчинки, дії і тд).

За формою відповідей:

закриті (містять повний набір можливих варіантів відповіді);
дихотомічні (відповіді так/ні);
поліваріативні (є декілька варіантів відповіді);
шкальні (наприклад, повністю згоден/згоден/частково згоден/не згоден);
табличні;
напівзакриті (містять певні варіанти відповіді, але можна також внести власну);
відкриті (передбачають самостійну та розгорнуту відповідь респондентів).

За функціями:

інформаційні (основні);
фільтри (використовують у випадку, якщо потрібно зібрати інформацію не від усіх респондентів, а від певної категорії);
контрольні (дають можливість уточнити правильність відповіді респондента).

За сформованістю запитання:

прямі (спрямовані на безпосереднє та відкрите отримання інформації від респондентів);
непрямі (пов'язані з використанням якоїсь уявної ситуації, яка дозволить приховано дізнатись певну інформацію);

# Опитування. Методи опитування

Опитування - метод збору інформації про досліджуваний об'єкт під час безпосереднього чи опосередкованого спілкування інтерв'ювера з респондентом шляхом реєстрації відповіді респондентів на сформульовані питання, які випливають з цілей і завдань дослідження. [17]

Експертне опитування - різновид соціологічного опитування, в ході якого респондентами виступає особливий тип людей - експерти. Особливістю експертного опитування полягає в тому, що воно передбачає участь компетентних осіб в аналізі і рішенні проблем дослідження, експерти виступає активним учасником дослідження. [18]

Від інших форм соціологічного опитування експертний метод відрізняють кілька дуже важливих рис:

кількість опитуваних (їх завжди менше, ніж при анкетуванні і навіть інтерв'ю);
якості опитуваних (рівень кваліфікації і знання спеціальної області експертів набагато вище, ніж у звичайних респондентів);
тип і обсяг інформації (експертне опитування проводиться для отримання знань, яких немає в дослідника; на відміну від повсякденних знань, які відомі соціологу зі свого досвіду, одержувані від експертів знання відносяться до спеціальних наукових знань);
типовість даних (в масовому опитуванні соціолога цікавить типовість, повторюваність відомостей, а в експертному опитуванні - унікальність технічних чи гуманітарних знань експерта, їх глибина);
програмна функція (первинну інформацію, що отримується в анкетуванні або інтерв'ю, соціолог використовує для перевірки наукових гіпотез).

# Методи експертного опитування

Виділяють такі методи експертного опитування: [19]

письмове опитування (збір думок);
метод незалежних характеристик;
дослідницька бесіда;

Письмове опитування (збір думок) - найбільш простий вид заочного опитування експертів. Він полягає в тому, що експертам розсилаються спеціально підготовлені опитувальні листи, в яких вони повинні викласти свою думку по суті поставлених питань. При складанні експертного запитальника використовується від 50 до 90% відкритих питань. [19]

Формалізоване опитування експертів - звичайне анкетування з питаннями різних форм: відкриті та закритій. Якщо письмове опитування проводиться для виявлення евристичних, принципово нових ідей, поглядів на проблему, несподіваних підходів до старої проблеми, то анкетування спрямоване на з'ясування оцінок тих чи інших аспектів готового рішення. Звичайний метод аналізу даних у такому випадку - статистичний. [19]

Метод незалежних характеристик дозволяє дати узагальнену оцінку одного явища, інформація про яке надходить з декількох незалежних джерел (від різних людей). Проводиться у декілька етапів. На першому відбувається порівняння і зіставлення різних думок, на другому етапі вони обробляються за допомогою математико-статичних процедур, на третьому формулюються достовірні висновки. [19]

Бесіда - один з основних методів проведення опитувань, який передбачає отримання інформації про явище в логічній формі від досліджуваної особистості, членів досліджуваної групи. Наукова цінність цього методу полягає у встановленні особистого контакту з респондентим, можливості отримати дані оперативно, уточнити їх у вигляді співбесіди. Бесіда може бути як формалізованою так і неформалізованій. Формалізована бесіда передбачає стандартизовану постановку питань і реєстрацію відповідей на них, що дозволяє швидко групувати і аналізувати отриману під час цієї інформацію. Неформализованная бесіда проводиться за нежорстко стандартизованим питань, що дає можливість послідовно ставити додаткового питання, виходячи з ситуації. У ході подібної бесіди, досягається більш тісний контакт між дослідником та респондентом, що сприяє отриманню найбільш повної та глибокої інформації. [19]

# Анкетування в методах експертних опитувань

В анкетах використовують наступні типи запитань: [3]

Питання, відповідь на яке полягає у виборі одного із декількох точно сформульованих позицій. Спеціаліст робить вибір шляхом вибору одного із декількох варіантів думок, що позначені в запитанні.
Питання, в якому експертові пропонується погодитися, або не погодитися з певним судженням.
Питання, що потребує від експерта висловити ймовірність якої-небудь ситуації в числовому вимірі (як правило, використовується бальна шкала).
Питання, відповіді на які «замасковані» відносними змінними величинами. Трактування результатів полягає в аналізі системи величин, які в подальшому проводять аналітики.
Можна також у разі потреби використовувати питання, відповіді на які потрібно проставити в певному порядку згідно з їхньою значимістю, тобто прорангувати.

Набір питань в анкеті повинен мати логічний зв’язок, при цьому експерт може змінювати деякі з них, якщо вони не враховують всі необхідні, на його погляд, критерії.

# Результат експертного опитування

Проведення експертного опитування завершується аналізом отриманих під час нього даних і складанням детального звіту. Дослідники систематизують оцінки експертів і подають в зручному для сприйняття інших вигляді.

Отримані дані використовують з метою:

впровадження отриманих результатів у практику (опитування експертів у бізнес чи інших цілях).
в пробних чи розвідувальних дослідженнях для отримання попередніх даних про предмет чи об'єкт аналізу, для розробки прогнозу та з'ясування певних процесів та явищ, для уточнення завдань чи гіпотез основного дослідження.
ля розробки прогнозу і доповнення та з'ясування певних процесів та явищ, виявлення найбільш важливих аспектів проблеми що, підвищення надійності, достовірності, обгрунтованості інформації, висновків і практичних рекомендацій.

# Терміни, що пов'язані з обробкою результатів опитування

У ході оцінювання досліджуваного об'єкта, експерти у більшості випадків мають різні точки зору з проблеми, яку вони вирішують. Тому виникає необхідність кількісної оцінки ступеня узгодженості думок експертів. Саме це у більшості випадків допомагає інтерпретувати причини розбіжності думок.

Методи експертних оцінок – це спосіб прогнозування та оцінки майбутніх результатів дій на основі прогнозів фахівців. [6] Вони відіграють важливу роль в різних дослідженнях, особливо у проведенні стратегічного і функціонально-вартісного аналізу.

Обробка первинної інформації проходить в кілька етапів:

Визначення масиву документів для обробки, вибір методів контролю та даних на репрезентативність і усунення помилок, розробку основних напрямків аналізу отриманих в ході обробки даних, визначення порядку і методів обробки даних,.
Вибір пакетів програм статистичної обробки матеріалів дослідження (іноді треба розроблювати нове програмне забезпечення).
При обробці даних анкетування відкриті питання анкет "закривають" - систематизують і кодують, класифікують за певними ознаками. Якщо опитування було в письмовій формі, анкети перевіряють на відповідність цим трьом критеріям: повнота заповнення, надійність (визначається відхилення від репрезентативної вибірки), технологічність (зручність обробки).
Проводиться обробка інформації статистичними методами, які дозволяють визначити ступінь впливу різних чинників на розвиток соціальних процесів, але це можливо тільки при кількісному вимірі соціальних фактів, які досить часто не мають нічких кількісних характеристик і еталонів вимірювання. Це зазвичай думки та судження. Тому обробку доводиться робити на основі гіпотез дослідження, використовуючи процедуру квантификации - додання якісними ознаками кількісної визначеності.

# Обробка результатів опитування

Обробки результатів опитування складається з узгодженості думок в експертній групі та об'єктивізації експертних думок. Заключний етап дослідження складаєтья з аналізу та інтерпретації даних, отримання обґрунтованих узагальнень, рекомендацій та висновків.

Узгодженість думок в експертній групі

Оцінкою відносної важливості напрямків (факторів, параметрів) не обмежується обробка даних опитувальних анкет. Не менш важливі питання для наукового обгрунтування прогнозу має оцінка показника ступеня узгодженості думок експертів за допомогою системи показників. [20]

Об'єктивізація експертних думок

Об‘єктива́ція (англ. objectification, від лат. objectivus — предметний) — уречевлення, опредметнення, перетворення живого на об'єкт. [21]

# Підходи та способи вирішення завдання

Задля коректної роботи системи організацій та проведення опитувань експертів необхідно:

веб-застосунок або/та мобільний додаток із максимально простим й інтуїтивно зрозумілим інтерфейсом;
розробити та налаштувати спеціалізовану базу даних;
зберігати в базі даних опитування та їх результати;
розробити систему для обробки результатів опитувань та для оцінки роботи експертів на основі створенної бази даних, у ній мають бути наявні інструменти для швидкої та зручної обробки даних.

# Порівняльна характеристика існуючих засобів вирішення завдання

Google Forms (opens new window) (англ. Google Forms) - програмне забезпечення для адміністрування опитування, що входить до складу безкоштовного вебпакету Google Docs Editors, пропонованого Google. Послуга також включає Google Docs, Google Sheets, Google Slides, Google Drawings, Google Sites і Google Keep. Google Форми доступні лише як вебдодаток. Додаток дозволяє користувачам створювати та редагувати опитування в Інтернеті, співпрацюючи з іншими користувачами в режимі реального часу. Зібрану інформацію можна автоматично внести в електронну таблицю.[9]

SurveyMonkey (opens new window) - створювання, редагування та надслияння опитування, передача результатів, побудова за допомогою шаблонів експертів тощо.[10]

Survio (opens new window) - це система онлайн-опитувань для підготовки анкет, збору та аналізу даних і обміну результатами.[11]

SurveyJS (opens new window) - бібліотеки конструктора форміз відкритим вихідним кодом, які дозволяють створювати необмежену кількість форм опитування у системі керування формами, що розміщена на власному хості, без використання коду.[12]

Система “ОСА” (opens new window) - технологія обробки та аналізу соціологічних та маркетингових досліджень існує на ринку України вже понад 20 років. Всі ці роки розробка технології велася з урахуванням потреб фахівців, для яких вона створювалася. Більшість соціологічних та маркетингових компаній України використовують цю технологію у своїй роботі. Особливий внесок у вдосконалення технології внесли такі компанії як КМІС та СОЦІС Gallup International (зараз TNS Ukraine) Ми будемо раді, якщо наш новий проект OCA New Line буде також корисний фахівцям і допоможе їм вирішувати все складніші та цікавіші завдання, які ставить перед ними життя.[13]

🟩 - реалізовано;

🟨 - реалізовано (тільки у платній версії);

🟥 - не реалізовано.

# Порівняльна таблиця

Критерії/сервіси	Наш проект	Google Forms (opens new window)	SurveyMonkey (opens new window)	Survio (opens new window)	SurveyJS (opens new window)	Система “ОСА” (opens new window)
Мова інтерфейсу	UKR/ENG	UKR/ENG	ENG/RUS	ENG/RUS	ENG	UKR/RUS
Наявність шаблонів опитування	🟩	🟩	2 безкоштовні шаблони	🟩	🟥	🟥
Ліміт на відповіді в опитуваннях (безкоштовна версія)	🟥	🟥	40 на місяць	100 на місяць	🟥	🟥
Інтуїтивно зрозумілий інтерфейс	🟩	🟩	🟩	🟩	🟥	🟥
Можливість поділитись опитуванням через соц. мережі	🟩	🟩	🟩	🟩	🟥	🟥
Види опитувань	Варіанти відповідей, прапорці, власна відповідь	Варіанти відповідей, прапорці, власна відповідь, можливість вставити фото, діаграму, відео, текст, імпортувати запитання	Опитування багатьма мовами, таблиці, можливість вставити текст, відео, фото, підсказку	Можливість додати логотип, декілька варіантів відповідей, прапроці, вибір зображення, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, можливість вставити текст, відео, фото, підказку	Декілька варіантів відповідей, прапорці, власна відповідь, відповіді у вигляді матриці, оцінювання у вигляді рейтингу, вставка коду, можливість вставити текст, відео, фото, підказку	Варіанти відповідей, прапорці, власна відповідь, вибір зображення, оцінювання у вигляді рейтингу
Результати опитувань	Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів	Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів	Загальні результати, відповіді окремих респондентів, аналітика відповідей	Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів, історія відвідувань опитування	Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів, можливість експортувати відповіді	Загальні результати, результати у вигляді діаграм, відповіді окремих респондентів
Вартість користування	Безкоштовно	Безкоштовно	Безкоштовно, є платна версія (від 30€)	Безкоштовно, є платна версія (від 17$)	Безкоштовно, є платна версія (від 199€)	Безкоштовно
Можливість формування та управління експертними групами, процесом опитування	🟩	🟥	🟨	🟨	🟨	🟩
Режими роботи (реалізація методів експ. опитування)	Дельфі	Дельфі	Дельфі, у платній версії ще й мозкова атака	Дельфі, у платній версії ще й мозкова атака	Делфі	Делфі

# Висновки

Google Forms є найпоширенішим і найдостунішим сервісом, проте йому дещо бракує функціональності. Сервіси SurveyJS та ОСА більш функціональні, проте менш user-friendly, що може злякати нового користувача. За використання Survio та SurveyMonkey потрібно витрачати кошти. Отже, розробка нової системи буде вигіднішим рішенням, ніж використання напрацювань вищевказаних сервісів, вбираючи більшість їх переваг.