# Аналіз предметної області

# Вступ

У даній роботі ми проведемо детальний аналіз предметної області створюваної нами системи організації та управління опитуваннями експертів, опишемо термінологію, присутню в процесі знайомства й вивчення теми та безпосередньо розглянемо різні підходи до вирішення завдання. Також потрібно порівняти існуючі засоби вирішення завдання між собою, наперед визначивши деталі нашої розроблюваної системи й додавши її до загального порівняння. Підбиваючи підсумки, маємо дійти власне до доцільності розроблення нової системи організації та управління експертними опитуваннями.

# Основні визначення

# Експерт

Експерт (від лат. expertus — досвідчений) — висококваліфікований спеціаліст, який має вищу освіту, відповідну кваліфікацію і професійні знання з питань, що досліджуються, виконує службові обов'язки, пов'язані з провадженням діяльності у відповідній галузі, безпосередньо проводить експертизу та несе персональну відповідальність за достовірність і повноту аналізу, обґрунтованість висновків відповідно до завдання на проведення експертизи. [1]

Основні причини вибору експертів: [1]

Високий рівень інтелекту
Значний досвід роботи
Активна наукова діяльність
Існування публікацій у престижних виданнях
Престижна освіта
Високий особистий статус

# Експертне опитування

Експертне опитування – це метод збору інформації, заснований на думках про будь-яке явище чи процесі групи компетентних фахівців, які називаються експертами.

Як правило, експертні опитування проводяться в комплексі з масовим (соціологічним) опитуванням. Проведення експертних інтерв’ю допомагає інтерпретувати кількісні дані, отримані в результаті масового опитування. Думки компетентних фахівців дозволяють сформувати і уточнити дослідні гіпотези, правильно оцінити факти та «суху» інформацію.

Іноді експертне опитування доцільно проводити, навпаки, на початку комплексного дослідження: щоб визначити цілі, проблемне поле та інструментарій наступних етапів дослідницького проекту. [2]

# Види експертного опитування

За ступенем взаємодії експертів

Індивідуальний

Опитування експертів проводиться окремо, експерти не знають про позиції інших фахівців і можуть навіть не знати, що інші фахівці теж опитуються.

Індивідуально-колективний

Спочатку кожен експерт дає окрему оцінку досліджуваного явища, після чого проводиться оцінка думок експертів і кожному експерту повідомляють усереднену оцінку висловлених думок. Далі експертам знову пропонують оцінити досліджуваний об'єкт з урахуванням усередненої оцінки. Експерти можуть переглянути початкову оцінку чи обґрунтувати свою точку зору, відмінну від загальної думки. Ця процедура повторюється до тих пір, доки оцінки не зблизяться на стільки, що середня з них може вважатися достатньо надійною.

Груповий

Відкрите і всебічне обговорення проблеми кількома фахівцями і вироблення колективної позиції.

За ступенем відкритості

Очний

Це особиста зустріч та бесіда з експертами. Недоліком очного опитування є великі затрати праці та часу як з боку дослідника, так і експертів. Необхідність тривалої участі в експертизі зазвичай викликає невдоволення з боку експертів. Крім того, при очному опитуванні можуть виникати небажані спотворення інформації внаслідок психологічного впливу дослідника на експерта.

Заочний

Відбувається розсилка анкет експертам поштою. Його переваги – простота та дешевизна. Однак надійність отриманих даних може бути нижче, ніж при очному опитуванні, оскільки деякі питання експерт може неправильно витлумачити, а деякі взагалі не дати відповіді. [3]

# Анкетування

Анкетування (від фр. enquete) — метод отримання інформації шляхом письмових відповідей респондентів на систему стандартизованих запитань попередньо підготовлених бланків — анкет. Анкетування належить до групи методів, яка в соціології, педагогіці і психології має назву «опитування». У цю групу, крім анкетування, ще входять інтерв'ю і бесіда. [4]

# Види анкетування

За повнотою охоплення:

суцільне (передбачає опитування всієї сукупності досліджуваних осіб)
вибіркове (опитується лише вибіркова частина сукупності респондентів)

За способом спілкування дослідника з респондентами:

особисте (передбачає безпосередній контакт дослідника з респондентом. Цей спосіб має дві значні переваги, по-перше, гарантує повернення анкет і, по-друге, дозволяє контролювати правильність їх заповнення)
заочне (респонденти відповідають на запитання анкети при відсутності дослідника)

За кількістю респондентів:

групове (передбачає опитування одночасно декількох людей)
масове (опитування значної кількості респондентів)
індивідуальне (опитування проводиться по черзі)

За способом передачі анкет респондентам:

поштове (анкети розсилаються респондентам і повертаються досліднику поштою
роздаточне (передбачає особисте вручення анкети респонденту)

За відкритістю респондентів:

легальне (зазначається особа респондента)
анонімне (опитування проводиться інкогніто) [4]

# Види запитань в анкетах

За змістом:

особистісні (стать, вік, професія, освіта і тд);
про факти свідомості (думки, враження, судження, мотиви і тд);
про факти поведінки (результати діяльності, вчинки, дії і тд).

За формою відповідей:

закриті (містять повний набір можливих варіантів відповіді):
- дихотомічні (відповіді так/ні)
- поліваріативні (є декілька варіантів відповіді)
- шкальні (наприклад, повністю згоден/згоден/частково згоден/не згоден)
- табличні
напівзакриті (містять певні варіанти відповіді, але можна також внести власну);
відкриті (передбачають самостійну та розгорнуту відповідь респондентів).

За сформованістю запитання:

прямі (спрямовані на безпосереднє та відкрите отримання інформації від респондентів);
непрямі (пов'язані з використанням якоїсь уявної ситуації, яка дозволить приховано дізнатись певну інформацію)

За функціями:

інформаційні (основні);
фільтри (використовують у випадку, якщо потрібно зібрати інформацію не від усіх респондентів, а від певної категорії);
контрольні (дають можливість уточнити правильність відповіді респондента). [5]

Крім того, розрізняють допоміжні та основні / змістовні запитання. Допоміжні запитання надають важливу для дослідження інформацію, яка пов’язане не зі змістом дослідження, а, наприклад, з характеристиками цільової аудиторії, або слугують підводками до основних запитань.

Слід враховувати різні види запитань з точки зору змісту та чітко розуміти, чого стосуються наші запитання: поведінки, знань чи ставлення. Це важливо для того, аби краще формулювати запитання.

Види запитань з точки зору змісту

[5] Види запитань з точки зору змісту.

# Обробка результатів експертного опитування

Після того, як експертне опитування проведене, необхідно обробити й проаналізувати отриману від них інформацію. Якщо експерт може порівняти й оцінити можливі варіанти дій, приписавши кожному певне число, вважається, що він має систему вподобань. Вподобання експерта можуть бути задані різними шкалами: номінальна, порядкова, інтервальна. Залежно від того, за якою шкалою задані ці переваги, експертні оцінки містять більший або менший обсяг інформації і мають різну здатність до математичної формалізації.
Як правило, для обробки інформації, отриманої від експертів, застосовують такі методи:

метод простого ранжування;
метод послідовних порівнянь;
метод парних порівнянь;

Метод ранжування. Суть методу зводиться до того, що фактори, що впливають на досліджувану проблему або оцінки експертів, ранжуються у порядку зростання або зменшення їхньої значущості, що дозволяє відібрати найважливіші фактори або оцінки. Коли необхідно впорядкувати будь-які явища (об'єкти) у часі чи просторі. Це ситуація, коли дослідника цікавить не порівняння ступеня вираженості будь-якої їхньої ознаки, а лише взаємне просторове або тимчасове розташування цих явищ (об'єктів). У разі необхідності впорядкувати об'єкти відповідно до певної ознаки, але при цьому не потрібно проводити її точне вимірювання. У випадках, коли якість загалом вимірювана, але зараз не може бути виміряна з причин практичного або теоретичного характеру. Шкала, яка отримується в результаті ранжування називається порядковою. [6]

Метод послідовних порівнянь. Цей метод було розроблено У. Черчменом та Р. Акофом. Процедура цього методу полягає в наступному: експерту надається перелік факторів, які необхідно оцінити щодо їх відносної важливості та ранжувати. Найбільш важливому фактору експерт ставить оцінку 1, а решті факторів оцінки лежать в інтервалі від 0 до 1 в порядку їх відносної важливості. Потім експерт вирішує, чи є фактор з оцінкою 1 важливішим, ніж комбінація інших факторів. Якщо це так, то він збільшує оцінку цього фактора так, щоб вона була більшою, ніж сума всіх інших факторів. Якщо ж експерт вважає, що фактор, який має оцінку 1, не є більш важливим, ніж комбінація інших факторів, він коригує оцінку цього фактора так, щоб вона була меншою від суми всіх інших факторів. Далі експерт визначає, чи є другий найважливіший чинник важливішим, ніж решта чинників, отримали нижчі оцінки; повторюється та сама процедура, як і першого фактора. Застосування методу послідовних порівнянь ґрунтується на припущенні про те, що якщо заданий певний інтервал дійсного змінного, скажімо від 0 до 1, то експерт, ґрунтуючись на наявній у нього інформації, може встановити попередні оцінки для кожної події, а потім уточнити їх на основі порівняння за допомогою певної логічної процедури. Застосування даного методу при виявленні переваг для великої кількості факторів викликає труднощі оцінки в експерта. Для зменшення цих труднощів було розроблено метод парних порівнянь.[7]

Метод парних порівнянь. Цей метод розроблений Луї Терстоуном. У методі парних порівнянь об'єкти зіставляються експертами попарно, та потім вибирається одне із них. Експерт може встановити рівність об'єктів або зафіксувати свої переваги на певній шкалі. Метод парних порівнянь зручний не лише тоді, коли число об'єктів велике, а й тоді, коли різницю між об'єктами настільки малі, що безпосереднє ранжування чи оцінка не забезпечують їх розумного упорядкування. Найчастіше при парному порівнянні двох об'єктів обмежуються простою констатацією того, що один з них кращий за інший. В окремих випадках, коли ступінь переваги можна виявити, використовуються окремі шкали, де кожному ступеню переваги надається певна оцінка. [8]

# Оцінювання узгодженості експертних думок

Формування експертних оцінок дуже важливе, тому що саме визначення методу оцінювання є одним із факторів, котрі впливають на якість експертизи. Можна виділити такі основні методи проведення експертних оцінок для визначення якості т об'єктів І експертами.

Метод бальних оцінок. Цей метод передбачає використання бальної шкали, межі якої визначені та відомі експертам. Основні переваги методу бальних оцінок:

простота визначення групових оцінок об'єктів після проведення експертизи;
можливість ураховувати компетентність експертів;
можливість аналізу за допомогою як кількісних, так і якісних методів, що дозволяє порівняти результати. Якщо висновки збігаються, то можна констатувати, що вони достовірні і базуються на матеріалі експертизи, а не на методах обробки даних.

Метод абсолютних оцінок. Цей метод передбачає використання числової шкали оцінок, межі якої визначено технічними характеристиками об'єкта.
Метод ранжування. Експерти оцінюють якість об'єктів за допомогою встановлення їх рангу
Метод відносних оцінок. Експерт дає відносну оцінку якості об'єкта. Цей метод використовує бальну або числову шкалу відношень і може застосовуватись, наприклад, в оцінці коефіцієнтів відносної важливості цілей стратегії або відносної важливості критеріїв.
Метод попарних порівнянь. Використовується тоді, коли експерти можуть порівняти об'єкти між собою попарно і встановити кращий об'єкт у кожній парі.

Підсумовуючи, можна сказати, що до методів оцінювання узгодженності експертних думок зараховують комплекс логіко-матема-тичних процедур, з реалізацією яких прагнуть отримати від експертів інформацію про об'єкт чи процес дослідження в найбільшому обсязі; проаналізувати інформацію. Методи експертних оцінок є засобом об'єднання формального й неформального аналізу проблеми. їх поділяють на індивідуальні та колективні. Індивідуальні експертні методи ґрунтуються на використанні думок експертів-фахівців незалежно один від одного. Методи колективних експертних оцінок передбачають виявлення колективної думки експертів щодо об'єкта чи процесу. [9]

# Підходи та способи вирішення завдання

# Методи експертних опитувань

метод незалежних характеристик;
збір думок;
метод Дельфі;
метод Патерн;
мозковий штурм;
метод прогнозних сценаріїв;
метод колективного блокнота («банку» ідей) [10]

Метод незалежних характеристик — метод, що дозволяє дати узагальнену оцінку одного явища, інформація про який надходить з декількох незалежних джерел (від різних людей). На першому етапі відбувається порівняння та зіставлення різних думок, на другому — вони обробляються за допомогою математико-статистичних процедур, на третьому формулюються достовірні висновки. Такий метод активно застосовується в соціальній психології для вивчення ділових та особистісних якостей індивіда. Тут кількох людей, добре знайомих з досліджуваним людиною, просять охарактеризувати його за єдиною шкалою, а потім узагальнюють незалежні оцінки в інтегральний показник.

Збір думок — айбільш простий вид заочного опитування експертів. Він полягає в тому, що експертам розсилаються спеціально підготовлені опитувальні листи, в яких вони повинні викласти свою думку по суті поставлених питань. При складанні експертного запитальника використовується від 50 до 90% відкритих питань. Збір думок подібний вільному інтерв'ю і відрізняється від нього лише письмовою формою опитування, яка дає можливість залучити велику кількість експерті, але пов'язане з організаційними труднощами, зумовленими низьким рівнем повернення анкет.

Метод Дельфі [11] — метод спрямований на вдосконалення процесу прийняття експертних оцінок, але з такою метою, щоб загальну оцінку виводила не математика та статистика, а самі люди, орієнтуючись на думку інших, якщо треба, коректуючи його, підсилюючи свою аргументацію або відмовляючись від неї на користь найкращого, більш обґрунтованої точки зору. Подібна техніка дозволяє зменшити вплив недостатньо компетентних експертів на групову оцінку, як це спостерігається при простому анкетуванні. Воно досягається за рахунок отриманої цінної інформації від компетентних експертів.

Метод Патерн [11] - Метод опитування експертів, заснований на побудові ієрархічної структури і винесенні рішення цих цілей після відкритого обговорення. Метод ПАТЕРН передбачає кілька етапів.

Постановка основної проблеми, що вимагає рішення, і поділ її на ряд вторинних проблем від першого до n-ного порядку, які потім діляться на більш вузькі завдання. Розподіл триває до тих пір, поки не будуть отримані прості елементи, які можуть бути оцінені експертами.

В результаті такого поділу виходить ієрархічна структура пов'язаних один з одним основних, вторинних проблем і завдань, звана деревом цілей.

Визначення за допомогою експертів коефіцієнтів вагомості (або значимості) кожного завдання щодо основної мети, при цьому експерти виносять рішення після відкритого обговорення в експертній групі.
Застосування ЕОМ для обробки отриманих даних і їх аналізу. Перевагою методу ПАТЕРН в порівнянні з методом Дельфі є спрощення процедури експертного опитування. Однак поряд з достоїнствами метод має і ряд недоліків: відсутність обгрунтувань оптимального числа членів експертної групи, а також методики відбору в експертну групу компетентних фахівців; обробка результатів опитування без урахування відмінностей в якості окремих експертів; відсутність бар'єрів для прояву конформізму експертів.

Мозковий штурм — метод, що важається найбільш відомим методом колективного прийняття творчих рішень. Він являє собою вільний, неструктурований процес генерування власних ідей навколо заданої теми, спонтанно запропонованих учасниками. Філософія цього методу виходить із припущення, що при звичайних прийомах обговорення виникненню новаторських ідей перешкоджають контрольні механізми свідомості, які сковують потік цих ідей під тиском звичних, стереотипних форм прийняття рішення. Гальмуючий вплив надають страх невдачі, страх виявитися смішним і т.д.

Метод прогнозних сценаріїв — метод, що засновується на побудові сценаріїв (ймовірнісний опис картини майбутнього, складеної на основі компетентних технічних суджень). Один прогноз включає кілька сценаріїв, в більшості випадків три: оптимістичний, песимістичний і проміжний (найбільш ймовірний, очікуваний). Складання сценарію відбувається у кілька етапів:

структурування та формулювання питання: збір і аналіз вихідної інформації, узгодження завдання з усіма учасниками проекту, виділення структурних характеристик проблеми;
визначення факторів зовнішнього впливу;
знаходження показників, бажано альтернативних, майбутнього стану;
формування і відбір узгоджуються наборів припущень за допомогою комп'ютерних програм;
розробка практичних рекомендацій до сценарію майбутнього і визначення можливих наслідків його реалізації.

Метод колективного блокнота («банку» ідей) — спосіб, заснований на поєднанні незалежного висування ідей кожним експертом з подальшою їх колективної оцінкою.

# Порівняльна характеристика існуючих засобів вирішення завдання

Google Forms — програмне забезпечення для адміністрування опитування, що входить до складу безкоштовного вебпакету Google Docs Editors, пропонованого Google. Послуга також включає Google Docs, Google Sheets, Google Slides, Google Drawings, Google Sites і Google Keep. Google Форми доступні лише як вебдодаток. Додаток дозволяє користувачам створювати та редагувати опитування в Інтернеті, співпрацюючи з іншими користувачами в режимі реального часу. Зібрану інформацію можна автоматично внести в електронну таблицю.[12]

Survio — Просте у використанні програмне забезпечення для опитування задоволеності клієнтів, зворотного зв'язку з працівниками, маркетингових досліджень та інших онлайн-опитувань.[13]

SurveyJS - це безкоштовна бібліотека веб-розробки з відкритим вихідним кодом для веб-додатків статистичних опитувань, написаних на мові JavaScript. Бібліотека підтримує декілька популярних фронтенд-фреймворків, серед яких Angular 2, jQuery, Knockout (веб-фреймворк), React.js, Vue.js.[14]

ОСА - технологія обробки та аналізу соціологічних та маркетингових досліджень існує на ринку України вже понад 20 років. Всі ці роки розробка технології велася з урахуванням потреб фахівців, для яких вона створювалася. Більшість соціологічних та маркетингових компаній України використовують цю технологію у своїй роботі. Особливий внесок у вдосконалення технології внесли такі компанії як КМІС та СОЦІС Gallup International (зараз TNS Ukraine) Ми будемо раді, якщо наш новий проект OCA New Line буде також корисний фахівцям і допоможе їм вирішувати все складніші та цікавіші завдання, які ставить перед ними життя.[15]

Typeform - хмарний сервіс для створення форм, тестів і опитувань. За допомогою Typeform компанії можуть створювати унікальні опитувальні форми, розміщувати їх на сайтах або ділитися ними в соціальних мережах, аналізувати відповіді респондентів. Сервіс підійде як для маленького бізнесу, так і для великих корпорацій. Форми створюються в конструкторі. Їх можна створювати, використовуючи готові шаблони з різних тематик або створити форму з нуля. Опитування складаються з декількох сторінок. На них можна розміщувати запитання, зображення та відео, посилання та інші елементи. Запитання бувають різних типів - це можуть бути запитання з множинним вибором відповідей, тести, форми для збору контактних даних, відкриті запитання та інші. Дизайн опитувань може бути будь-яким, користувачі можуть створювати теми, в яких будуть використовуватися індивідуальний фон, шрифти, кольори кнопок та інше.[16]

Examinare - програмне забезпечення для проведення досліджень і опитувань, що дає змогу створювати, розповсюджувати й аналізувати заповнені форми. Рішення пропонує інтеграцію з тікет-системами і програмами електронної комерції, а також опції автоматичного створення та переміщення звітів. Система функціонує в інтернеті, при цьому створені опитування адаптуються під монітори ПК і смартфонів.[17]

SurveyMonkey - одна з найпопулярніших платформ для створення і проведення онлайн-опитувань. Нещодавно у сервісі з'явилася власна база респондентів для проведення досліджень. Ви можете сконструювати форму, надіслати її власним користувачам у зручний спосіб або звернутися до бази SurveyMonkey. Із зібраними даними можна працювати прямо на платформі: пошук, структурування, візуалізація, вивантаження.[18]

Zoho Survey - це інструмент для проведення онлайн-опитувань з простим у використанні інтерфейсом. У сервісі можна налаштовувати опитування за допомогою інструментів дизайну, інтегрувати Survey з іншими додатками Zoho та сторонніми програмами, ділитися опитуванням та збирати відповіді, а також аналізувати результати опитування, щоб допомогти вам приймати кращі бізнес-рішення.[19]

Критерії/сервіси	Нами розроблювана система	Google Forms (opens new window)	Survio (opens new window)	SurveyJS (opens new window)	Система “ОСА” (opens new window)	Typeform (opens new window)	Examinare (opens new window)	SurveyMonkey (opens new window)	Zoho Survey (opens new window)
Мова інтерфейсу	UKR/ENG	UKR/ENG/RU	ENG/RUS	ENG	UA/RU	ENG	ENG/UA/RU	ENG/RU	ENG
Види опитування	Варіанти відповідей, власна відповідь, прапорці, можливість вставити медіа, текст, імпортувати запитання	Варіанти відповідей, власна відповідь, прапорці, можливість вставити медіа, текст, імпортувати запитання	Мультивибір, матричні, рейтингові опитування, втсавлення тексту, зображення, відео	Мультивибір, матричний ввід, рейтинговий вибір, вставка коду, тексту, зображення, відео, фото	Власна відповідь, вибір зображення, прапорці, оцінювання у вигляді рейтингу	Різні типи питань, готові шаблони,вставлення фото, відео, ссилок і файлів	Варіанти відповідей, прапорці, власна відповідь,відповіді у вигляді матриці, телефонні опитування	Варіанти відповідей, перехресні таблиці	Мультивибір, випадаючий список, вставка зображення, слайдери, вибір рейтингу, матричний вибір, введення одного чи багатьох рядків, числове введення, введення імені, електронної пошти, календарний вибір, завантаження файлу
Можливість поділитись опитуванням через соц. мережі	✓	✓	✓	✗	✗	✓	✗	✓	✓
Шаблони опитування	✓	✓	✓	✗	✗	✓	✓	✗	✓
Результати опитувань	Результати у вигляді діаграм, відповіді окремих опитуваних	Результати у вигляді діаграм, відповіді окремих опитуваних	Результати у діаграмах, перегляд відповідей кожного респондента, історія відвідувань	Загальні результати, представлення у вигляді діаграм, перегляд відповіді кожного респондента	Загальні результати, результати у вигляді діаграм, окремі відповіді опитуваних	Перегляд і вивантаження результатів, завантаження результатів у хмарні сервіси	Простий аналіз відповідей, звітність	Фільтрація та групування результатів, будування графіків, і звітів. Розширений функціонал для професійного використання	Експорт в pdf (безкоштовна версія), експорт в pdf, xls, csv, SPSS (платна версія)
Ціна використання	Безкоштовно	Безкоштовно	Безкоштовно (обмежений функціонал)	Безкоштовно (обмежений функціонал)	Безкоштовно	Безкоштовно (пробний період)	17$	Безкоштовно (обмежений функціонал)	Безкоштовно (обмежений функціонал)
Обмеження безкоштовної версії	✗	✗	Ліміт становить 5 опитувань	✗	✗	Пробний період	Пробний період	100 відповідей на питання	10 запитаннь на опитування, 100 відповідей на опитування, близько 250 шаблонів опитуваннь
Переваги підписки	✗	✗	Безліміт на кількість опитувань, відображення результатів у реальному часі, розширена кастомізація опитувань	Експорт в pdf, служба підтримки, аналітика	✗	Необмежене користування у часі	Необмежене користування у часі	Будь-яка кількість відповідей на питання	Безлімітна кількість запитань, відповідей, шаблонів, автентифікація через e-mail, інтеграція з Google Sheets, Zoho CRM
Розташування серверів	UA	USA	CH(Чехія)	USA	RU	USA	SWE(Швеція)	USA	USA
Методи експертних опитувань	Метод Делфі, збір думок, мозковий штурм, метод колективного блокнота	Метод Делфі	Метод Делфі, мозковий штурм	Метод Делфі	Метод Делфі	Метод Делфі	Метод Делфі	Метод Делфі, мозковий штурм	Метод Делфі

# Висновки

З порівняльної характеристики вже наявних засобів організації та управління опитування експертів бачимо, що найпоширенішою системою є Google Forms, звичайно, завдяки відомості саме компанії Google. Вона є надійною, добре підтримується, має зрозумілий, інтуїтивний інтерфейс, а головне - безкоштовна. Головним недоліком Google Forms є не найширший із можливих функціоналів, що для нас є мінусом, проте простому “юзеру цього буде цілком достатньо”. Не дивлячись на те, що система “ОСА” має досить широкий функціонал, вона є застарілою, рідко оновлюваною й замало підримуваною. А щодо Survio, Typeform, Zoho Survey та інших засобів опитувань, то вони передбачають значно більший функціонал, варіативність, аналіз результатів та їх експорт(в хмарні сховища, pdf, xls …), але тим самим зменшують інтуїтивність використання та прозорість певних процесів, до того ж, за всі ці “плюшки” потрібно платити гроші, оскільки безкоштовна версія чи пробний період обмежують час використання, кількість відповідей, та інші важливі функції, тому за переваги цих систем потрібно платити.

Проаналізувавши вищесказане, можна зробити висновок, що створення нової системи організації та опитування експертів є сповна доцільним. Вона повинна мати зручний, простий інтерфейс, наскільки це можливо, розширену функціональність як створення анкетувань, так і аналізу й обробки результатів їх проведення.

# Посилання

← Вступ Запити зацікавлених осіб →