Лекція 5. Інструменти аналізу даних для бізнесу

Відкриті дані: основні поняття

Відкриті дані − це інформація, що генерується державою та оприлюднюється в машиночитаній формі для її подальшого використання бізнесом, громадськістю, дослідниками та органами влади.

Урядові відкриті дані:

-                роблять роботу держави прозорою для громадськості та бізнесу;

-                підвищують якість публічних послуг;

-                допомагають формувати політики і приймати обґрунтовані рішення.

Бізнесові відкриті дані:

-                допомагають споживачам приймати кращі рішення завдяки доступу до повної інформації про ринок;

-                дозволяють створювати нові товари, сервіси та бізнес-моделі;

-                надають можливість ефективно взаємодіяти з державними органами.

Відкриті дані для громадськості:

-                полегшують комунікацію між органами влади, бізнесом та громадськістю;

-                допомагають контролювати діяльність органів влади;

-                залучають до процесів прийняття рішень.

В Законі України «Про доступ до публічної інформації» (стаття 10-1) зазначено, що публічна інформація у формі відкритих даних − це публічна інформація у форматі, що дозволяє її автоматизоване оброблення електронними засобами, вільний та безоплатний доступ до неї, а також її подальше використання.

-                «публічна інформація» − інформація, що отримується, створюється або зберігається органами державної влади, місцевого самоврядування, державними та комунальними підприємствами та іншими розпорядниками відповідно частини першої статті 13 Закону України «Про доступ до публічної інформації»;

-                «у форматі, що дозволяє її автоматизоване оброблення електронними засобами» − йдеться про формати електронних таблиць (XLS, XLSX, ODS) і машиночитаних файлів (CSV, XML, JSON). Якщо набори оприлюднені таким чином, то їх дані легко обробляти, поєднувати між собою, аналізувати, імпортувати в бази даних тощо. І навпаки, скановані зображення у форматах PDF, JPEG і текстові документи DOC, DOCX, ODT неможливо обробити автоматично;

-                «вільний та безоплатний доступ до неї» − для того, щоб завантажити відкриті дані, не потрібно реєструватись, використовувати BankID, MobileID або кваліфікований електронний підпис тощо. Відкриті дані є безкоштовними;

-                «а також її подальше використання» − відкриті дані можна вільно копіювати, публікувати, поширювати, поєднувати з іншими даними, використовувати в комерційних цілях у вебсервісах та мобільних застосунках. Обов’язково лише вказати посилання на джерело.

Можливості відкритих даних

Відкриті дані надають різноманітні можливості для різних сфер діяльності, зокрема бізнесу, уряду та громадськості загалом

Відкриті дані для бізнесу:

-                допомагають споживачам ухвалювати кращі рішення завдяки доступу до повнішої інформації про ринок (наприклад, сервіс Monitor.Estate дозволяє користувачам зменшити ризики при купівлі нерухомості у семи містах України та Київській області);

-                дозволяють створювати нові товари, послуги, сервіси та бізнес-моделі (сервіс «Штрафи UA» дозволяє сплачувати штрафи за порушення правил дорожнього руху та перевіряти їх погашення);

-                надають можливість ефективно взаємодіяти з різними державними органами влади (система Prozorro дозволяє компанія та підприємцям легко знаходити можливості участі в тендерах, досліджувати ринки та оскаржувати неправомірні дії замовників і учасників торгів).

Відкриті дані для уряду:

-                роблять роботу держави прозорою для громадськості та бізнесу (Єдиний державний веб-портал використання публічних коштів (spending.gov.ua) дає доступ до 161 мнл бюджетних транзакцій та 55 млн договорів, актів та звітів розпорядників бюджетних коштів. На openbudget.gov.ua відкрита структура державного та 8.8 тис. місцевих бюджетів);

-                підвищують якість публічних послуг (надсилання паперових сповіщень про судові засідання забирає багато робочого часу, потребує значного фінансування та є неефективним);

-                допомагають формувати політики і приймати обґрунтовані рішення (наприклад Міністерство фінансів України розробило серію дашбордів для аналізу фінансування закладів середньої та вищої освіти; завдяки дашбордам Національна служба здоров’я України оцінює ефективність реформування галузі, реалізацію урядової програми «Доступні ліки» та багато іншого).

Відкриті дані для громадськості:

-                полегшують комунікацію між органами влади, бізнесом та громадськістю (завдяки оперативним сповіщенням знизилось навантаження на місцеві контакт-центри, а користувачі отримали можливість завчасно підготуватися до тимчасової відсутності комунальних послуг);

-                допомагають контролювати діяльність різних органів влади (наприклад антикорупційна карта ремонтів дає можливість запобігти розкраданню бюджетних коштів на ремонтах;

-                залучають до процесів прийняття рішень (використовуючи чат-боту SaveEcoBot громадяни можуть відстежувати проходження процедури оцінки впливу на довкілля й включатись до обговорення діяльності екологічно небезпечних підприємств. Бот отримує дані із 40-а різних джерел, а кількість його користувачів - понад 450 тис).

*інформація за даними: https://diia.data.gov.ua/info-center/oda

Типи та формати структурованих даних

Аналіз відкритих даних впливає:

Основні типи відкритих даних:

Текстові дані складаються із заголовків, параграфів, реквізитів, також можуть включати таблиці та ілюстрації. Прикладами текстових даних є нормативно-правові акти, розпорядчі документи, положення, програми, звіти, угоди. Для роботи з ними найчастіше використовуються редактори Microsoft Word, LibreOffice Writer, Google Документи. Рекомендовані формати оприлюднення текстових даних: DOC, DOCX, ODT, TXT, RTF та HTML.

Структуровані дані включають таблиці та ієрархічні дані, які містяться в базах даних. Це найбільш цінний тип відкритих даних, оскільки їх легко автоматично обробляти.

Геопросторові дані описують положення географічних об'єктів на території. Наприклад, містобудівна документація, супутникові знімки, дані інтерактивних мап тощо. Існує два типи геопросторових даних: векторні (SHP, GeoJSON, KML, MID, MIF, ХML) та растрові (GeoTIFF).

Вибір формату набору найчастіше залежить від програмного забезпечення, в якому зберігаються дані. Формати структурованих даних умовно можна розділити на табличні (xls, xlsx, ods, csv) та ієрархічні (json та xml).

Формати електронних таблиць (xls, xlsx, ods). Електронні таблиці (Microsoft Excel, LibreOffice Calc, Google Таблиці) − це найбільш поширене програмне забезпечення для роботи з наборами даних.

CSV (значення, що розділені комою). Цей формат використовується для обміну даними між різним програмним забезпеченням. Для збереження CSV-файлів необхідно використовувати Google Таблиці або LibreOffice Calc. Csv-файли з Microsoft Excel не відповідають загальноприйнятому формату, оскільки використовують специфічне кодування операційної системи (Windows-1251 замість UTF-8) та розділювач крапку з комою замість коми.

JSON та XML. На відміну від табличних форматів, формати JSON та XML слугують для збереження ієрархічних даних. Часто такі формати використовуються для передачі даних в інтернеті. Наприклад, можна легко отримати звітність та договори зі spending.gov.ua й оприлюднити їх на data.gov.ua. Також ієрархічно структуровані дані у Prozorro, Інспекційному порталі, Єдиному державному реєстрі юридичних осіб, фізичних осіб-підприємців та громадських формувань. Для того, щоб обробляти та аналізувати такі набори, потрібно мати навички програмування.

API, Application Programming Interface (інтерфейс прикладного програмування). У контексті оприлюднення відкритих даних термін «API» означає спеціальний функціонал вебсервісів, що дає можливість оприлюднювати датасети автоматично (без участі розпорядника). Для отримання даних через API вебсервісів найчастіше використовуються запити у форматі гіперпосилань.

Пошук відкритих даних

Національний портал відкритих даних. Відкриті дані центральних та місцевих органів влади потрібно шукати на data.gov.ua − Національному порталі відкритих даних.

Органи мають публікувати набори відкритих даних, щоб виконати вимоги законодавства. За Національний портал відкритих даних − data.gov.ua – відповідає Міністерство цифрової трансформації України.

Локальні портали відкритих даних. Місцеві органи влади також створюють власні портали відкритих даних окремих як великих так і маленьких міст.

Відкриті дані окремих органів влади. Органи влади створюють власні портали, де розміщують відкриті дані (єдиний державний реєстр декларацій осіб, уповноважених на виконання функцій держави або місцевого самоврядування, або Портал відкритих даних Верховної Ради, Державний вебпортал бюджету для громадян).

Відкриті дані бізнесу. Комерційні підприємства та організації також відкривають дані (наприклад, Uber, Amazon, Mastercard та інші).

Принципи відкритих даних

Принципи відкритих даних встановлені Міжнародною хартією відкритих даних

Дана хартія визначає 6 ключових принципів відкритості даних, а саме:

-                відкритість за замовчуванням;

-                оперативність і вичерпність; 

-                доступність (безкоштовність) і готовність до використання; 

-                порівнюваність та інтероперабельність (можливість поєднання з іншими даними);

-                для кращого врядування та залучення громадськості;

-                для інклюзивного розвитку та інновацій.

Міжнародна хартія відкритих даних − це міжнародна ініціатива, що сприяє співпраці, прийняттю та реалізації спільних принципів, стандартів і найкращих практик оприлюднення та використання відкритих даних у всьому світі. Будь-який орган місцевого самоврядування може подати заявку на приєднання до Хартії, якщо він розпочав впровадження політики відкритих даних.

Політика відкритих даних − це система цілей, заходів та інструментів, що спрямована на впровадження принципів оприлюднення відкритих даних та стале використання відкритих даних управлінцями, підприємцями та громадськістю.

Заходи, що реалізуються в рамках реалізації політики відкритих даних:

-                розробка та прийняття нормативної бази (положення про відкриті дані, посадові інструкції, порядки та ведення та оприлюднення реєстрів); 

-                аудит відкритих даних, розробка реєстру відкритих даних органу місцевого самоврядування;

-                підвищення кваліфікації службовців з оприлюднення та використання даних;

-                створення структурного підрозділу або посади у галузі управління даними;

-                модернізація інформаційних систем для експорту даних у відкритих машиночитаних форматах, створення відкритих API (інтерфейсів прикладного програмування);

-                налагодження та посилення інформаційного обміну між структурними підрозділами ОМС;

-                впровадження електронних сервісів;

-                проведення консультацій з бізнесом та громадськістю щодо відкриття наборів даних, підвищення їх якості;

-                впровадження місцевого порталу відкритих даних;

-                просування відкритих даних: проведення хакатонів, конкурсів відкритих даних;

-                інше.

Сервіси відкритих даних

Відкриття державою даних у сфері бізнесу сприяло створенню сервісів, що допомагають підприємцям уникати корупційних ризиків та вирішувати проблеми, з якими може стикатися бізнес в Україні. Зокрема, корисними є дані з Єдиного державного реєстру юридичних осіб, фізичних осіб-підприємців та громадських формувань, реєстрів про судові рішення, нотаріусів, платників податків і податкових боржників та інше. Ці дані оприлюднюють Міністерство юстиції, Міністерство розвитку економіки, торгівлі та сільського господарства, Державна судова адміністрація та Державна податкова служба.

Такі сервіси допомагають підприємцям захиститися від рейдерських атак і шахрайства, моніторити та перевіряти контрагентів, протидіяти корупційним зловживанням під час розгляду судових справ, автоматизувати та удосконалити робочі процеси, щоб заощаджувати кошти та час працівників.

Сервіси «YouControl», «Liga Contr Agent», «Опендатабот», «Ring» та «Vkursi.Pro» дозволяють швидко перевіряти надійність потенційних бізнес-партнерів, постачальників, підрядників тощо. Це допоможе уникнути фінансових втрат, попередити шахрайство та невиконання зобов’язань контрагентами. Наприклад, використання API сервісу «Опендатабот» дозволяє перевіряти контрагента, отримувати актуальні реквізити та автоматично виставляти рахунки й генерувати типові договори. Можна надсилати податкові звіти та отримувати квитанції від ДПС, а також нагадування про необхідність подати наступний звіт. Щоб зареєструвати торгову марку, достатньо скористатися PatentBot. Він використовує відкриті дані Укрпатенту. Онлайн процедура займе всього декілька хвилин – від пошуку вільного імені для торгової марки до сплати державного мита. Чат-бот доступний для Facebook Messenger.

Для представників бізнесу корисними будуть сервіси «PravoSud» та «Суд на долоні», які використовують відкриті дані Міністерства юстиції та Державної судової адміністрації. Вони допоможуть оперативно знайти судову інформацію, проаналізувати історію ухвалення рішень конкретним суддями, зв’язки між усіма учасниками судового процесу.

Відкритий та оперативний доступ до інформації допомагає протидіяти корупційним зловживанням під час розгляду судових справ, бо можна завчасно виявити потенційні зловживання або конфлікт інтересів, побудувати ефективну стратегію захисту або ж оскаржити судове рішення. Також ці сервіси будуть корисними у моніторингу судової інформації щодо фізичних осіб, що може бути корисним під час найму працівників.

Сервіси аналізу даних

Аналіз даних визначається як процес очищення, перетворення та моделювання даних для виявлення корисної інформації для прийняття ділових рішень. Метою аналізу даних є отримання корисної інформації з даних та прийняття рішення на основі аналізу даних.

Видобуток даних це процес виявлення закономірностей у цілому набори даних залучення методів на перетині машинне навчання, статистика, і системи баз даних.

Моделювання даних – це процес використовується для визначення та аналізу даних вимоги необхідні для підтримки бізнес-процеси в межах відповідних інформаційних систем в організаціях.

Серед інструментів для бізнес-аналізу або роботи з даними фахівці часто використовують:

-                Google Sheets (Google Таблиці), Excel, Airtable, таблиці в Notion − програми для ведення фінансової документації, роботі з таблицею, для базових розрахунків або оформлення діаграм;

-                PowerPoint або Keynote − для представлення своїх ідей, проєктів та інших результатів у вигляді презентації;

-                Asana, Basecamp, Jira, Trello і т.д. − трекери завдань, які допомагають працювати структуровано, вести ділову переписку, стежити за дедлайнами і термінами виконання, зберігати документи;

-                Workbench, DBeaver, HeidiSQL, mySQL − інструменти для роботи з мовою структурованих запитів з базами даних (SQL);

-                мова програмування Python з бібліотекою pandas для обробки та аналізу даних;

-                Power BI, Tableau, QlikView − для аналізу і візуалізації даних;

-                Miro, draw.io або Visio − для створення діаграм, оргструктур та опису бізнес-процесів;

-                Camscanner − «сканує» документ за допомогою камери телефону, а в Notion можна створювати плани, писати замітки і ставити нагадування;

-                Smallpdf − здійснює поділ файлу pdf на частини, може зібрати документ. Підтримує конвертацію в програми Excel, PowerPoint і т.д.;

-                для проведення опитувань або збору даних часто використовують Google Форми, Forms Microsoft 365, Typeform.