Лекція 5. Інструменти аналізу даних для бізнесу

Аналіз відкритих даних впливає:

Основні типи відкритих даних:

Текстові дані складаються із заголовків, параграфів, реквізитів, також можуть включати таблиці та ілюстрації. Прикладами текстових даних є нормативно-правові акти, розпорядчі документи, положення, програми, звіти, угоди. Для роботи з ними найчастіше використовуються редактори Microsoft Word, LibreOffice Writer, Google Документи. Рекомендовані формати оприлюднення текстових даних: DOC, DOCX, ODT, TXT, RTF та HTML.

Структуровані дані включають таблиці та ієрархічні дані, які містяться в базах даних. Це найбільш цінний тип відкритих даних, оскільки їх легко автоматично обробляти.

Геопросторові дані описують положення географічних об'єктів на території. Наприклад, містобудівна документація, супутникові знімки, дані інтерактивних мап тощо. Існує два типи геопросторових даних: векторні (SHP, GeoJSON, KML, MID, MIF, ХML) та растрові (GeoTIFF).

Вибір формату набору найчастіше залежить від програмного забезпечення, в якому зберігаються дані. Формати структурованих даних умовно можна розділити на табличні (xls, xlsx, ods, csv) та ієрархічні (json та xml).

Формати електронних таблиць (xls, xlsx, ods). Електронні таблиці (Microsoft Excel, LibreOffice Calc, Google Таблиці) − це найбільш поширене програмне забезпечення для роботи з наборами даних.

CSV (значення, що розділені комою). Цей формат використовується для обміну даними між різним програмним забезпеченням. Для збереження CSV-файлів необхідно використовувати Google Таблиці або LibreOffice Calc. Csv-файли з Microsoft Excel не відповідають загальноприйнятому формату, оскільки використовують специфічне кодування операційної системи (Windows-1251 замість UTF-8) та розділювач крапку з комою замість коми.

JSON та XML. На відміну від табличних форматів, формати JSON та XML слугують для збереження ієрархічних даних. Часто такі формати використовуються для передачі даних в інтернеті. Наприклад, можна легко отримати звітність та договори зі spending.gov.ua й оприлюднити їх на data.gov.ua. Також ієрархічно структуровані дані у Prozorro, Інспекційному порталі, Єдиному державному реєстрі юридичних осіб, фізичних осіб-підприємців та громадських формувань. Для того, щоб обробляти та аналізувати такі набори, потрібно мати навички програмування.

API, Application Programming Interface (інтерфейс прикладного програмування). У контексті оприлюднення відкритих даних термін «API» означає спеціальний функціонал вебсервісів, що дає можливість оприлюднювати датасети автоматично (без участі розпорядника). Для отримання даних через API вебсервісів найчастіше використовуються запити у форматі гіперпосилань.