Тема 7. Сховища даних та оперативний аналіз даних (OLAP)

Через використання аналітичних сервісів досягається автоматизація звітності шляхом можливостей:

1. Виконувати аналітичні задачі високої складності.
2. Виконувати прогнозування на основі багатовимірної інформації.
3. Розробляти безліч варіантів планів.
4. Використовувати будь-яку інформацію незалежно від обсягу, місця зберігання.
5. Отримувати доступ кількох користувачів із забезпеченням необхідної безпеки:блокування, авторизації.
6. Багатовимірного концептуального виведення інформації.

При цьому обов’язковою умовою є подання даних з підтримкою ієрархії. Швидко отримувати результати. OLAP аналіз і отримання даних зазвичай не перевищує 5 секунд. За допомогою системи можна аналізувати дані як в найпростіших офісних додатках (Excel), так і в найпотужніших програмах, що базуються на серверних продуктах (Tableau, QlickView, MS Power BI).   Переваги OLAP систем Можливість відстеження причинно-наслідкових зв’язків. Можливість отримання різноманітних прогнозів. Легка і проста настройка деталізації звітів: кожен користувач може створювати звіт виключно з необхідною інформацією. Багатовимірні зв’язки дозволяють виявити приховані залежності. Створення будь-яких прогнозів і управління будь-якими процесами: прогноз бюджету, KPI торгових представників (KPI – ключові показники ефективності), прогноз закупівель, аналітичні звіти з продажу, визначення плану стратегічного розвитку і т.д.

Архітектура OLAP-додатків

Все, що говорилося вище про OLAP, по суті, відносилося до багатомірного представлення даних. Те, як дані зберігаються не цікавить ні кінцевого користувача, ні розробників інструменту, яким клієнт користується.
Багатомірність в OLAP-додатках може бути розділена на три рівні:

-       багатовимірне представлення даних - засоби кінцевого користувача, що забезпечують багатомірну візуалізацію та маніпулювання даними; шар багатовимірного представлення абстраговані від фізичної структури даних і сприймає дані як багатовимірні;

-       багатовимірна обробка - засіб (мова) формулювання багатовимірних запитів (традиційну реляційну мову SQL тут виявляють непридатною) і процесор, що уміє обробити і виконати такий запит;

-       багатовимірне зберігання - засоби фізичної організації даних, що забезпечують ефективне виконання багатовимірних запитів.

Перші два рівня в обов'язковому порядку присутні у всіх OLAP-засобах. Третій рівень, хоча і є широко поширеним, не обов'язковий, так як дані для багатовимірного представлення можуть вилучатись і зі звичайних реляційних структур; процесор багатовимірних запитів у цьому випадку транслює багатовимірні запити в SQL-запити, які виконуються реляційної СКБД.

Конкретні OLAP-продукти, як правило, являють собою або засіб багатовимірного подання даних, OLAP-клієнт (наприклад, Pivot Tables в Excel 2000 фірми Microsoft або ProClarity фірми Knosys), або багатовимірну серверну СКБД, OLAP-сервер (наприклад, Oracle Express Server або Microsoft OLAP Services).

Шар багатовимірної обробки зазвичай буває вбудований в OLAP-клієнт і/або в OLAP-сервер, але може бути виділений в чистому вигляді, як, наприклад, компонент Pivot Table Service фірми Microsoft.

Реалізація серверів

Як вже говорилося вище, засоби OLAP-аналізу можуть витягувати дані і безпосередньо з реляційних систем. Такий підхід був більш привабливим в ті часи, коли OLAP-сервери були відсутні в прайс-аркушах провідних виробників СКБД. Але сьогодні і Oracle, і Informix, і Microsoft пропонують повноцінні OLAP-сервери, і навіть ті IT-менеджери, які не люблять розводити у своїх мережах суміш з ПЗ різних виробників, можуть купити (точніше, звернутися з відповідним проханням до керівництва компанії) OLAP -сервер тієї ж марки, що і основний сервер баз даних.

OLAP-сервери, або сервери багатовимірних БД, можуть зберігати свої багатовимірні дані по-різному. Перш ніж розглянути ці способи, нам потрібно поговорити про такий важливий аспект, як зберігання агрегатів. Справа в тому, що в будь-якому сховищі даних - і в звичайному, і в багатовимірному - поряд з детальними даними, які видобуваються з оперативних систем, зберігаються і сумарні показники (агреговані показники, агрегати), такі, як суми обсягів продажів по місяцях, за категоріями товарів тощо. Агрегати зберігаються в явному вигляді з єдиною метою - прискорити виконання запитів. Адже, з одного боку, в сховищі накопичується, як правило, дуже великий об'єм даних, а з іншого - аналітиків в більшості випадків цікавлять не детальні, а узагальнені показники. І якщо кожен раз для обчислення суми продажів за рік довелося б підсумувати мільйони індивідуальних продажів, швидкість, скоріш за все, була б неприйнятною. Тому при завантаженні даних в багатовимірну БД обчислюються і зберігаються всі сумарні показники або їх частини.

Але за все треба платити. І за швидкість обробки запитів до сумарних даних доводиться платити збільшенням обсягів даних і часу на їх завантаження. Причому збільшення обсягу може стати буквально катастрофічним - в одному з опублікованих стандартних тестів повний підрахунок агрегатів для 10 Мб вихідних даних зажадав 2,4 ГБ, тобто дані виросли в 240 разів! Ступінь «розбухання» даних при обчисленні агрегатів залежить від кількості вимірювань куба і структури цих вимірів, тобто співвідношення кількості «батьків» і «дітей» на різних рівнях вимірювання. Для вирішення проблеми зберігання агрегатів застосовуються часом складні схеми, що дозволяють при обчисленні далеко не всіх можливих агрегатів досягати значного підвищення продуктивності виконання запитів.

Багатовимірне зберігання дозволяє звертатися до даних як до багатовимірного масиву, завдяки чому забезпечуються однаково швидкі обчислення сумарних показників і різні багатовимірні перетворення по кожному з вимірів. Деякий час тому OLAP-продукти підтримували або реляційне, або багатовимірне зберігання. Сьогодні, як правило, один і той самий продукт забезпечує ці обидва види зберігання, а також третій вид - змішаний.

Кожен з цих способів має свої переваги і недоліки і повинен застосовуватися в залежності від умов - обсягу даних, потужності реляційної СКБД тощо.

При зберіганні даних у багатовимірних структурах виникає потенційна проблема «розбухання» за рахунок зберігання порожніх значень. Адже якщо в багатовимірному масиві зарезервовано місце під всі можливі комбінації міток вимірювань, а реально заповнена лише мала частина (наприклад, ряд продуктів продається тільки в невеликому числі регіонів), тоді більша частина куба буде порожньою, хоча місце буде зайняте. Сучасні OLAP-продукти дозволяють справлятися з цією проблемою.

Компанія IBM

Рішення компанії IBM називається A Data Warehouse Plus. Метою компанії є забезпечення інтегрованого набору програмних продуктів і сервісів, заснованих на єдиній архітектурі. Основою сховищ даних є сімейство СКБД DB2. Перевагою IBM є те, що дані, які потрібно витягнути з оперативної бази даних і помістити в сховище даних, знаходяться в системах IBM. Тому природна тісна інтеграція програмних продуктів.
Пропонуються три рішення для сховищ даних:

-       ізольована вітрина даних - призначена для вирішення окремих завдань поза зв'язком із загальним сховищем корпорації;

-       залежна вітрина даних - аналогічна ізольованій вітрині даних, але джерела даних знаходяться під централізованим контролем;

-       глобальне сховище даних - корпоративне сховище даних, яке повністю централізовано контролюється і керується. Глобальне сховище даних може зберігатися централізовано або складатися з декількох розподілених в мережі ринків даних.

Oracle

Рішення компанії Oracle в області сховищ даних ґрунтується на двох чинниках: широкий асортимент продуктів самої компанії і діяльність партнерів в рамках програми Warehouse Technology Initiative. Можливості Oracle в області сховищ даних базуються на таких складових:

-       наявність реляційної СКБД Oracle 11, яка постійно вдосконалюється для кращого задоволення потреб сховищ даних;

-       існування набору готових додатків, які забезпечують можливості розробки сховища даних;

-       високий технологічний потенціал компанії в галузі аналізу даних;

-       доступність низки продуктів, вироблених іншими компаніями.

Hewlett Packard

Роботи, пов'язані з OLAP, виконуються в рамках програми OpenWarehouse. Виконання цієї програми повинно забезпечити можливість побудови сховищ даних на основі потужних комп'ютерів HP, апаратури інших виробників і програмних компонентів. Основою підходу HP є Unix-платформи і програмний продукт Intelligent Warehouse, який призначений для керування сховищами даних. Основа побудови сховищ даних, пропонована HP, залишає свободу вибору реляційної СКБД, засобів реінжинірингу тощо.

NCR

Рішення компанії спрямоване на вирішення проблем корпорацій, у яких однаково сильні потреби і в системах підтримки прийняття рішень, і в системах оперативної аналітичної обробки даних. Пропонована архітектура називається Enterprise Information Factory і ґрунтується на досвіді використання системи керування базами даних Teradata і пов'язаних з нею методах паралельної обробки.

Informix Software

Стратегія компанії по відношенню до сховищ даних спрямована на розширення ринку для її продукту On-Line Dinamic Parallel Server. Запропонована архітектура сховища даних базується на чотирьох технологіях: реляційній бази даних, програмному забезпеченні для керування сховищем даних, засобах доступу до даних і платформі відкритих систем. Три останні компонента розробляються партнерами компанії. Після виходу Універсального Сервера, заснованого на об'єктно-реляційному підході, можна очікувати, що і він буде використовуватися для побудови OLAP.

SAS Institute

Компанія вважає себе постачальником повного рішення для організації сховища даних. Підхід заснований на наступному:

-       забезпечення доступу до даних з можливістю їх витягання з найрізноманітніших сховищ даних (реляційних і нереляційних);

-       перетворення даних і маніпулювання ними з використанням 4GL;

-       наявність сервера багатовимірних баз даних;

-       великий набір методів і засобів для аналітичної обробки та статистичного аналізу.

Sybase

Стратегія компанії в області сховищ даних ґрунтується на розробленій їй архітектурі Warehouse WORKS. В основі підходу перебуває реляційна СКБД Sybase Adaptive Server Enterprise 15.5, засіб для підключення та доступу до баз даних OmniCONNECT і засіб розробки додатків PowerBuilder. Компанія продовжує удосконалювати свою СКБД для кращого задоволення потреб сховищ даних (наприклад, введено побітну індексацію).

Software AG

Діяльність компанії в області сховищ даних відбувається в рамках програми Open Data Warehouse Initiative. Програма базується на основних продуктах компанії ADABAS і Natural 4GL, власних і придбаних засобах вилучення та аналізу даних, засобі керування сховищем даних SourcePoint, який дозволяє автоматизувати процес вилучення і пересилання даних, а також їх завантаження в сховище даних.