Методи та засоби опрацювання інформаційних ресурсів Великих даних в системах територіального управління

Abstract

У дисертаційній роботі розв’язано важливе наукове завдання організації та інтеграції інформаційних ресурсів Великих даних у системах територіального управління. Подано визначення Великих даних та описано основні характеристики. Проаналізовано математичні засоби подання та опрацювання Великих даних та визначено їх обмеження. Подано програмні засоби роботи з Великими даними. Визначено формальний опис Великих даних. Подано моделі асоціацій між сутностями та характеристиками для різних категорій NoSQL баз даних. Використано простір даних для представлення Великих даних. Подано модель федеративного сховища Великих даних. Для представлення Великих даних використано простір даних, який дає змогу працювати з різнотипними даними. Проте основною операцією інтеграції є не консолідація, а федералізація, що дає змогу зменшувати ємнісну складність запитів. Розроблено метод обміну різнотипними даними та приведення реляційних даних до моделі «сутністьхарактеристика». Розроблено метод відповіді на запит користувача з урахуванням типу даних джерела. Спроектовано схему даних регіону. Апробовано розроблені методи і алгоритми. В диссертационной работе решено важное научное задание организации и интеграции информационных ресурсов Больших данных для выявления и исследования основных трендов прогнозирования экологических и экономических процессов региона. Дано определение Больших данных и описаны основные характеристики. Проанализированы математические средства представления и обработки Больших данных и определены их ограничения. Приведены программные средства работы с Большими данными. Определено формальное описание Больших данных. Представлено модели ассоциаций между сущностями и характеристиками для различных категорий NoSQL баз данных. Использовано пространство данных для представления Больших данных. Представлена модель федеративного хранилища Больших данных. Для представления Больших данных использовано пространство данных, которое позволяет работать с разнотипными данными. Однако основной операцией интеграции является не консолидация, а федерализация, что позволяет уменьшать емкостную сложность запросов. Разработан метод обмена разнотипными данными и приведение реляционных данных в модели «сущность-характеристика». Разработан метод обмена разнотипными данными и приведения реляционных данных к модели «сущность-характеристика». Разработан метод ответа на запрос пользователя с учетом типа данных источника. Спроектирована схема данных региона. Апробированы разработанные методы и алгоритмы. The dissertation solved an important scientific task of organizing and integrating Big data information resources and identifying the main trends of forecasting environmental and economic processes in the region. In the first chapter the main definitions of Big data are given and the main characteristics are described. There are analyzed mathematical means of submission and processing of Big data. Their limitations are defined. There are posted software for Big data processing and analysis. In the second chapter the formal description of Big data is defined. The model «entity-characteristics» for Big data representation is given. The method for data transformation from relation model to model of «entity-characteristics» is developed. There are posted patterns of associations between entities and characteristics for various categories of NoSQL databases. The data space is chosen as model for Big data representation. The federated repository Big model data is built. To represent the data there is used data space, which allows you to work with heterogeneous data. However, the main operation is federalisation that, allowing capacitive reduce the complexity of requests. In the third chapter the method of heterogeneous data sharing and bringing to the relational data model «entity-characterization» is developed. The method of heterogeneous data sharing and bringing to relational data model «entitycharacterization» is given. In the fourth chapter there is designed the scheme of data region and architecture of Big data. The software for the development of methods and algorithms testing is created. To achieve the desired goal, the development of a formal model of the Big Data information technology is made and its structural elements are described. There is projected Big data architecture and instrumentation tools for practical realization. There are chased program tools for variant data integration realization. The realization specification is described. There are described language tools and user interface realization. The annexes are presented acts of implementing the results of the thesis and the code of developing of information system.