Організація просторів даних у складних інформаційних системах

Abstract

У дисертаційній роботі вирішено важливу наукову проблему організації різнотипних джерел даних у простір даних з метою підвищення якості інтегрованих даних за допомогою використання розроблених теоретичних засад, системної методології та програмних засобів опрацювання множини інформаційних продуктів. Здійснено аналіз проблеми подання та опрацювання різнотипних джерел даних. Обґрунтовано актуальність розв’язання цієї проблеми на основі введення нової абстракції керування даними – простору даних, що дозволило виділити невирішені раніше проблеми з опрацювання та консолідації даних з наперед невідомих джерел. Розроблено алгебричну систему сигнатури простір даних, яка складається з множини інформаційних продуктів, предикатів та операцій на них. Це дозволило розробити операції консолідації та пошуку даних з різнотипних джерел, структура даних яких наперед невідома. Розроблені методи та алгоритми використані для створення ряду інформаційно-аналітичних систем. This thesis solved a major scientific problem of diverse data sources in dataspace to improve the quality of integrated data by using the developed theoretical principles, systematic methodology and software tools for processing a set of information products. The analysis of the problem of diverse data sources representation and processing is given. In first chapter there is actuality solve this problem by introducing a new abstraction data management – dataspace, which allowed to select unsolved problems with processing and consolidation of data from unknown sources in advance. In the chapter two an algebraic dataspace system is described. It consists of a set of information products, predicates and operations on them. It is possible to develop consolidation operation, operation of search data from diverse sources, denote of data structure which one is unknown. Firstly intelligent agent determining the structure of the data source is developed. It works by comparing the structures of data sources available in the dataspace with data sources that will include in the dataspace. This agent allowed forming a single type of queries to data sources, taking into account the degree of confidence in the source and getting the correct answers to formed queries. The substantiated data structures and data directory synonymous dictionary is given. The solve methods the trust of user data sources are given, which increased the relevance of responses and develop a method of determining the quality of consolidated data. The third chapter there is introduced consolidated datawarehouse model as an improved model of the uncertainty relation. It is simulated the physical object – a datawarehouse, which one indicating it attributes with clear and undefined values – to reduce uncertainty and taking into account the existence of public confidence in the data source to increase the effectiveness of management decisions. There is analyzed the causes of uncertainties in storage and data spaces. Among them are highlighted: the uncertainty in the scheme of the mediator; uncertain schema mapping, data uncertainty consolidated data repository. In the next chapter the algorithms integrate data from disparate sources on the basis of the modified operator consolidation are described. That algorithm is enabling not only increase the quality of information in the data space, but also to interpret the simulation results. The methods and algorithms used to create a number of information-analytical systems. Next, there is build the method of transformation commands to dataspace in commands to data sources. The method of optimizing a query is build. In the sixth chapter the dataspace architecture is given. The modules schema is built. There are described metadata schema, main classes and functions. There is defined the principles of functional making of dataspace. The query language of dataspace is described. In the seventh chapter there are implemented application systems in which is used the data integration built on the dataspaces. There are tested the results of methods, that are built in dissertation. В иссертационной работе решена важная научно-прикладная проблема организации разнотипных источников данных в пространство данных с целью повышения качества интегрированных данных путем использования разработанных теоретических основ, системной методологии и программных средств обработки множества информационных продуктов. Осуществлен анализ проблемы представления и обработки разнотипных источников данных. Обоснована актуальность решения этой проблемы на основе введения новой абстракции управления данными – пространства данных, что позволило выделить нерешенные ранее проблемы по обработке и консолидации данных из заранее неизвестных источников. Разработана алгебраическая система пространства данных, которая состоит из множества информационных продуктов, предикатов и операций на них. Это позволило разработать операции консолидации и поиска данных из разнотипных источников, структура данных которых заранее неизвестна. Разработанные методы и алгоритмы использованы при создании ряда информационно-аналитических систем.