Математичне та програмне забезпечення подання відеоконтенту для осіб з вадами зору

Abstract

Дисертація присвячена розробленню програмно-алгоритмічного комплексу адаптації відеоконтенту для осіб з вадами зору, зокрема вдосконаленню методу тифлокоментування за рахунок пошуку вільних від діалогів та важливих шумів місць у звукоряді відеоконтенту. Розроблено математичне забезпечення подання відеоконтенту для осіб з вадами зору на основі використання теорії координації, спектрального аналізу. Побудовано архітектуру програмно-алгоритмічного комплексу адаптації відеоконтенту для осіб з вадами зору. Реалізовано метод пошуку вільних місць у відеоконтенті, які слугують для вставки тифлокоментарів. На основі логіки 1-го порядку та асоціативних правил розроблено правила тифлокоментування для тифлокоментаторів, сценаристів та звукорежисерів. Розв’язано актуальне наукове завдання подання відеоконтенту у форматі, доступному для сприйняття особам з вадами зору. Наукова новизна одержаних результатів полягає у обґрунтуванні архітектури та практичній реалізації програмно-алгоритмічного комплексу, призначеного для побудови, редагування та адаптування відеоконтенту для осіб з вадами зору. Проведено апробацію результатів використання програмного комплексу. Експериментально доведено доцільність застосування методу тифлокоментування для опису сюжетів відеоконтенту, що дало змогу до 30 % підвищити сприйняття відеоконтенту особам з вадами зору. Основні результати роботи використовуються у Львівському обласному товаристві сліпих (УТОС), Львівській спеціальній школі №100 та у навчальному процесі НУ “Львівська політехніка”. Диссертация посвящена разработке программно-алгоритмического комплекса адаптации видеоконтента для лиц с недостатками зрения, в частности совершенствованию метода тифлокомментирования за счет поиска свободных от диалогов и важных шумов мест в звукоряде видеоконтента. Разработано математическое обеспечение представления видеоконтента для лиц с недостатками зрения на основе использования теории координации, спектрального анализа. Построено архитектуру программно-алгоритмического комплекса адаптации видеоконтента для лиц с недостатками зрения. Реализован метод поиска свободных мест в видеоконтенте, которые служат для вставки тифлокомментариев. На основе логики 1-го порядка и ассоциативных правил разработаны правила тифлокомментирования для тифлокомментаторов, сценаристов и звукорежиссеров. Решено актуальное научное задание представления видеоконтента в формате доступном для восприятия лицам с недостатками зрения. Научная новизна исследования заключается в обосновании архитектуры и практической реализации программно-алгоритмического комплекса, предназначенного для построения, редактирования и адаптации видеоконтента для лиц с недостатками зрения. Экспериментально доказана целесообразность применения метода тифлокомментирования для описания сюжетов видеоконтента, что позволило до 30 % повысить восприятие видеоконтента лицам с недостатками зрения. Основные результаты работы используются в Львовском областном обществе слепых (УТОС), Львовской специальной школе №100 и в учебном процессе НУ "Львовская политехника". One of the most urgent problems of people with visual impairments is an almost complete unavailability of video content. To adapt video content to the needs of visually impaired is selected method of audiodescription. The thesis is devoted to the development of program and algorithmic complex of video content adaptation for people with visual impairments, including improvement of audio description method by searching places free of dialogues and important noises in the video content scale. The mathematical support of video content representation for visually impaired people based on the theory of coordination for the construction of additional track audiodescription comments and spectral analysis for search available include video to insert audiodescription comments is developed. The architecture of program and algorithmic complex of video content adaptation for people with visual impairments by using the unified modeling language UML is created. The method of searching places free of dialogues and important noises in the video content scale, which serve to insert typhlocomments is realised. The rules of audiodescription comments for typhlocommentators, scriptwriters and sound engineers based on the logic of the 1st order and associative rules is developed. Used object-oriented and sampled programming - to implement complex algorithmic software and adapt video content for people with visual impairments. The actual scientific problem of video content submission in the format accessible for perception of people with visual impairments is solved. Scientific novelty of the obtained results lies in the argumentation of architecture and practical implementation of program and algorithmic complex, appointed to build, edit and adapt video content for people with visual impairments. The approbation of program complex implementation results is made. With the purpose test the results of testing video content adapted for people with visual impairments views held two independent short film "Touch and see". The feasibility of the typhlocomments method for the video content plot description, that allows to increase up to 30 % the perception of video content by people with visual impairments is experimentally proved. Main results of this work are already used in Lviv Boarding School for Blind Children №100, Lviv Regional Society for the Blind people (UTOS) and in educational process Lviv Polytechnic National University.