Математичні методи та прикладні інформаційні технології моделювання, перекладу та навчання для української жестової мови

Abstract

обленням математичних методів та формуванням комплексу прикладних інфор- маційних технологій моделювання, опрацювання та перекладу української жестової мови. Проаналізовано та запропоновано нові методи розпізнавання та ідентифікації дактилем жестової абетки, методи комп’ютерного перекладу анотованої української жестової мови. Виконано оригінальні дослідження лінгвістичних особливостей української жестової мови та розроблено граматично доповнену онтологію української словесної та української жестової мов. Розроблено мультимедійну технологію аналізу візуальних образів звуків і емоційних мімік обличчя людини, що дало змогу реалізувати анімацію емоційно-артикуляційного каналу носія жестової мови. In the scientific paper a number of important scientific and applied tasks related to the development of mathematical methods and the formation of a complex of applied information technologies of modeling, processing and translation of the Ukrainian sign language are solved. New methods of recognition and dactyl identification of the sign alphabet, methods of computer translation of the annotated Ukrainian sign language are analyzed and proposed. It is performed the original research of the linguistic peculiarities of the Ukrainian sign language and developed the grammatically augmented ontology of the Ukrainian verbal and Ukrainian sign language. The multimedia technology of the analysis of the visual sound images and the emotional facial gesture, allowing to implement the animation of the emotional speech channel of the sign language speaker is developed.