Autor:

Kapuściński, Tomasz

Tytuł:

Rozpoznawanie Polskiego Języka Miganego w systemie wizyjnym

Temat i słowa kluczowe:

wizja komputerowa ; Polski Język Migany ; interakcja człowiek-komputer ; rozpoznawanie gestów wykonywanych rękami

Streszczenie:

Opracowano metodę i narzędzia rozpoznawania pojedynczych słów i prostych zdań wypowiadanych w Polskim Języku Miganym. Wykorzystano kanoniczny układ stereowizyjny. Uwzględniano wektor 14 cech charakteryzujących kształt dłoni, ich orientacje oraz położenie przestrzenne względem twarzy. Skupiono się na 101 słowach i 35 zdaniach, mających zastosowanie u lekarza i na poczcie. Wyznaczenie cech oparto na detekcji skóry i mapach dysparycji, a rozpoznawanie na ukrytych modelach Markowa. Przygotowano bazę sekwencji wizyinvch 6060 słów i 1400 zdań wykonywanych przez dwie osoby. Przeprowadzono eksperymenty rozpoznawania przez zwykle i równolegle modele Markowa. Uzyskano skuteczność ok. 98%. Praca stanowi krok w kierunku zbudowania translatora języka miganego do postaci tekstu lub mowy. Może tez być wykorzystana do budowy innych systemów komunikacji człowieka z komputerem za pomocą gestów. Dodatkowym wynikiem jest system wizyjny umożliwiający kontynuacje prac w tym kierunku. Baza danych została udostępniona przez Internet.

Abstract:

Method and tools of recognizing isolated words and singlesentences ofthe Polish Sign Language have been elaborated. Acanonical stereo system that observed the signer from a ITontalview was used. 14 feature vectors taking into account informationabout the hand shape, orientation, and 3 D position with respect tothe face were examined. 10 I words and 35 sentences that can beused at the doctor's and at the post office were recognized. Featurevectors were computed on the basis ofhuman skin detection anddisparity maps. Hidden Markov ModeIs were used for recognition. A data set of 6060 signs and 1400 sentences signed by two personswas prepared. Comparative experiments with regular and parallelHMMs were carried out. Recognition accuracy of about 98% hasbeen obtained. This thesis constitutes a step to provide amechanism of transcription sign language into text or speech. Furthermore it can serve as a good basis for the development ofgesturaI human-machine interfaces. Additional result is a vision-based system that makes continuation ofthis research possible. Data sets prepared for experiments are accessible via Internet.

Opis:

promotor: dr hab. inż. Marian Wysocki, prof. PRz Politechnika Rzeszowska Katedra Informatyki i Automatyki ; recenzenci: prof. dr hab. inż. Marek Domański Politechnika Poznańska Instytut Elektroniki i Telekomunikacji, dr hab. inż. Andrzej Obuchowicz, prof. UZ Uniwersytet Zielonogórski Instytut Sterowania i Systemów Informatycznych ; jednostka prowadząca przewód: Uniwersytet Zielonogórski, Wydział Elektrotechniki, Informatyki i Telekomunikacji ; miejsce pracy autora rozprawy: Politechnika Rzeszowska Wydział Elektrotechniki i Informatyki, Katedra Informatyki i Automatyki ; dyscyplina naukowa: nauki techniczne ; dyscyplina naukowa: informatyka ; specjalność naukowa: przetwarzanie i rozpoznawanie obrazów ; Uniwersytet Zielonogórski

Data wydania:

2006

Typ zasobu:

rozprawa doktorska

Format:

text/html ; text/pdf

Jezyk:

pol

Prawa do dysponowania publikacją:

Biblioteka Uniwersytetu Zielonogórskiego