Dane o rozprawie doktorskiej

Rodzaj pracy | Rozprawa doktorska
Data uzyskania stopnia | 05-07-2006
Uzyskany stopień naukowy | doktor nauk technicznych
Promotor | dr hab. inż. Marian Wysocki, prof. PRz Politechnika Rzeszowska Katedra Informatyki i Automatyki
Recenzenci | prof. dr hab. inż. Marek Domański, Politechnika Poznańska, Instytut Elektroniki i Telekomunikacji dr hab. inż. Andrzej Obuchowicz, prof. UZ, Uniwersytet Zielonogórski Instytut Sterowania i Systemów Informatycznych
Jednostka prowadząca przewód | Uniwersytet Zielonogórski Wydział Elektrotechniki, Informatyki i Telekomunikacji
Miejsce pracy autora rozprawy | Politechnika Rzeszowska Wydział Elektrotechniki i Informatyki Katedra Informatyki i Automatyki
Dziedzina naukowa | nauki techniczne
Dyscyplina naukowa | informatyka
Specjalność naukowa | przetwarzanie i rozpoznawanie obrazów
Sposób zgłoszenia rozprawy, dostępność, liczba stron | nie ogłoszono, Biblioteka Główna Uniwersytetu Zielonogórskiego, s 138
Wydawca |
Słowa kluczowe | wizja komputerowa, Polski Język Migany, rozpoznawanie gestów wykonywanych rękami, interakcja człowiek - komputer

Streszczenie
Opracowano metodę i narzędzia rozpoznawania pojedynczych słów i prostych zdań wypowiadanych w Polskim Języku Miganym. Wykorzystano kanoniczny układ stereowizyjny. Uwzględniano wektor 14 cech charakteryzujących kształt dłoni, ich orientacje oraz położenie przestrzenne względem twarzy. Skupiono się na 101 słowach i 35 zdaniach, mających zastosowanie u lekarza i na poczcie. Wyznaczenie cech oparto na detekcji skóry i mapach dysparycji, a rozpoznawanie na ukrytych modelach Markowa. Przygotowano bazę sekwencji wizyinvch 6060 słów i 1400 zdań wykonywanych przez dwie osoby. Przeprowadzono eksperymenty rozpoznawania przez zwykle i równolegle modele Markowa. Uzyskano skuteczność ok. 98%. Praca stanowi krok w kierunku zbudowania translatora języka miganego do postaci tekstu lub mowy. Może tez być wykorzystana do budowy innych systemów komunikacji człowieka z komputerem za pomocą gestów. Dodatkowym wynikiem jest system wizyjny umożliwiający kontynuacje prac w tym kierunku. Baza danych została udostępniona przez Internet.
Abstact
Method and tools of recognizing isolated words and singlesentences ofthe Polish Sign Language have been elaborated. Acanonical stereo system that observed the signer from a ITontalview was used. 14 feature vectors taking into account informationabout the hand shape, orientation, and 3 D position with respect tothe face were examined. 10 I words and 35 sentences that can beused at the doctor's and at the post office were recognized. Featurevectors were computed on the basis ofhuman skin detection anddisparity maps. Hidden Markov ModeIs were used for recognition.A data set of 6060 signs and 1400 sentences signed by two personswas prepared. Comparative experiments with regular and parallelHMMs were carried out. Recognition accuracy of about 98% hasbeen obtained. This thesis constitutes a step to provide amechanism of transcription sign language into text or speech.Furthermore it can serve as a good basis for the development ofgesturaI human-machine interfaces. Additional result is a vision-based system that makes continuation ofthis research possible.Data sets prepared for experiments are accessible via Internet.