Dane o rozprawie doktorskiej

Rodzaj pracy	Rozprawa doktorska
Data uzyskania stopnia	05-07-2006
Uzyskany stopień naukowy	doktor nauk technicznych
Promotor	dr hab. inż. Marian Wysocki, prof. PRz Politechnika Rzeszowska Katedra Informatyki i Automatyki
Recenzenci	prof. dr hab. inż. Marek Domański, Politechnika Poznańska, Instytut Elektroniki i Telekomunikacji dr hab. inż. Andrzej Obuchowicz, prof. UZ, Uniwersytet Zielonogórski Instytut Sterowania i Systemów Informatycznych
Jednostka prowadząca przewód	Uniwersytet Zielonogórski Wydział Elektrotechniki, Informatyki i Telekomunikacji
Miejsce pracy autora rozprawy	Politechnika Rzeszowska Wydział Elektrotechniki i Informatyki Katedra Informatyki i Automatyki
Dziedzina naukowa	nauki techniczne
Dyscyplina naukowa	informatyka
Specjalność naukowa	przetwarzanie i rozpoznawanie obrazów
Sposób zgłoszenia rozprawy, dostępność, liczba stron	nie ogłoszono, Biblioteka Główna Uniwersytetu Zielonogórskiego, s 138
Wydawca
Słowa kluczowe	wizja komputerowa, Polski Język Migany, rozpoznawanie gestów wykonywanych rękami, interakcja człowiek - komputer

Streszczenie

Opracowano metodę i narzędzia rozpoznawania pojedynczych słów i prostych zdań wypowiadanych w Polskim Języku Miganym. Wykorzystano kanoniczny układ stereowizyjny. Uwzględniano wektor 14 cech charakteryzujących kształt dłoni, ich orientacje oraz położenie przestrzenne względem twarzy. Skupiono się na 101 słowach i 35 zdaniach, mających zastosowanie u lekarza i na poczcie. Wyznaczenie cech oparto na detekcji skóry i mapach dysparycji, a rozpoznawanie na ukrytych modelach Markowa. Przygotowano bazę sekwencji wizyinvch 6060 słów i 1400 zdań wykonywanych przez dwie osoby. Przeprowadzono eksperymenty rozpoznawania przez zwykle i równolegle modele Markowa. Uzyskano skuteczność ok. 98%. Praca stanowi krok w kierunku zbudowania translatora języka miganego do postaci tekstu lub mowy. Może tez być wykorzystana do budowy innych systemów komunikacji człowieka z komputerem za pomocą gestów. Dodatkowym wynikiem jest system wizyjny umożliwiający kontynuacje prac w tym kierunku. Baza danych została udostępniona przez Internet.

Abstact

Method and tools of recognizing isolated words and singlesentences ofthe Polish Sign Language have been elaborated. Acanonical stereo system that observed the signer from a ITontalview was used. 14 feature vectors taking into account informationabout the hand shape, orientation, and 3 D position with respect tothe face were examined. 10 I words and 35 sentences that can beused at the doctor's and at the post office were recognized. Featurevectors were computed on the basis ofhuman skin detection anddisparity maps. Hidden Markov ModeIs were used for recognition.A data set of 6060 signs and 1400 sentences signed by two personswas prepared. Comparative experiments with regular and parallelHMMs were carried out. Recognition accuracy of about 98% hasbeen obtained. This thesis constitutes a step to provide amechanism of transcription sign language into text or speech.Furthermore it can serve as a good basis for the development ofgesturaI human-machine interfaces. Additional result is a vision-based system that makes continuation ofthis research possible.Data sets prepared for experiments are accessible via Internet.