Dane o rozprawie doktorskiej
Rodzaj pracy |
Rozprawa
doktorska |
Data uzyskania stopnia
|
05-07-2006 |
Uzyskany stopień
naukowy |
doktor nauk technicznych |
Promotor |
dr hab. inż. Marian Wysocki, prof. PRz |
Recenzenci |
prof. dr hab. inż. Marek Domański, Politechnika Poznańska, |
Jednostka prowadząca
przewód |
Uniwersytet Zielonogórski |
Miejsce pracy autora
rozprawy |
Politechnika Rzeszowska |
Dziedzina naukowa |
nauki
techniczne |
Dyscyplina naukowa |
informatyka |
Specjalność naukowa |
przetwarzanie
i rozpoznawanie obrazów |
Sposób zgłoszenia
rozprawy, dostępność, liczba stron |
nie ogłoszono, Biblioteka Główna Uniwersytetu |
Wydawca |
|
Słowa kluczowe |
wizja komputerowa,
Polski Język Migany, rozpoznawanie gestów wykonywanych rękami, interakcja człowiek
- komputer |
Streszczenie |
Opracowano metodę i narzędzia
rozpoznawania pojedynczych słów i prostych zdań wypowiadanych w Polskim Języku
Miganym. Wykorzystano kanoniczny układ stereowizyjny. Uwzględniano wektor 14
cech charakteryzujących kształt dłoni, ich orientacje oraz położenie
przestrzenne względem twarzy. Skupiono się na 101 słowach i 35 zdaniach, mających
zastosowanie u lekarza i na poczcie. Wyznaczenie cech oparto na detekcji
skóry i mapach dysparycji, a rozpoznawanie na ukrytych modelach Markowa.
Przygotowano bazę sekwencji wizyinvch 6060 słów i 1400 zdań wykonywanych przez dwie osoby. Przeprowadzono eksperymenty
rozpoznawania przez zwykle i równolegle modele Markowa. Uzyskano skuteczność
ok. 98%. Praca stanowi krok w kierunku zbudowania translatora języka miganego
do postaci tekstu lub mowy. Może tez być wykorzystana do budowy innych systemów
komunikacji człowieka z komputerem za pomocą gestów. Dodatkowym wynikiem jest
system wizyjny umożliwiający kontynuacje prac w tym kierunku. Baza danych została
udostępniona przez Internet. |
Abstact |
Method and tools of
recognizing isolated words and singlesentences ofthe Polish Sign Language
have been elaborated. Acanonical stereo system that observed the signer from
a ITontalview was used. 14 feature vectors taking into account
informationabout the hand shape, orientation, and 3 D position with respect
tothe face were examined. 10 I words and 35 sentences that can beused at the
doctor's and at the post office were recognized. Featurevectors were computed
on the basis ofhuman skin detection anddisparity maps. Hidden Markov ModeIs
were used for recognition.A data set of 6060 signs and 1400 sentences signed
by two personswas prepared. Comparative experiments with regular and
parallelHMMs were carried out. Recognition accuracy of about 98% hasbeen
obtained. This thesis constitutes a step to provide amechanism of
transcription sign language into text or speech.Furthermore it can serve as a
good basis for the development ofgesturaI human-machine interfaces.
Additional result is a vision-based system that makes continuation ofthis
research possible.Data sets prepared for experiments are accessible via
Internet. |