7@KSMM'2023pb Badanie algorytmów uczenia maszynowego w zastosowaniu do rozpoznawania mowy personelu medycznego

typ projektu: badawczy

edycja: 2023pb

liczba studentów w projekcie 1 - 10

kierownik: Wiktor Krasiński

Celem projektu jest opracowanie metodyki dotrenowania i testowania
dostępnych algorytmów transkrypcji mowy na tekst, np. w środowisku do
uczenia głębokiego DeepSpeech. Następnie, w oparciu o zadeklarowaną
współpracę ze strony lekarzy Gdańskiego Uniwersytetu Medycznego należy
zbudować i nagrać słownik polskich wyrażeń medycznych, które są używane
przy opisywaniu chorób, kierowaniu na badania przez specjalistów,
wypisaniu recept. Nagrywanie należy przeprowadzić zarówno w warunkach
korzystnych od strony akustycznej, jak również w hałaśliwym otoczeniu.
Następnie, w ten sposób otrzymany materiał należy adnotować i użyć do
dotrenowania dostępnej sieci neuronowej, która wcześniej już została
wytrenowana w oparciu o słownik języka polskiego np. Mozilla Polish. W
toku eksperymentów należy uzyskać wyniki oceny skuteczności
rozpoznawania wyrazów związanych ze słownikiem medycznym. korzystnie
również w zróżnicowanych warunkach akustycznych. Dodatkowym elementem
prący (w przypadku podjęcia tematu przez dość liczną grupę wykonawców)
może być utworzenie adaptacyjnych formularzy, umożliwiających ich
wypełnianie głosowe przez lekarzy.



Zadania do wykonania:

- zapoznanie się z narzędziami tworzenia słowników i nagrań dla potrzeb rozpoznawania mowy

- wytypowanie listy słów do nagrania i ich rejestracja w różnych warunkach akustycznych

- przeprowadzenie adnotacji materiału dźwiękowego

- wybór wytrenowanego algorytmu neuronowego celem jego dotrenowania

- przeprowadzenie dotrenowania sieci neuronowej

- analiza uzyskanych wyników transkrypcji mowy lekarzy na tekst.