4@KAMS'2018 Opracowanie rozwiazania pozwalajacego na czytanie z ruchu warg

typ projektu: klasyczny

edycja: 2018

liczba studentów w projekcie 3 - 5

kierownik: Natalia Moszczyńska

---

Istniejące rozwiązanie, zaprezentowane w roku 2016 pozwala
zinterpretować to, co dana osoba mówi na podstawie ruchu warg i jest
skuteczniejsze niż osoba zawodowo zajmująca się czytań z ruch
warg.Rozwiązanie to wykorzystuje sieci neuronowe. Niestety konstrukcja
tego rozwiązania nie pozwala na łatwe dostosowanie go do języka
polskiego.

Celem projektu
jest próba stworzenie systemu działającego skutecznie dla języka polskiego.

Kroki pracy nad

projektem

* Analiza
istniejących opracowań

* Stworznie bazy
próbek uczących w języku polskim

* Stworznie inauczenie sieci neuronowej

* Trening sieci na zebranych próbkachi eksperymenty

Źródła:

1. Tensorflow:            

https://www.tensorflow.org/

2. Publikacje

dotyczące tematu czytania z ruchu warg:

               

https://arxiv.org/abs/1611.01599

               

http://www.oxml.co.uk/publications/2016-Assael_Shillingford_LipNet.pdf

               

https://www.newscientist.com/article/2113299-googles-deepmind-ai-can-lip-read-tv-shows-better-than-a-pro/

               

http://www.aimechanic.com/2016/11/08/d267-lipnet-machine-learning-lipreading/