33@KASK'2015 Oprogramowanie do zbierania, analizy i korelowania danych telemetrycznych pochodzących z różnych źródeł z platform serwerowych

typ projektu: klasyczny

edycja: 2015

liczba studentów w projekcie 3 - 5

kierownik: Dawid Deja

Celem
projektu jest stworzenie oprogramowania służącego do zbierania, analizy oraz
przetwarzania różnego rodzaju danych telemetrycznych pochodzących z platform
serwerowych.

Dane
różnego rodzaju będą zbierane za pośrednictwem różnych kanałów (in-band,
out-of-band) oraz traktowane jako kontenery (zawierające znacznik czasu,
liczniki, długość okna uśredniania itp. + metadane).

Zbierane
dane powinny być przetwarzane w kontekście poszukiwania korelacji pomiędzy
parametrami pracy serwera oraz aktualnym obciążeniem (w oparciu o różne
metryki).

Dodatkowo
system powinien umożliwiać modelowanie systemu w oparciu o dane zbierane w
różnych oknach czasowych (metody statystyczne SMA, EMA) w oparciu o
heurystyczne algorytmy ekstrahowania istotnych parametrów.

Opracowane
rozwiązanie powinno mieć kształt skalowalnego frameworku.

Wykorzystywane
technologie: BigData, CloudComputing, OpenStack, OpenStack Ceilometer,
Collectd, Mesos, Kubernetes, Vsphere (VM Ware), AmazonLambda

UWAGI:

Preferowane jest by przynajmniej jeden z członków grupy był stażystą Intel Technology Poland

Zleceniodawca
rekomenduje, by projekt realizowały dwie grupy. Proponowany podział
funkcjonalności pomiędzy dwie grupy:

Grupa
1:

• Framework do
  zbierania i kolekcjonowania danych telemetrycznych z platform


• Przygotowanie i
  uruchomienie modelowych obciążeń do testów


• Stworzenie
  mechanizmów do korelowania danych z platform

• Przygotowanie
  warstwy prezentacji danych (do wyników swoich prac)

Grupa
2:

• Opracowanie metod
  heurystycznych do ekstrahowania parametrów istotnych dla modelowania
  zachowania platformy w różnych warunkach pracy

• Modelowanie
  systemu w oparciu o zebrane dane

• Przygotowanie
  warstwy prezentacji danych (do wyników swoich prac)

Zadania
wspólne (określenie styków):

• Zaprojektowanie
  API na styku

• Wspólne ustalenie
  kształtu frameworku


• Określenie innych
  części wspólnych oraz zdefiniowanie potrzebnych styków