41@KASK'2015 Oprogramowanie do zbierania, analizy i korelowania danych telemetrycznych pochodzących z różnych źródeł z platform serwerowych

typ projektu: klasyczny

edycja: 2015

liczba studentów w projekcie 3 - 5

kierownik: Maciej Romanowski

Celem
projektu jest stworzenie oprogramowania służącego do zbierania, analizy oraz 
przetwarzania różnego rodzaju danych telemetrycznych pochodzących z platform 
serwerowych.

Dane 
różnego rodzaju będą zbierane za pośrednictwem różnych kanałów (in-band, 
out-of-band) oraz traktowane jako kontenery (zawierające znacznik czasu, 
liczniki, długość okna uśredniania itp. + metadane).

Zbierane 
dane powinny być przetwarzane w kontekście poszukiwania korelacji pomiędzy 
parametrami pracy serwera oraz aktualnym obciążeniem (w oparciu o różne 
metryki).

Dodatkowo 
system powinien umożliwiać modelowanie systemu w oparciu o dane zbierane w 
różnych oknach czasowych (metody statystyczne SMA, EMA) w oparciu o 
heurystyczne algorytmy ekstrahowania istotnych parametrów.

Opracowane 
rozwiązanie powinno mieć kształt skalowalnego frameworku.

Wykorzystywane 
technologie: BigData, CloudComputing, OpenStack, OpenStack Ceilometer, 
Collectd, Mesos, Kubernetes, Vsphere (VM Ware), AmazonLambda

UWAGI:

Preferowane jest by przynajmniej jeden z członków grupy był stażystą Intel Technology Poland

Zleceniodawca 
rekomenduje, by projekt realizowały dwie grupy. Proponowany podział 
funkcjonalności pomiędzy dwie grupy:

Grupa 
1:

• Framework do 
  zbierania i kolekcjonowania danych telemetrycznych z platform



• Przygotowanie i 
  uruchomienie modelowych obciążeń do testów



• Stworzenie 
  mechanizmów do korelowania danych z platform

• Przygotowanie 
  warstwy prezentacji danych (do wyników swoich prac)

Grupa 
2:

• Opracowanie metod 
  heurystycznych do ekstrahowania parametrów istotnych dla modelowania 
  zachowania platformy w różnych warunkach pracy

• Modelowanie 
  systemu w oparciu o zebrane dane

• Przygotowanie 
  warstwy prezentacji danych (do wyników swoich prac)

Zadania 
wspólne (określenie styków):

• Zaprojektowanie 
  API na styku

• Wspólne ustalenie 
  kształtu frameworku



• Określenie innych 
  części wspólnych oraz zdefiniowanie potrzebnych styków