Rekord świata w przetwarzaniu danych

W dobie znacznego współzawodnictwa firm, skłaniają się one w różne strony, aby uzyskać przewagę nad konkurencją. Jedną z takich dróg jest zdolność do przetwarzania znacznych ilości danych przy odpowiednio małym zużyciu energii.

Znaczny rozwój Internetu również wpływa na konieczność pracy dużymi i wciąż narastającymi zbiorowiskami informacji. Przykładami może być przeszukiwanie sieci za pomocą wyszukiwarki Google, czy aktualizowanie stron Facebook. Operacje te wymagają przetwarzania danych sięgających nawet petabajtów, czyli 100. terabajtów.

Profesor Amin Vahdat z Uniwersytetu Kalifornii w San Diego mówi, że gdy duże firmy chcą przeszukać swoją bazę danych w odpowiedzi na konkretne zapytanie, może wiązać się to z koniecznością przetworzenia wielo-petabajtowych zbiorów. Co więcej, mogą się one powiększać nawet o kilka gigabajtów dziennie. Łatwo się więc domyślić, że im szybciej są w stanie tego dokonać, tym lepiej.

Naukowcy zdobyli nagrody w dwóch kategoriach. W pierwszej ich zadaniem było osiągnięcie jak największej wartości przetworzonych danych w ciągu minuty - uzyskali najlepszy na świecie wynik 1,01. terabajta. Druga polegała na uzyskaniu jak największego przesyłu danych na minutę, przy sortowaniu 100 terabajtowych klastrów informacji. Grupa zrównała się z obecnym rekordem uzyskując prędkość 0,582 terabajta na minutę. Wykorzystali do tego jednak jedynie jedną czwartą mocy swoich poprzedników. 100 terabajtów według witryny wolframalpha.com równe jest 4 tys. jedno-warstwowych płyt Blu-ray, 21 tys. jedno-warstwowych DVD, 12 tyś dwu-warstwowych DVD lub 142 248 klasycznych krążków CD.

Do pobicia rekordu świata wykorzystano system komputerowy składający się z 5. węzłów. Każdy z nich to serwer zbudowany z dwóch czterordzeniowych procesorów, 24-gigabajtowej pamięci i szesnastu 500 GB dysków twardych. Wszystkie połączone ze sobą siecią tworzoną przez switche Cisco Nexus 5020.

Wyniki naukowców z Kalifornii brzmią naprawdę nieźle. Obecnie ich system przeznaczony jest na pracę z danymi skonstruowanymi specjalnie dla potrzeb zawodów „Sort Benchmark”. Maja jednak zamiar rozwinąć swoje osiągnięcie, aby było w stanie pracować z bardziej zgeneralizowanym materiałem i by w przyszłości można je było zastosować w prawdziwym świecie.

„Nasz system pokazuje co można osiągnąć jeśli zwróci się baczną uwagę na wydajność, a wciąż jest wiele miejsca na udoskonalenia”. mówi prof. Vahdat. „Zadaliśmy sobie pytanie - co tak naprawdę oznacza stworzenie zbalansowanego systemu, w którym nie tracimy żadnych zasobów podczas wykonywania skomplikowanych operacji. Jeśli procesor pozostaje bezczynny lub nie wykorzystujemy całego RAMu, tracimy energię i efektywność”.