Naukowcy opracowali rozwiązanie umożliwiające przetwarzanie wielkich zbiorów danych na komputerach stacjonarnych lub nawet wydajnych notebookach.
Oprogramowanie, które stworzyli badacze z Carnegie Mellon University, pozwoli programistom na wykonywanie wielu zadań dotychczas wymagających specjalnych serwerów i wielozadaniowych baz danych, jak choćby tworzenie silnika programistycznego funkcji "polecam" w sieci społecznościowej.
W silniku takim stosuje się bowiem zasadę wyprzedzania np. "twój przyjaciel lubi ten film, więc jeśli jest film, którego jeszcze nie widziałeś, ale jest w typie poprzedniego filmu, prawdopodobnie go także polubisz". Zastosowanie tej zasady wymaga masywnej analizy połączeń pomiędzy osobami na różnych szczeblach i obszarach w sieci społecznościowej np. lubiący skandynawskie kryminały znajomi, niekoniecznie zgadzają się w kwestiach ekologii. Ten typ zadań, określany jako przetwarzanie grafowe, jest coraz częściej stosowany w obliczeniach i to nie tylko dotyczących sieci społecznościowych, ale także czysto naukowych np. w fizyce cząstek.
W tym przypadku przetwarzane są wielkie zbiory danych, co wymaga bardzo dużych mocy obliczeniowych, np. takich, jakie oferuje chmura komputerowa EC2 Amazon.
Opracowane przez uczonych z Carnegie Mellon University oprogramowanie GraphChi wykorzystuje możliwości, jakie daje zastosowanie w nowoczesnych komputerach i notebookach twardych dysków dużej pojemności. W systemach przystosowanych do analizy wielkich plików danych, grafy są przechowywane w pamięci operacyjnej (RAM) superkomputerów lub wysokowydajnych baz danych czy serwerów.
Jak powiedział "Technology Review" Carlos Guestrin, dyrektor w Select Lab, należącym do Carnegie Mellon, komputer PC nie ma takiej ilości pamięci RAM, aby przechowywać internetowe grafy, ale mogą to zrobić dyski twarde, mogące składować wiele informacji. Jednak ich czas dostępu jest dłuższy niż pamięci RAM. Naukowcy skonstruowali więc rozwiązanie umożliwiające szybki dostęp do dysku i do umieszczonych na nim plików.
Przy pomocy takiego systemu, GraphChi umieszczony na komputerze MacMini mógł dokonać analizy grafu społecznościowego serwisu Twitter, posiadającego 4. mln użytkowników stałych i 1,2 mld połączeń. Czas analizy wyniósł 59 minut. W przypadku wcześniejszej analizy Twittera klastrowi 1000 komputerów zabrało to 400 minut.
GraphChi, według Guestrina, jest w stanie także pokazywać ewolucję w modelu wielkich sieci w czasie rzeczywistym, pokazując, jak zmieniają się w nich relacje, bez korzystania z pomocy wielkich sieci przetwarzania, superkomputerów czy przetwarzania w chmurze.
Według badacza z MIT Jeremy’ego Kepnera, rozwiązanie stworzone przez naukowców z Carnegie Mellon jest bardzo ważne, jako że obecnie wyszukiwanie doku netów, planowanie podróży, rezerwacje biletów czy nawet bezpieczeństwo informatyczne opiera się na grafach. Wprowadzenie takiego rozwiązania na komputery osobiste znacznie ułatwi prace projektantom tego typu zaawansowanych systemów i przyspieszy ich rozwój.
