CIA zamówiło największy na świecie system pamięci masowej, w którym przechowywać można będzie do 10 eksabajtów danych.
Firma Cleversafe, specjalizująca się w produkcji pamięci masowych zbuduje i wdroży na zlecenie Centralnej Agencji Wywiadowczej największy na świecie system pamięci masowej, w którym przechowywać można będzie do 10 eksabajtów danych - poinformował Computerworld.
4,5 mln dysków o pojemności 3,4 TB każdy
Pamięć, opracowywana przez Cleversafe wymagałaby 4,5 mln dysków twardych o pojemności 3,5 TB. Jak powiedział Computerworld wiceprezes Cleversafe, Rus Kennedy rozwiązanie opracowywane dla CIA kosztować będzie kilka miliardów dolarów. Dodał też, iż rozwiązanie to ma wspomóc wywiad poprzez możliwość analizy dużych plików z danymi, które w postaci surowej wymagają dużej przestrzeni do przechowywania.
System tej wielkości nie został jeszcze zbudowany, ale Cleversafe ma doświadczenie w budowaniu mniejszych systemów składowania danych dla instytucji rządowych. Rozwiązania takie, o pojemności niższej o rząd wielkości, przechowujące dziesiątki petabajtów danych, zostały opracowane na zlecenie instytucji rządowych USA (m.in. Departamentu Energii) i działają w 8 stanach jak New Jersey, Kalifornia, Floryda, Teksas i Illinois.
Kluczem jest technologia Dispersed Storage
Badacze z Cleversafe opracowali technologię Rozproszonego Składowania (ang.Dispersed Storage) pracującą według formuły matematycznej Cauchy Reed-Solomon Information Dispersal Algorithm. Pozwala ona podzielić dane przed ich ostatecznym składowaniem. Podzielone dane są rozsyłane po wielu węzłach składowania przy użyciu protokołu internetowego TCP/IP. Węzły te znajdują się w trzech lub czterech centrach danych, podzielonych na osobne lokalizacje. Podobnie jak rozwiązania RAID stosowane w pamięciach dyskowych, także i w rozwiązaniu Cleversafe, algorytm używa danych parzystych, do określenia jakie fragmenty danych mogły zaginąć lub zostać uszkodzone, aby odbudować je z innych fragmentów.
Każdy punkt dostępowy w opracowanym przez naukowców rozwiązaniu składa się z 2. szaf z 189 węzłami składowania; każdy węzeł posiada 45 dysków 3 TB. Obecna konfiguracja rozwiązania opracowywanego dla CIA uwzględnia 16 lokalizacji po 35 węzłów każda na całym obszarze USA i setki pracujących symultanicznie czytników i nagrywarek wgrywających i odczytujących miliardy plików.
Sieć składowania danych składa się z trzech bloków. Pierwszy to węzeł Accesser, który umożliwia podział i naprawę danych. Drugi to Slicestor przesyłający podzielone dane i trzeci - Manager - zarządzający podzielonymi danymi i całą infrastrukturą sieci. Rozwiązanie korzysta z publicznego dostępu do internetu, ale przekaz odbywa się, dla bezpieczeństwa, w wydzielonych sieciach prywatnych VPN, z szyfrowaniem i tunelowaniem transmisji.
Z zewnątrz dane są widoczne tak, jakby składowano je wszystkie w jednej domenie i całość pamięci dostępna jest jako jeden punkt dostępowy dla serwera klienta. Dane jednak nie mogą być złożone w całość bez wynikających z algorytmu, opisujących je meta danych, umieszczonych w bazie centralnej. Baza ta, dla bezpieczeństwa, posiada kilka kopii.
Jak powiedział Computerworld Kennedy, jeśli opracowane rozwiązanie składowania danych będzie działać prawidłowo i zostanie terminowo wdrożone, wówczas przed końcem 201. roku należy spodziewać się opartych na podobnej technologii rozwiązań do składowania danych o pojemności 80 eksabajtów.
