Gdzie w internecie wiedzą o tobie najwięcej i co robią z danymi na twój temat?

Yahoo! ogłosiło właśnie stworzenie największego w swojej historii i jednego z największych na świecie zbiorów samo-uczących się danych o internautach. Platforma zarządzania danymi (DMP, Data Management Platform) autorstwa Yahoo! to "myśląca maszyna", która zasięgiem obejmuje 20 milionów użytkowników i waży 13,5 TB danych, oczywiście zaszyfrowanych i anonimowych. Z kolei w naszej części świata największą platformę samo-uczących się danych (Big Data) stworzyli... Polacy. Oto ranking 5 kluczowych systemów Big Data na świecie, które wiedzą o internautach całkiem sporo.

Takim serwisom jak Google czy Facebook lub różnym innym firmom, np. Microsoftowi, na co dzień dostarczamy całą masę cennych informacji dotyczących... nas samych. Robimy to często nieświadomie. Maszyny codziennie przetwarzają ciężkie terabajty danych o internautach. Jak i po co? Tego dowiecie się z naszej galerii.

W Polsce znajduje się największe w tej części Europy centrum przetwarzania danych, ale daleko mu jeszcze do tych, którymi dysponuje Microsoft czy Google - ci są wciąż bezkonkurencyjni. Także Yahoo ma pokaźny zbiór informacji o internautach. Ta firma ogłosiła właśnie stworzenie największego w swojej historii i jednego z największych na świecie zbiorów samouczących się danych o użytkownikach internetu. Platforma zarządzania danymi (DMP, _ Data Management Platform _) autorstwa Yahoo to "myśląca maszyna", która zasięgiem obejmuje 20 milionów użytkowników i ma 13,5 TB danych, oczywiście zaszyfrowanych i anonimowych. Z kolei w naszej części świata największy system samouczących się danych (Big Data) stworzyli... Polacy. Oto ranking 5 kluczowych systemów Big Data na świecie. Zobacz, gdzie w internecie wiedzą o tobie najwięcej.

słk/ct

Najpierw krótko wyjaśnimy, czym jest DMP. Data Management Platform to - w dosłownym tłumaczeniu - "platforma zarządzania danymi". DMP to swoiste cyfrowe encyklopedie wiedzy o internautach, które swój rozkwit zawdzięczają rynkowi Big Data. Wedle analiz IDC ten ostatni rozwija się już w tempie sześciokrotnie szybszym niż cała branża IT. Dzięki specjalnym algorytmom DMP pozyskują, sortują i kategoryzują wielkie zbiory internetowych danych (Big Data) z różnych źródeł, a następnie analizują je i przetwarzają.

Platforma DMP autorstwa Yahoo, której powstanie portal ogłosił na początku 2016 roku, swoim zasięgiem obejmuje 20 milionów użytkowników. Dziennie gromadzi i przetwarza ponad 13,5 TB danych o zachowaniach i zainteresowaniach internautów, głównie ze Stanów Zjednoczonych. Yahoo od lutego do maja 2015 roku gromadziło anonimowe dane użytkowników, którzy odwiedzali strony takie jak strona główna samego portalu, a także Yahoo News, Yahoo Sports, Yahoo Finance oraz Yahoo Real Estate. Firma stworzyła tę system z myślą o społeczności akademickiej, w celu dostarczenia aktualnej bazy danych dla młodych naukowców, prowadzących badania oraz projekty dotyczące m.in. maszynowego uczenia. W tym celu uruchomiła inicjatywę Yahoo Labs Webscope, w ramach której badacze uzyskują otwarty dostęp do anonimowych i zaszyfrowanych wielkich zbiorów danych o internautach, które mogą wykorzystywać wyłącznie do celów naukowych. Komercyjne korzystanie z tych zasobów jest zabronione.

Jak tłumaczy Suju Rajan, dyrektor w dziale Personalization Science w Yahoo Labs oraz główny koordynator platformy DMP Yahoo, dane stanowią dziś siłę napędową badań nad uczeniem maszynowym (machine learning). Jednak dostęp do wielkich zbiorów danych był tradycyjnie przywilejem zarezerwowanym dla badaczy i naukowców pracujących w dużych firmach, niedostępnym dla większości badaczy akademickich.

DMP autorstwa Oracle należy do jednych z największych na świecie i jest częścią Oracle Marketing Cloud. Sama firma tytułuje swoją centrum zarządzania danymi mianem największej platformy marketingowej świata, co według amerykańskiej spółki stało się możliwe dzięki przejęciu _ BlueKai _, czyli firmy, która była twórcą największej w skali globu systemu danych tzw. typu _ third party _. Prócz BlueKai system DMP autorstwa Oracle w dane zasila ponad 30 zewnętrznych dostarczycieli danych, zaś łączna baza anonimowych profili internautów przekracza już 700 mln. Użytkownicy posegregowani są według ponad 40 tysięcy szczegółowych atrybutów, pozwalających na personalizację programów do marketingu, a tym samym - na zwiększenie precyzji komunikatów reklamowych, wyświetlanych internautom.

W tym zestawieniu nie mogło oczywiście zabraknąć Google'a, czyli - przypuszczalnie - największego agregatora danych na świecie oraz jego serwisów do analizy danych, utrzymywanych w chmurze obliczeniowej, czyli: BigQuery, Cloud Data Flow oraz Cloud Pub/Sub. Google kusi swoich klientów tym, że w każdym miesiącu 1 TB danych będzie przetwarzany za darmo. Już teraz z hurtowni danych największej wyszukiwarki świata korzystają zarówno młode startupy jak i międzynarodowe koncerny. Google to właściciel i zarazem generator gigantycznego zasobu danych: obsługuje ponad 100 miliardów zapytań w wyszukiwarce w skali miesiąca, spośród których aż 1,17 mld to zapytania unikatowe. To dostęp do danych ponad 187 mln unikalnych użytkowników miesięcznie, a łącznie ponad 1 mld użytkowników. Już teraz Google odpowiada za ponad 75 proc. ruchu w wyszukiwarkach w USA.

Nic dziwnego, że firma z Mountain View już wielokrotnie była posądzana o praktyki monopolistyczne. Teraz czeka ją kolejna batalia z politykami Unii Europejskiej. A konkretnie z duńską komisarz ds. konkurencji: Margrethe Vestager, która wyraziła ostatnio głośno swoje zaniepokojenie faktem, że firmy IT przechowujące i przetwarzające ogromne ilości danych o internautach (jak np. Google czy Facebook), mogą stanowić zagrożenie dla konkurencyjności innych podmiotów działających na rynku Big Data.

Gigant z Redmond również może pochwalić się własną platformą DMP. I to nie byle jaką. Niezależna firma analityczna Gartner w swoich raportach "Magic Quadrants" twierdzi, że to właśnie rozwiązania chmurowe autorstwa Microsoft, pozwalające przetwarzać dane i zarządzać nimi w chmurze obliczeniowej (jak np. Azure czy SQL Server), zaliczają się dziś do jednych z najskuteczniejszych sposobów szyfrowania cyfrowych informacji dostępnych na rynku. Firma z Redmond, jako pierwsza na świecie, wdrożyła również międzynarodową normę przetwarzania danych w chmurze publicznej i jako jedyna legitymuje się certyfikatem ISO 27018, gwarantującym bezpieczne i przejrzyste zasady ochrony poufności danych.

Microsoft nie ukrywa, że cloud computing i Big Data to klucz do zrozumienia jego aktualnej strategii biznesowej. Satya Nadella, szef Microsoftu, mówi otwarcie, że strategia jego firmy opiera się właśnie na rozwijaniu rozwiązań chmurowych oraz technologii mobilnych.

Najwyraźniej te działania wychodzą firmie Billa Gatesa na zdrowie, ponieważ z chmury obliczeniowej Microsoft korzysta dziś ponad 80 proc. firm z listy Fortune 500. Dlatego nie powinien chyba dziwić fakt, że to właśnie na chmurze Microsoft zarabia dzisiaj krocie: przychody z cloud computingu w przypadku tej firmy stanowią prawie 30 proc. całościowego przychodu Microsoftu i przekroczyły już 8 mld dolarów. CEO Microsoftu nie zamierza jednak zwalniać tempa i mówi: - Robimy ogromne postępy, chcąc osiągnąć nasz cel, czyli 20 miliardów USD w rocznym komercyjnym przychodzie z chmury, który obecnie przekracza 8,2 miliardy dolarów.

Polacy również należą do grona największych graczy rynku platform zarządzania danymi, a jednocześnie - do głównych innowatorów w tej dziedzinie. _ Behavioralengine.com _ to DMP autorstwa warszawskiej firmy Cloud Technologies, która jest również najszybciej rosnącą spółką na giełdzie NewConnect. Warszawscy programiści rozpoczęli prace nad tym systemem już w 2011 roku, jeszcze jako mały startup, gdy w Polsce o Big Data mało kto słyszał i niewielu widziało sens w analityce cyfrowych informacji ani marketingu z wykorzystaniem danych. Po kilku latach _ behavioralengine.com _ stał się największym zbiorem samouczących się danych o internautach w Europie Środkowo-Wschodniej, który zaopatruje w dane samego Google'a.

Obecnie platforma skonstruowana przez warszawskich badaczy danych przetwarza dziennie ponad 5 TB informacji i monitoruje 0,5 mln witryn. W jej zasięgu znajduje się aż 70 mln urządzeń i 20 mln realnych użytkowników. Oznacza to, że zaprogramowana przez Cloud Technologies "myśląca maszyna danych" zna zachowania i preferencje praktycznie każdego polskiego internauty. Dzięki zastosowanym w niej algorytmom potrafi sama dopasować reklamę do konkretnego użytkownika. Dostarcza również Smarta Data, czyli cennych biznesowo informacji o internetowych konsumentach, które wykorzystywane są przez polską branżę marketingową, bankową, ubezpieczeniową i telekomunikacyjną. Teraz polska spółka zamierza podbić swoim rozwiązaniem rynki zachodnioeuropejskie, co może okazać się strzałem w dziesiątkę, ponieważ do platformy Yahoo brakuje jej naprawdę niewiele.

słk / ct