I zašto je to veliki posao?
"Veliki podaci" je nova znanost o razumijevanju i predviđanju ljudskog ponašanja proučavanjem velikih količina nestrukturiranih podataka. Veliki podaci poznati su i kao "prediktivna analitika".
Analiziranje Twitter postova, Facebook feedova, pretraživanja eBay, GPS praćenje i bankomatima su neki veliki primjerak podataka. Proučavanje sigurnosnih videozapisa, prometnih podataka, vremenskih uzoraka, dolazaka leta, dnevnika kula mobitela i brojača otkucaja srca su drugi oblici. Veliki podaci su neredovita nova znanost koja se mijenja tjedno, a samo je nekoliko stručnjaka to razumije.
Koji su neki primjeri velikih podataka u redovitom životu?
Dok su većina velikih projekata podataka vrlo nejasni, postoje uspješni primjeri velikih podataka koji utječu na svakodnevni život pojedinaca, tvrtki i vlada:
Predviđanje epidemije virusa: proučavanjem socio-političkih podataka, vremenskih i klimatskih podataka i bolničkih / kliničkih podataka, ti znanstvenici sada predviđaju epidemiju denga groznice 4 tjedna unaprijed.
Homicide Watch: ovaj veliki projekt podataka odnosi na ubojstva žrtava, osumnjičenih i kriminalaca u Washingtonu, DC. Oboje kao način časti pokojnika i resurs svijesti za ljude, ovaj veliki projekt podataka fascinantan je.
Transit Travel Planning, NYC: WNYC radio programer Steve Melendez u kombinaciji je online metropola raspored s itinerar putovanja softver. Njegovo stvaranje omogućava novozapadnicima da kliknu svoju lokaciju na karti i predočit će se predviđanje vremena putovanja za vlakove i podzemnu željeznicu.
Xerox je smanjio gubitak radne snage: posao call centra emocionalno je iscrpljujući. Xerox je uz pomoć stručnih analitičara proučavao podatke o računalima, a sada mogu predvidjeti koji će pozajmljeni centri za pozive vjerojatno ostati s tvrtkom najdužim.
Podrška protuterorizmu: proučavanjem društvenih medija, financijskih evidencija, rezervacija letova i podataka o sigurnosti, provedba zakona može predvidjeti i pronaći terorističke osumnjičenike prije nego što učine svoja zla djela.
Prilagodba marketinga robne marke temeljena na pregledima društvenih medija : ljudi blistav i brzo dijele njihove online misli na pub, restoranu ili fitness klub. Moguće je proučiti ove milijune postova društvenih medija i pružiti povratnu informaciju tvrtki o tome što ljudi misle o svojim uslugama.
Tko koristi velike podatke? Što oni rade s njom?
Mnoge monolitne korporacije koriste velike podatke kako bi prilagodile svoje ponude i cijene kako bi povećale zadovoljstvo kupaca.
- Primjerice, robna kuća Macy koristi velike podatke kako bi prilagodila svoje cijene u letu za više od 70 milijuna proizvoda. Čak i poslati prilagođene poruke e-pošte svojim klijentima na temelju onoga što Macy vjeruje da su zainteresirani.
- Policijska reakcija na bombaški bombaški maraton : pomoću velikih podataka za proučavanje snimaka videozapisa i nadzora, policija je uspjela brzo suziti njihovu potragu za osumnjičenima.
- Morton's Steakhouse koristi Twitter za uklanjanje marketinških zahvata, uključujući i poznatu zračnu isporuku zračne luke u New Jerseyu odreske od poroke i škampa.
- Visa koristi velike podatke kako bi identificirala i uhvatila prijevare. Jednokratne transakcije tu i tamo lako mogu prikriti nepoštene korisnike kreditne kartice, ali pažljivo promatrajući milijune transakcija, mogu se otkriti obrasci prijevare.
- Facebook upotrebljava velike podatke za prilagođavanje oglašavanja . Pažljivo proučavanjem vaših FB likova i navika pregledavanja, društveni medijski diva ima jeziv uvid u vaše ukuse. Oglasne bočne trake koje vidite na Facebook feedu odabiru vrlo namjerni i složeni algoritmi koji promatraju vaše Facebook navike.
Zašto su veliki podaci takav veliki posao?
4 stvari čine velike podatke značajnim:
1. Podaci su masivni. Neće stati na jedan tvrdi disk , a manje je USB stick . Volumen podataka znatno premašuje ono što ljudski um može zamijetiti (misli na milijardu milijardi megabajta, a zatim pomnoži s više milijardi).
2. Podaci su neuredni i nestrukturirani. Od 50 do 80% velikih podataka obrađuje se i čisti podatke tako da se mogu pretraživati i izmjenjivati. Samo nekoliko tisuća stručnjaka na našoj planeti u potpunosti znaju kako to učiniti čišćenjem podataka. Ovi stručnjaci također trebaju vrlo specijalizirane alate, kao što su HPE i Hadoop, kako bi obavili svoj posao. Možda u 10 godina veliki stručnjaci za podatke postat će desetak desetaka, ali za sada su vrlo rijetka vrsta analitičara i njihov je posao još uvijek vrlo zamagljen i dosadan.
3. Podaci su postali roba ** koja se može prodati i kupiti. Tržišta podataka postoje tamo gdje tvrtke i pojedinci mogu kupiti terabajte društvenih medija i drugih podataka. Većina podataka je temeljena na oblaku, jer je prevelika da se uklapa u bilo koji tvrdi disk. Kupnja podataka obično uključuje naknadu za pretplatu na koju se uključi u farmu poslužitelja za oblaku.
** Čelnici velikih alata i ideja podataka su Amazon, Google, Facebook i Yahoo. Budući da te tvrtke služe tolikim milijunima ljudi s njihovim online uslugama, ima smisla da će oni biti točka prikupljanja podataka i vidioci iza velike analize podataka.
4. Mogućnosti velikih podataka su beskrajne. Možda će liječnici jednog dana predvidjeti srčane udare i poteze pojedincima tjednima prije nego što se dogode. Zrakoplovne i automobilske nesreće mogle bi se smanjiti prediktivnim analizama mehaničkih podataka i prometa i vremenskih uzoraka. Online dating može se poboljšati tako da ima velike prediktore podataka o tome tko vam je kompatibilan osobnost. Glazbenici bi mogli dobiti uvid u to što je glazbeni sastav najugodniji za promjenjive okuse ciljane publike. Nutricionisti mogu predvidjeti koju će kombinaciju hrane kupljene u trgovini pogoršati ili pomoći zdravstvenim uvjetima osobe. Površina je samo ogrebotina, a otkrića u velikim podacima se događaju svaki tjedan.
Veliki podaci su prljavi
Veliki podaci su prediktivna analiza: pretvaranje masivnih nestrukturiranih podataka u nešto što se može pretraživati i promjenjivo. Ovo je neuredan i kaotičan prostor koji zahtijeva posebnu vrstu znanja i strpljenja.
Uzmite na primjer monolitnu uslugu dostave UPS-a. Programeri na UPS-u podučavaju podatke svojih GPS vozača i pametnih telefona kako bi analizirali najučinkovitiji način prilagodbe zagušenju prometa. Ovi podaci o GPS-u i smartphoneu su ogromni i nisu automatski spremni za analizu. Ovi podaci ulaze u različite GPS i karte baze podataka, putem različitih hardverskih hardverskih uređaja. Analitičari UPS-a proveli su mjesecima pretvarajući sve te podatke u format koji se lako može pretraživati i razvrstati. Ipak, to je vrijedilo truda. Danas, UPS je spasio više od 8 milijuna galona goriva jer su počeli koristiti ove velike analize podataka.
Budući da su veliki podaci neuredni i zahtijevaju toliko napora za čišćenje i pripreme za upotrebu, znanstvenici podataka postali su nadimak "čuvari podataka" za sve zamoran posao koji rade.
Znanost velikih podataka i prediktivnih analitika se, međutim, poboljšava svaki tjedan. Očekujte velike podatke kako bi ih se svima lako postiglo do 2025. godine.
Nije li velika količina podataka nametljiva prijetnja privatnosti?
Da, ako se naši zakoni i individualna zaštita privatnosti ne budu pažljivo upravljali, veliki podaci ulaze u privatnu privatnost. Kao što stoji, Google i YouTube i Facebook već prate vaše dnevne online navike . Svaki vaš smartphone i računalni život svakodnevno ostavljaju digitalne tragove, a sofisticirane tvrtke proučavaju one tragove.
Zakoni oko velikih podataka razvijaju se. Privatnost je stanje biće koje sada morate preuzeti osobnu odgovornost, jer više ne možete očekivati da je to defaultno pravo.
Što možete učiniti kako biste zaštitili svoju privatnost:
Najveći pojedinačni korak koji možete poduzeti jest ogrnuti vaše dnevne navike pomoću VPN mrežne veze . VPN usluga će otimati vaš signal kako bi vaš identitet i mjesto barem djelomično bili maskirani od praćenja. To vam neće učiniti 100% anonimnim, ali VPN znatno će smanjiti koliko svijet može promatrati vaše internetske navike.
Gdje mogu saznati više o velikim podacima?
Veliki podaci fascinantno su za osobe s analitičkim umovima i ljubav prema tehnologiji. Ako ste to, onda svakako posjetite ovu stranicu zanimljivih velikih projekata podataka.