Wat is big data?

Hoe

DoorRyan Dube

Laatst geupdate op26 maart 2020

Door de jaren heen zijn veel modewoorden populair geworden in veel industrieën. Er zijn er maar weinig die zo populair zijn geworden en zo lang als big data. Maar wat is big data precies?

Big data verwijst naar een virtuele oceaan van informatie uit verschillende bronnen, geanalyseerd en gefilterd op een manier die zinvolle en bruikbare resultaten oplevert.

Het proces van het omzetten van "big data" in zinvolle resultaten kan ingewikkeld en moeilijk lijken. Als u echter eenmaal begrijpt wat big data is en hoe het werkt, lijkt het niet zo ingewikkeld om te begrijpen hoe u het betekenisvol kunt maken.

Wat is big data?

Als je mensen hoort praten over 'big data', gebeurt dat meestal met veel handzwaaien en grote woorden. Maar wanneer u alle hyperbolen inkort, zijn de feitelijke "gegevens" in feite veel meerdere gegevensinvoerstromen.

Om dit te begrijpen, kan een voorbeeld helpen. Stel dat u een overkoepelend productiebedrijf leidt. Uw marketingafdeling is op zoek naar een manier om beter te voorspellen wanneer de marktvraag gaat stijgen.

Vóór de dagen van big data bestudeerden marketeers markttrends, stuurden klantenonderzoeken en vele andere activiteiten.

Ze zouden al die gegevens verzamelen en opslaan in de interne databases van hun eigen bedrijf. Iemand kan zelfs de leiding hebben over het bijwerken van marketingonderzoeksgegevens op jaar- of kwartaalbasis.

De opkomst van big data vergroot echter de mogelijkheid om dit soort onderzoek uit te voeren. Met name big data is vooral effectief bij het identificeren van belangrijke trends of gebeurtenissen in bijna realtime.

Gegevensinvoer voor dit soort 'big data'-analyse kan bestaan ​​uit realtime gegevensstromen door code te schrijven die op de computer wordt aangesloten Application Programming Interface (API) van veel verschillende bedrijven die die gegevens openbaar hebben gemaakt:

• Twitter en Facebook: Identificeer wanneer en waarom mensen over de aankoop van paraplu's praten.
• Weer: Identificeren weersomstandigheden of voorspellingen die kunnen leiden tot hogere overkoepelende verkopen.
• Beurs: Seizoensgebonden veranderingen in de kosten van grondstoffen voor het produceren van paraplu's.
• Webgebruik door klanten: Met behulp van informatie uit de computer cookies van mensen die de bedrijfscatalogus bezoeken om koopgedrag te begrijpen.
• Aankoopgeschiedenis van de klant: Het volgen van de geografie en seizoenen van trends in verkooppunten van retailers.

Om big data te gebruiken, moet het marketingteam van dit bedrijf in sommige gevallen nieuwe technologieën installeren.

Big data en internet

Dit kan de Internet of Things (IoT) -technologie bij retailers zijn die het gedrag van consumenten bijhoudt en erover rapporteert. Of het kan inhouden dat een programmeur de code schrijft die nodig is om te communiceren met de Twitter-API om tweets uit te filteren die "paraplu's" of de bedrijfsnaam vermelden.

Elk van deze technologieën is nu beschikbaar dankzij internet. Via internet kan iedereen gebruikmaken van gegevensstromen van over de hele wereld.

Hier is hoe de setup in ons eigen voorbeeld in dit geval zou kunnen werken.

Dit diagram laat zien hoe gegevens vanuit veel verschillende bronnen naar de 'datameer' van het bedrijf stromen. De binnenkomende gegevens kunnen anders zijn gestructureerd, maar het belangrijkste is om zoveel mogelijk gegevens uit alle bronnen te verzamelen.

Wat is een Data Lake?

In tegenstelling tot een database die gestructureerde gegevens bevat die in specifieke kolommen en rijen zijn georganiseerd, is een gegevensmeer een enorme opslagplaats voor veel verschillende soorten gegevens.

De opgeslagen gegevens kunnen gestructureerd of ongestructureerd zijn. Dit betekent dat het gestructureerde rijen en kolommen kan hebben, of niet. De gegevens kunnen strings zijn die specifieke opmaak gebruiken om gegevens te scheiden. Elke gegevensbron kan gegevens in elke gewenste vorm naar een gegevensmeer sturen.

Stel je een datameer voor als een enorme bibliotheek die vele vormen van media bevat, zoals boeken, afbeeldingen op microfiche en video op dvd's.

Stel je voor dat de ingenieur van digitale intelligentie en data-analyse de beschermheer van die bibliotheek is. Deze klanten kunnen gegevens digitaal uit boeken, microfiches en dvd's halen en manieren vinden om die gegevens te combineren en te combineren en dingen te leren van hoe de gegevens correleren.

Uit die kennis komt feitelijke, bruikbare intelligentie. Enkele van onze voorbeelden kunnen zijn:

• Chatter op Twitter en Facebook duidt op een naderende storm in New York City, met duizenden klanten die van plan zijn paraplu's te kopen.
• Aankoopgegevens van computercookies en afrekenmachines in de detailhandel geven aan dat kopers in Californië bereid zijn meer te betalen voor designerparaplu's dan mensen in Virginia.
• Een groot naderend stormpatroon geeft aan dat het grootste deel van de oostkust een week lang zal worden bedekt met een regenbui.

Al deze ervaringen kunnen het marketingteam ertoe aanzetten om geografisch meer te investeren in advertenties waar de vraag naar overkoepelende verkopen veel sterker is. Fabricageactiviteiten kunnen hun productie-inspanningen ook verschuiven naar die delen van de wereld die dichter bij de plaats liggen waar de verkoop waarschijnlijk stijgt.

Op deze manier kan elk bedrijf met behulp van big data hun marketing en activiteiten stroomlijnen.

Wat is Hadoop?

De volgende vraag is: hoe verwerken bedrijven zulke grote hoeveelheden data en identificeren ze trends?

Dit soort gegevenscracking vereist enorme computerbronnen. Zozeer zelfs dat bedrijven niet langer grote mainframecomputers op locatie gebruiken zoals vroeger. Veel van deze services zijn nu aankopen vanuit de cloud. Cloud data intelligence-services zoals Apache Hadoop bieden veel computerknooppunten op een groot cloudnetwerk. Elk van deze knooppunten draagt ​​bij aan de verwerkingskracht die nodig is om enorme gegevensstromen uit meerdere bronnen te analyseren.

Dit soort verwerkingskracht is het hart van machine- of digitale intelligentie en data-analyse. Hadoop is het softwareframework dat dit hele netwerk van enorme rekenkracht doet werken zoals vereist voor ingenieurs van digitale intelligentie.

Zodra de computationele engine bruikbare informatie produceert, worden deze meestal aan het bedrijf geleverd in de vorm van dashboards of rapporten.

Big data zijn niet alleen modewoorden

De waarheid is dat "big data" meer is dan alleen zakelijk jargon. Veel bedrijven leren dat ze, door beter gebruik te maken van gegevens, tal van prestaties kunnen behalen.

• Fabrikanten kunnen kritieke productiestatistieken zoals opbrengst, kwaliteit en efficiëntie verbeteren.
• Retailers kunnen marketing-, reclame- en bedrijfsinvesteringen beter op elkaar afstemmen op basis van marktplaatsignalen.
• Distributeurs kunnen potentiële problemen in een toeleveringsketen voorspellen om preventief noodplannen te ontwikkelen.
• Nieuwsorganisaties kunnen snel nieuwswaardige gebeurtenissen identificeren door openbare signalen op internet te analyseren.
• Cybersecurity-experts signalen op internet gebruiken om cyberaanvallen te identificeren terwijl ze bezig zijn.

Hoewel veel van wat big data de afgelopen jaren heeft bereikt, vrijwel onzichtbaar blijft voor het publiek, heeft big data voor mensen over de hele wereld een aanzienlijke impact gehad op het dagelijks leven.