Неге бұл үлкен мәміле?
«Үлкен деректер» - құрылымдық емес деректердің үлкен көлемін зерттеу арқылы адамның мінез-құлқын түсіну және болжаудың жаңа ғылымы. Үлкен деректер де «болжамды аналитика» деп аталады.
Твиттердегі хабарламаларды, Facebook арналарын, eBay іздеулерін, GPS трекерлерін және ATM машиналарын талдау кейбір үлкен деректер мысалдары болып табылады. Қауіпсіздік бейнелерін, трафик деректерін, метеорологиялық үлгілерді, рейстердің келуін, ұялы телефон мұнарасының журналдарын және жүрек соғу жылдамдығын қадағалаушыларды зерттеу басқа да нысандар болып табылады. Үлкен деректер - жаңылыстыратын жаңа ғылым, ол апта сайын өзгереді, және тек бірнеше сарапшылар оны бәрін түсінеді.
Тұрақты өмірде үлкен деректердің кейбір мысалдары қандай?
Көптеген үлкен деректер жобалары өте жасырын болғанымен, адамдар, компаниялар мен үкіметтердің күнделікті өміріне әсер ететін үлкен деректердің табысты мысалдары бар:
Вирустық құбылыстарды болжау: әлеуметтік-саяси деректерді, ауа-райының және климаттық деректерді және ауруханалық / клиникалық деректерді зерттеу арқылы осы ғалымдар 4 апта бұрын алдын-ала ескертіп, денге қызуының алдын алады.
Кісі өлтіру: бұл ірі деректер жобасы Вашингтонда, АҚШ-та өлтірілген құрбандар, күдіктілер және қылмыскерлерді профильдендіреді. Адам өлімін құрметтеудің және адамдар үшін ақпараттық ресурс ретінде, бұл үлкен деректер жобасы қызықты.
Transit Travel Planning, NYC: WNYC радиосы бағдарламашы Стив Мелендес желідегі мегаполис кестесін туристік маршруттық бағдарламамен біріктірді. Оның құрылуы New Yorkers картада өз орындарын басу мүмкіндігін береді және поездар мен метро үшін саяхат уақытын болжау пайда болады.
Xerox олардың жұмыс күшін жоғалтуын қысқартты: қоңырау шалу орталығының жұмысы эмоционалды түрде сарқылады. Xerox кәсіби аналитиктердің көмегімен мәліметтер жинағын зерттеді, енді олар қандай байланыс орталығын жалдаса, компаниямен ұзаққа созылатындығын болжауға болады.
Терроризмге қарсы күреске қолдау көрсету: әлеуметтік медианы, қаржылық жазбаларды, рейстерді және қауіпсіздік туралы деректерді зерделеу арқылы құқық қорғау органдары террористік күдіктілерді олардың зұлым істерін жасамай тұрып алдын ала болжауға және орналастыруға болады.
Әлеуметтік медиа шолуларына негізделген брендтік маркетингті реттеу : адамдар ашық және жылдам пабға, мейрамханаға немесе фитнес клубына онлайн ойларын ортақ пайдаланады. Миллиондаған әлеуметтік медиа-посттарды оқып, компанияға өз қызметтері туралы ойлайтындар туралы кері байланыс ұсынуға болады.
Үлкен деректерді кім пайдаланады? Олар онымен не істейді?
Көптеген монолитті корпорациялар тұтынушыларға қанағаттану деңгейін жоғарылату үшін олардың ұсыныстары мен бағаларын реттеу үшін үлкен деректерді пайдаланады.
- Мысалы, Macy's әмбебап дүкенінде 70 миллионнан астам өнімдерге бағаны түзету үшін үлкен деректер қолданылады. Олар тіпті Macy ның олардың мүдделі екендігіне сеніп негізделген тұтынушыларға теңшелген электрондық хаттарды жібереді.
- Полиция Бостондағы марафонның бомбылауына жауап берген : бейне және бақылау суреттерін зерттеу үшін үлкен деректерді қолданып, полиция күдіктілерді іздестіруді тез қысқарта алды.
- Мортон стейкхаусы Нью-Джерси әуежайына портфелі стейктерін және асшаяндарды кешкі асты жеткізуді қоса алғанда, маркетингтік стунттарды тартып алу үшін Twitter қызметін пайдаланады.
- Виза алаяқтықты анықтау және ұстау үшін үлкен деректерді пайдаланады. Мұнда және сол жерде жасалған мәмілелер несие картасын пайдаланушыны оңай жасыра алады, бірақ миллиондаған транзакцияларды мұқият қарап, алаяқтықтың белгілерін анықтауға болады.
- Facebook реклама жасау үшін үлкен деректерді пайдаланады . Сіздің FB ләззат және қарап шығу әдеттеріңізді мұқият оқып, әлеуметтік медиа алыптары сіздің талғамыңызды терең түсінеді. Facebook форматында көрген бұл бүйірлік жарнамаларды Facebook әдеттеріңізді бақылайтын өте қасақана және күрделі алгоритмдер таңдайды.
Үлкен деректер неге үлкен мәміле?
4 нәрсе үлкен деректерді маңызды етеді:
1. Деректер үлкен. Ол бір қатты дискке , USB-таяққа қарағанда әлдеқайда аз болмайды. Деректердің көлемі адамның ақыл-ойының қаншалықты қабылдайтындығынан асып түседі (миллиардтаған миллиард мегабайт деп ойлап, содан кейін оны миллиардтаған көбейтіңіз).
2. Деректер шамадан тыс және құрылымсыз. Үлкен деректер жұмысының 50% -дан 80% -ы ақпаратты іздеу және тазалау болып табылады, осылайша іздеу және сұрыптау. Біздің ғаламшарымызда бірнеше мың маман ғана осы деректерді тазартуды қалай жүзеге асыруды біледі. Бұл мамандар, сондай-ақ, өздерінің қолөнерін жасау үшін, НРЭ және Хадоп сияқты өте арнайы құралдарды қажет етеді. Мүмкін 10 жылдан кейін үлкен деректер сарапшылары оннан астамға айналады, алайда қазір олар аналитиканың өте сирек кездесетін түрі және олардың жұмысы әлі күнге дейін өте қараңғы және қажырлы емес.
3. Деректер сатылатын және сатып алынатын тауар ** болды. Деректер базары бар, онда компаниялар мен жеке тұлғалар әлеуметтік медиалардың терабайттарын және басқа деректерді сатып ала алады. Деректердің көпшілігі бұлтқа негізделген, себебі ол кез-келген қатты дискке сəйкестендіру үшін тым үлкен. Деректерді сатып алу көбінесе бұлттық сервер фермасына қосылатын абоненттік төлемді қамтиды.
** Үлкен деректер құралдары мен идеяларының жетекшілері - Амазон, Google, Facebook және Yahoo. Бұл компаниялар миллиондаған адамдардың өздерінің онлайн қызметтерімен айналысатындығына байланысты олар үлкен деректер талдауларының артындағы жинау орны мен көрермен болар еді.
4. Үлкен деректердің мүмкіндіктері шексіз. Мүмкін, дәрігерлер бір күннің ішінде жүрекке шабуыл жасайды және адамдарға олардан алдын-ала бірнеше апта келуі мүмкін. Ұшақ және автокөлік апаттары олардың механикалық деректерін, жол қозғалысы мен ауа райын болжауды талдау арқылы азайтылуы мүмкін. Онлайн танысу сіз үшін үйлесімді тұлғалар болып табылатын үлкен деректерді болжаушылардың көмегімен жақсартылуы мүмкін. Музыканттар музыкалық композицияның мақсатты аудиторияның өзгеретін дәміне неғұрлым жағымды екенін түсінуі мүмкін. Дәрігерлер дәрі-дәрмек сатып алатын тағамдардың қайсысын қиындатып немесе адамның медициналық жағдайына көмектесетінін болжай алады. Беті тек сызылған, ал үлкен деректердегі жаңалықтар әр апта сайын орын алады.
Үлкен деректер - қасірет
Үлкен деректер - болжамды аналитика: массивтік құрылымдық емес деректерді іздеуге болатын және сұрыпталатын түрге айналдыру. Бұл білім мен төзімділіктің ерекше түрін талап ететін аралық және хаотикалық кеңістік.
Мысалы, монолитті UPS жеткізу қызметі. UPS-дегі бағдарламашылар олардың драйверлерінің GPS және смартфондарынан деректердің трафигіне бейімделудің ең тиімді әдістерін талдау үшін деректерді зерттейді. Бұл GPS және смартфон деректері талай болып табылады және талдау үшін автоматты түрде дайын емес. Бұл деректер әртүрлі GPS және карта дерекқорларынан, әртүрлі смартфонның аппараттық құралдары арқылы түседі. UPS талдаушылары барлық деректерді оңай іздеуге және сұрыпталуға болатын форматқа айналдырды. Дегенмен, бұл күш тұрды. Бүгінде UPS бұл үлкен деректерді талдауды қолдана бастағандықтан 8 миллионнан астам галлон отынды үнемдеді.
Өйткені, деректердің үлкендігі лас болып табылады және тазалау мен пайдалану үшін көп күш жұмсауды талап етеді, деректер ғалымдары өздері жасаған барлық қажырлы жұмыс үшін «деректерді тазартқыш» деп аталады. مور
Дегенмен, үлкен деректер мен болжау сараптамасы ғылымы апта сайын жақсарып келеді. 2025 жылға қарай барлық адамдарға оңай қол жетімді болу үшін үлкен деректерді күтеді.
Құпиялылыққа үлкен мəліметтер интрузивті қауіп емес пе?
Ия, егер біздің заңдарымыз бен жеке құпиялық қорғауымыз мұқият бақыланбаған болса, үлкен деректер дербес құпиялықты бұзады. Қалай болғанда да, Google және YouTube және Facebook күнделікті онлайн әдеттеріңізді бақылайды . Сіздің смартфоныңыз бен компьютерлеріңіздің өмірі күн сайын цифрлық із қалдырады, ал күрделі компаниялар бұл іздерін зерттейді.
Үлкен деректер айналасындағы заңдар дамып келеді. Құпиялылық сіз енді жеке жауапкершілікке ие болуыңыздың күйі болып табылады, өйткені оны әдепкі құқық ретінде күтуге болмайды.
Құпиялылығыңызды қорғау үшін не істей аласыз:
Сіз қабылдай алатын ең үлкен қадам - VPN желілік байланысын пайдалану арқылы күнделікті әдеттеріңізді жабу . VPN қызметі сіздің сәйкестендіруіңіз бен орналасуыңыз іздеушілерден кем дегенде ішінара маскировкалану үшін сигналыңызды қиып алады. Бұл сізді 100% анонимді жасамайды, бірақ VPN әлемдегі сіздің онлайн әдеттеріңізді қаншалықты бақылайтыны айтарлықтай азайтады.
Үлкен деректер туралы қайдан білуге болады?
Үлкен деректер - аналитикалық ақыл-парасаты бар адамдарға және техникаға деген сүйіспеншілікке толы. Егер сіз болсаңыз, онда қызықты үлкен деректер жобаларының осы бетін көруге болады.