빅데이터의 큰 영향

빅데이터의 큰 파급력_데이터분석가 시험

'데이터화'를 정보사회의 첫 번째 단계로 본다면, 무명 영국의 과학자 빅터 마이 숀베르거(Victor Mai Schonberger)는 독특한 통찰력 있는 신간 『빅데이터 시대』는 인류가 '데이터가 전통을 전복시키는' 정보사회의 중간 단계에 진입하고 있음을 처음으로 알려준다.

이 단계에서 정보는 편재하고 모든 것을 포괄하며, 그 무한히 팽창하는 천문학적 질량은 "통계 분류 - 추론 분석 = 의사 결정"(신용 카드를 긁는 것과 약간 비슷함)의 컴퓨터 처리 프로그램을 탄생시켰습니다. 한 번에 소비하여 계산의 필요성을 줄임) 보충제 찾기와 같은 지루한 연결), "찌꺼기를 제거하고 본질을 선택하고 거짓을 제거하고 참을 유지하면서 외부에서 내부로"라는 전통적인 인식론 모델에 조용히 도전합니다. , 여기에서 저기로'는 우리의 삶과 일, 사고에 미묘한 영향을 끼쳤고, 인류의 '계급투쟁, 생산'에도 미묘한 영향을 끼쳤다. '투쟁과 과학실험'이라는 세 가지 실천활동은 의미있고 심오한 영향을 끼쳤다.

빅 데이터의 점화

미국 정부는 소비자물가지수(CPI)를 정기적으로 발표해 인플레이션율을 모니터링하기 위해 대규모 인력을 고용해 전화와 팩스 방문을 진행했다. 미국 전역 90개 도시의 매장과 사무실에 2억 5천만 달러를 지출하여 80,000개의 상품 가격에 대한 지연된 정보를 수집하고 피드백했습니다. 그러나 매사추세츠 공과대학 경제학자 2명은 '빅데이터' 솔루션을 채택하고 소프트웨어를 사용해 매일 인터넷상에서 50만개 상품 가격에 대한 실시간 정보를 수집했다. 이 소프트웨어는 2008년 9월 리먼 브라더스 파산 직후 인플레이션에서 디플레이션으로의 전환을 감지했지만, 공식 데이터에서는 11월까지 이를 감지하지 못했습니다. 이후 이 소프트웨어는 70개국 이상에 판매되었습니다. 이 사례는 전통을 전복시키는 '빅데이터'의 힘과 변혁적 사고의 지혜를 충분히 보여줍니다.

'스몰 데이터' 시대에 정확성을 추구하며, 부정확한 정보로 인한 오해와 오판이 발생하지 않도록 노력합니다. 그러나 전통적인 데이터베이스에서 거부되는 95개의 비정형(비표준) 데이터는 "빅 데이터" 시대의 퍼지 데이터베이스에서 중요한 역할을 합니다. 데이터가 더 퍼지고 포괄적일수록 더 많은 오해와 오판을 효과적으로 피할 수 있기 때문입니다. .

인과관계에서 상관관계로 사고를 전환하는 것이 전통적인 인식론 모델을 전복하는 '빅데이터'의 핵심이다. 결국, 컴퓨터는 인간의 두뇌가 아닙니다. 컴퓨터는 기후와 항공권 가격 사이의 인과 관계를 결코 이해하지 못합니다. 수탉의 울음과 새벽 사이에는 인과관계가 없지만, 고대인들은 수탉의 울음을 통해 새벽을 점치는 데 실패한 경우가 거의 없었다. "수백만 건의 의료 기록에 오렌지 주스와 아스피린의 특정 조합이 암 치료에 효과적이라는 것이 밝혀졌다면 특정 약리학적 메커니즘을 탐구하기 위해 계속해서 실험을 실행할 필요가 없을 것입니다." "애플의 아버지"인 스티브 잡스는 의료 기록이 있지만 효과적이지만 암과 싸우는 데 임상적으로 입증되지 않은 몇 가지 치료법을 시도하는 데 앞장섰습니다. 스티브 잡스가 "비과학적"이라고 비웃을 수도 있지만, 그 때문에 그는 몇 년을 더 살았습니다.

근본적으로 말하면 소위 '빅 데이터가 전통적인 인식론에 도전한다'는 것은 실제로 인간이 복잡한 인지 과정을 컴퓨터에 '패키지'하고 컴퓨터는 분석, 추론, 검증하기에는 너무 게으른 데다 통계적인 것만을 사용한다는 것입니다. 분류 및 비교를 통해 "최종 답변"을 전달해도 괜찮습니다. 빅데이터의 본질은 '적지만 정제된'을 '많지만 완전한'으로, '인과관계'를 '상관관계'로 바꾸는 것이다. 현장 연구가 데이터 수집으로 대체되기 시작할 때, 엄격한 실험이 비선형 논리로 대체되기 시작할 때, "유일한 진실"이 다중 선택으로 대체되기 시작할 때, "빅 데이터"는 사실을 사용하여 인간에게 다음과 같이 선언합니다. 이런 일이 일어나고 있습니다." 왜인지는 모르겠습니다. 이것은 인간의 두뇌에 비해 컴퓨터의 단점일 뿐만 아니라, 인간의 두뇌를 능가하는 컴퓨터의 장점이기도 합니다!

빅 데이터가 큰 세계에 침투합니다

'빅 데이터'가 단지 공상 과학 이야기이거나 정부와 과학자에게만 주어지는 '특허'라고 생각하지 마십시오. 주위를 둘러보면 '빅데이터'는 이미 우리 삶과 일의 모든 면에 침투해 데이터 슈퍼마켓, 데이터 이베이, 데이터 데이팅, 데이터 우정, 데이터 워크숍, 데이터 교실, 데이터 IB 등 다양한 전설적인 버전이 탄생했습니다. 치안관리, 교통, 의료보건, 상업, 무역, 도소매, 공공복지구조부터 정치, 군사, 경제, 금융, 사회, 환경, 문학예술, 스포츠까지.

UPS 인터내셔널 익스프레스는 2000년부터 미국 전역에서 6만 대의 트럭을 테스트하기 위해 '빅데이터'를 사용하기 시작했으며, 분실된 각 부품의 수명주기를 계산하고 '백업 및 운반'을 고급으로 변경했습니다. 교체는 중간에 고장이 나서 발생하는 심각한 문제와 막대한 손실을 효과적으로 방지하여 매년 수백만 달러를 절약합니다. UPS는 또한 "빅 데이터"를 사용하여 운전 경로를 최적화합니다(예: 우회전 및 좌회전 방지). 2011년에 회사의 차량은 4,828만 킬로미터 더 적게 이동하고 300만 갤런의 연료를 절약했으며 30,000미터톤을 줄였습니다. 탄소 배출의.

뉴욕에 전력 지원을 제공하는 에디슨 일렉트릭 컴퍼니(Edison Electric Company)는 매년 케이블 맨홀 뚜껑 폭발로 인한 대형 사고에 대응해 '빅데이터'를 활용해 106개의 조기 경고 신호를 집계하고 예측한다. 2009년에는 맨홀뚜껑 사고가 발생할 가능성이 있으므로 엄격히 감시해야 합니다. 상위 10위 안에 든 고위험 맨홀뚜껑 중 예측 정확도는 44에 달했다.

미국 리치몬드시 경찰 당국은 총격 사건이 범죄의 정점으로 이어지는 경우가 많다는 사실을 경험적으로 판단했다. 총격 사건. 멤피스시는 범죄가 발생할 가능성이 높은 위치와 범인을 잡기 쉬운 위치를 찾기 위해 2006년 '빅데이터' 시스템을 시작했으며, 그 결과 주요 범죄 발생률이 26% 감소했습니다.

2004년 월마트는 '빅데이터'를 활용해 허리케인 직전에 매출이 늘어난 다양한 상품을 발굴한 뒤, 허리케인 예보가 나올 때마다 즉각적으로 공급지역을 설정해 배치했다. 지역 근처에서 손전등, 아침 간식, 에그타르트 등을 판매하면서 '바이바이' 판매량이 크게 늘었습니다.

'빅데이터'의 경제적 가치에 대해서는 몇 가지 예만 들 수 있다. 마이크로소프트가 2006년 에치오니(Etzioni)의 파레캐스트(Farecast) 회사를 1억1천만 달러에 인수했고, 구글은 2008년에 파레캐스트(Farecast)를 7억 달러에 인수했다. ITA 소프트웨어에서 제공합니다. 같은 해 아이슬란드에 설립된 데이터마켓(DataMarket) 웹사이트는 다양한 연구기관에서 공개한 연구 데이터를 재판매하는 등 수익을 내기 위해 UN, 세계은행, 유로스타트 등 권위 있는 기관으로부터 무료 정보를 수집하고 제공하는 데에만 의존하고 있다. 구매자를 찾는 한 기꺼이 높은 입찰가를 제시하는 경우가 많습니다!

빅데이터가 빅금융을 만든다

금융분야는 물론 '빅데이터'의 주요 전장 중 하나이다. 프로그래밍된 거래는 오늘날 가장 중요한 새로운 "빅 데이터" 무기일 수 있습니다. 미국 주식시장의 일일 거래량은 70억주에 이르지만, 거래량의 3분의 2는 사람이 조작하는 것이 아니라 수학적 모델과 알고리즘을 기반으로 한 컴퓨터 프로그램에 의해 자동으로 완성된다. 끊임없이 변화하는 프로그래밍 방식 거래는 수익을 예측하고 위험을 줄이는 데만 대규모 데이터를 사용할 수 있습니다. 거의 모든 은행, 중개인, 보험, 선물, QFII 및 투자 회사는 자체 프로그래밍 방식 거래 도구를 개발했습니다. 누구의 무기가 더 발전했나요? 결국 경쟁은 누가 더 많은 양의 데이터를 수집하고 처리할 수 있느냐가 될 것입니다.

한 투자펀드는 대형 쇼핑몰 주변의 주차장과 교차로 교통 정체에 대한 통계를 활용해 쇼핑몰 운영과 지역 경제 상황을 예측한 뒤 관련 주가 동향을 예측해 실제로 데이터를 교환했다. 쇼핑몰 일부에 대한 통계입니다.

많은 헤지펀드들이 소셜네트워크서비스(SNS) 트위터를 통해 시장 심리 등의 정보를 수집, 분석해 주식시장의 성과를 예측한다. 런던과 캘리포니아의 두 헤지펀드는 '빅데이터'를 활용해 119개의 이모티콘과 18,864개의 독립적인 지수를 형성해 많은 고객에게 주식시장의 분 단위 '동적 이모티콘'(낙관주의, 우울함, 차분함, 패닉, 부진, 우울함)을 판매했다. 두려움, 분노, 분개 등을 통해 투자 결정을 돕고 추진합니다.

금융기관들이 금융고객 유치를 위해 경쟁하는 오늘날의 세상에서, 엄청난 양의 웨이보, 위챗, 문자메시지를 적시에 수집하고 처리할 수 있다면 자연스럽게 적시에 찾아낼 수 있을 것이다. 광활한 인파 속에서 계좌 개설에 열광하는 분, 혹은 '취업 깡패'에 분노하여 계좌 개설을 계획하시는 분.

물론 투자자들이 '빅데이터'를 통해 직접 의사결정을 하고 '카드 긁기 소비'를 '카드 긁기 투자'로 확장할 수 있다면, 애널리스트 그룹인 히든드래곤과 와호호랑이와 Zhengyong Douyan은 앞으로도 계속 결정을 내릴 수 있을까요?

빅 데이터에는 크고 숨겨진 위험이 숨겨져 있습니다.

모든 새로운 것과 마찬가지로 빅 데이터도 양날의 검입니다. 거시적 관점에서 볼 때 '빅데이터'는 다양한 분야에서 사실상 인간을 '디지털화'와 '디지털화'라는 두 진영으로 나누었습니다.

현재 진행 중인 '프리즘 게이트' 사건은 미국 정부의 장기 세계 감시에 대한 '1급 비밀'을 드러냈다. 그러나 미국 대통령과 의회, 정부는 모두 그러한 감시가 '자연스럽고 정당하다'고 믿고 있다. 핵심 국익을 수호하라" 사회는 오랫동안 개인정보의 보안을 보장하기 위해 거대한 법과 규제 시스템을 마련해 왔지만, '빅데이터' 시대에 이러한 시스템은 난공불락이지만 마음대로 우회할 수 있는 '마지노선'으로 변모하고 있습니다.

'빅데이터'로 인해 개인정보가 거래되고 개인정보가 유출되는 것뿐만 아니라, '개인의 행동이 예측되는' 위험이 더 크다. 저자가 예측한 대로 "우리가 아프거나, 상환 불이행을 당하거나, 심지어 범죄를 저지를 수도 있다는 것을 예측할 수 있는 이러한 알고리즘 프로그램은 우리가 범죄를 저지르기 전에 보험에 가입하고, 대출을 받고, 심지어 체포하는 것도 불가능하게 만듭니다." - 어쩌면 당신은 이것이 세상에 큰 영향을 미친다고 생각할 수도 있습니다. 의심할 여지 없이 사회에 좋은 일이죠. 그러나 예측 시스템이 불완전한 경우, 소프트웨어 및 하드웨어에 오류가 있는 경우, 부적절한 데이터 수집 및 처리, 확인되지 않은 임시 데이터, 해커의 공격 또는 누군가가 악의적이거나 선의로 농담으로 허위 정보를 생성하는 경우… 가족, 친척, 친구, 당신의 고용주, ​​심지어 당신의 나라가 부당하게 고발되고 제재를 받는 경우에도 여전히 무관심할 수 있습니까?

미시적인 관점에서 보면 적법한 목적으로 수집된 '빅데이터'라도 '확장 개발' 과정에서는 상상할 수 없는 부작용을 낳을 수 있다. 예를 들어, Google의 스트리트 뷰 사진 및 GPS 데이터는 위성 위치 확인 및 자동 조종에 중요한 지원을 제공하지만 동시에 갱단과 도둑이 유리한 목표를 쉽게 선택할 수 있도록 돕기 때문에 많은 국가의 사람들로부터 강력한 항의를 촉발했습니다. 구글이 이미지 배경에 있는 주인의 집, 정원, 기타 사물을 흐리게 처리하자 도둑들의 관심이 더욱 집중되었습니다.

놀라거나 두렵거나, 환영하거나 피하거나, 주목하거나 무시하거나, 이해하거나 거부하거나, '빅데이터'는 더 빠른 속도로 우리에게 다가오고 있습니다. 추세를 따르고 장점을 추구하고 단점을 피함으로써만이 기회와 도전으로 가득한 새로운 시대에 조기 도태되는 것을 피할 수 있습니다.

위 내용은 빅데이터의 큰 영향에 대해 편집자가 공유한 관련 내용입니다. 자세한 내용은 글로벌 아이비를 팔로우하여 더 많은 정보를 공유할 수 있습니다.