빅데이터 시대에 가장 중요한 것은 무엇입니까?

클라우드 시대가 도래하면서 빅데이터(Big Data) 역시 더욱 주목을 받고 있다. "Zhuyuntai"의 분석팀은 빅데이터(빅데이터)가 일반적으로 회사에서 생성되는 대량의 비정형 및 반정형 데이터를 설명하는 데 사용된다고 믿습니다. 이 데이터는 관계형 데이터베이스에 다운로드되는 데 오랜 시간이 걸립니다. 분석에 더 많은 시간과 비용이 소요됩니다. 대규모 데이터 세트를 실시간으로 분석하려면 작업을 수십, 수백, 심지어 수천 대의 컴퓨터에 배포하기 위한 MapReduce와 같은 프레임워크가 필요하기 때문에 빅 데이터 분석은 종종 클라우드 컴퓨팅과 연관됩니다.

간단히 말하면, 다양한 형태의 데이터로부터 가치 있는 정보를 빠르게 얻는 능력이 바로 빅데이터 기술이다. 이를 이해하는 것이 중요하며, 이것이 바로 이 기술이 많은 기업에 적용될 수 있는 잠재력을 발휘하는 원동력입니다. 빅데이터의 4가지 "V" 또는 특성에는 4가지 수준이 있습니다. 첫째, 데이터의 양이 엄청납니다. TB 수준부터 PB 수준까지 다양한 데이터 유형이 있습니다. 위에서 언급한 웹 로그, 동영상, 사진, 지리적 위치 정보 등. 셋째, 가치밀도가 낮다. 영상을 예로 들면, 지속적이고 중단 없는 모니터링 중에 잠재적으로 유용한 데이터는 단 1~2초에 불과합니다. 넷째, 처리 속도가 빠르다. 1초의 법칙. 이 마지막 점은 전통적인 데이터 마이닝 기술과도 근본적으로 다릅니다

. 업계에서는 이를 볼륨(Volume), 다양성(Variety), 가치(Value), 속도(Velocity)라는 4가지 "V"로 요약합니다. 사물 인터넷, 클라우드 컴퓨팅, 모바일 인터넷, 차량 인터넷, 휴대폰, 태블릿, PC, 지구 곳곳에 퍼져 있는 다양한 센서 등은 모두 PTZ에 영향을 미치는 데이터 소스 또는 운반 수단입니다.

예를 들면 웹로그, RFID, 센서 네트워크, 소셜 데이터(사회의 데이터 혁명 덕분에), 인터넷 검색 기록, 천문학, 대기 과학, 유전학, 생지화학, 생물학 등이 있습니다. 복합적 및/또는 학제간 과학 연구, 군사 정찰, 의료 기록, 비디오 기록 보관소 및 대규모 전자 상거래;

대용량 데이터를 허용 가능한 시간 동안 효율적으로 처리하려면 특별한 기술이 필요합니다. 빅데이터에 적용 가능한 기술에는 MPP(대량 병렬 처리) 데이터베이스, 데이터 마이닝 그리드, 분산 파일 시스템, 분산 데이터베이스, 클라우드 컴퓨팅 플랫폼, 인터넷 및 확장 가능한 스토리지 시스템이 포함됩니다.

전체는 아니지만 일부 MPP 관계형 데이터베이스는 페타바이트 규모의 데이터 저장 및 관리 기능을 갖추고 있습니다. RDBMS에서 사용하기 위한 대규모 데이터 테이블의 암시적 로드, 모니터링, 백업 및 최적화.

Sloan Digital Sky Survey는 처음 몇 주 동안 2000년까지 거슬러 올라가는 전체 천문학 역사보다 더 많은 데이터를 수집했습니다. 그 이후로 140테라바이트의 정보가 축적되었습니다. 이 망원경의 후속 제품인 대형 시놉틱 측량 망원경(Large Synoptic Survey Telescope)은 2016년에 온라인 상태가 되며 5일마다 데이터를 수집하게 됩니다. Walmart는 매시간 100만 건 이상의 고객 거래를 처리하고 그에 상응하는 2.5페타바이트의 데이터를 데이터베이스로 가져옵니다. 미국 의회 도서관에 167권의 책이 있습니다.

FACEBOOK은 사용자 기반에서 400억 장의 사진을 처리합니다. 처리하는 데 10년이 걸렸던 원래 인간 게놈의 해독이 이제 일주일 만에 완료될 수 있습니다.

'빅 데이터'의 영향으로 정보 관리 전문가에 대한 수요가 증가했으며, Oracle, IBM, Microsoft 및 SAP는 전문 기업의 지능형 데이터 관리 및 분석을 위한 소프트웨어에 15억 달러 이상을 지출했습니다. 업계 자체의 가치는 1,000억 달러가 넘으며 1년에 두 번씩 거의 10%씩 성장하고 있습니다. 이는 소프트웨어 비즈니스 전체의 속도와 맞먹는 속도입니다. 빅데이터가 등장한 것은 사물이 많아지는 사회에 살고 있기 때문이다. 전 세계적으로 46억 명의 휴대전화 사용자가 있으며, 그 중 1억 명이 인터넷에 접속하고 있습니다.

기본적으로 사람들은 그 어느 때보다 데이터나 정보와 상호작용하고 있습니다. 1990년부터 2005년 사이에 전 세계적으로 1억 명이 넘는 사람들이 중산층에 진입했습니다. 이는 이 돈을 버는 사람들이 점점 더 많은 사람들이 문해력을 갖게 될 것이며, 이는 결국 정보의 성장으로 이어진다는 것을 의미합니다. Cisco는 2013년까지 인터넷을 통해 흐르는 트래픽 양이 연간 667엑사바이트에 이를 것으로 예측합니다.

'빅데이터' 시대가 도래했음을 가장 먼저 제안한 기관은 세계적인 컨설팅 기업 맥킨지다. McKinsey는 연구 보고서에서 데이터가 모든 산업 및 비즈니스 기능 영역에 침투하여 점차 중요한 생산 요소가 되었으며 사람들의 대규모 데이터 사용은 생산성 향상과 소비자 잉여의 새로운 물결을 예고할 것이라고 지적했습니다.

“맥킨지 보고서 발표 이후 빅데이터는 컴퓨터 업계에서 급속히 대중적인 개념으로 자리잡았고, 인터넷 기술의 지속적인 발전으로 인해 데이터 자체가 자산이 되었고, 이는 업계의 상식이 됐다. “클라우드 컴퓨팅이 데이터 자산의 저장과 접근을 위한 장소와 채널을 제공한다면, 어떻게 데이터 자산을 활성화하고 이를 국가 거버넌스, 기업 의사결정, 심지어 개인 생활까지 활용하게 만드는가는 빅데이터의 핵심 문제이자 본질적인 측면입니다. 클라우드 컴퓨팅의 정신과 피할 수 없는 업그레이드 방향”

실제로 글로벌 인터넷 거대 기업들은 '빅데이터' 시대에 데이터의 중요성을 깨달았습니다.

EMC, HP(웨이보), IBM, 마이크로소프트(웨이보) 등 글로벌 IT 대기업들이 '빅데이터' 관련 업체를 인수해 기술통합을 추진하는 것도 '빅데이터'를 중시하는 모습이다.

비교적 새로운 개념인 '빅데이터'는 아직까지 중국 정부가 정책 지원을 위한 적절한 용어로 직접 제안한 바가 없다. 그러나 지난 12월 8일 공업정보화부가 발표한 사물인터넷 '12차 5개년 계획'에서는 정보처리기술을 대용량 데이터 저장, 데이터 저장 등 4대 핵심 기술 혁신 프로젝트 중 하나로 제시했다. 마이닝, 이미지, 비디오 인텔리전스 분석은 빅데이터의 중요한 부분입니다. 정보 감지 기술, 정보 전송 기술, 정보 보안 기술 등 다른 3대 핵심 기술 혁신 프로젝트도 '빅데이터'와 밀접한 관련이 있습니다.