빅데이터와 대용량 데이터의 차이점

빅데이터와 대용량 데이터의 차이

그냥 대용량 구조화된 데이터라면 솔루션은 상대적으로 간단합니다. 사용자는 더 많은 저장 장치를 구입하여 저장 공간을 늘릴 수 있으며, 장비 효율성도 향상됩니다. 등 이러한 문제를 해결합니다. 그러나 사람들이 데이터베이스의 데이터가 정형 데이터, 비정형 데이터, 반정형 데이터의 세 가지 유형과 기타 복잡한 상황으로 나눌 수 있다는 사실을 발견하면 문제는 그렇게 단순해 보이지 않습니다.

빅데이터의 급증이 온다

복잡한 유형의 데이터가 등장할 때 사용자 IT 시스템에 미치는 영향은 다른 방식으로 다루어질 것입니다. 많은 업계 전문가와 제3자 조사 기관은 일부 시장 조사 데이터를 통해 빅데이터 시대가 다가오고 있음을 발견했습니다. 한 조사에 따르면 이 복잡한 데이터의 85%는 소셜 네트워크, 사물인터넷, 전자상거래 등에 널리 존재하는 비정형 데이터인 것으로 나타났습니다. 이러한 비정형 데이터의 생성은 소셜 네트워크, 모바일 컴퓨팅, 센서 등 새로운 채널과 기술의 지속적인 출현과 적용을 동반하는 경우가 많습니다.

오늘날 빅데이터 개념을 둘러싼 과대광고와 불확실성도 많습니다. 이를 위해 편집자는 일부 업계 전문가에게 관련 문제에 대해 자세히 알아보고 빅데이터가 무엇인지, 빅데이터가 무엇인지, 빅데이터에 대처하는 방법 및 기타 문제에 대해 이야기해 달라고 요청했으며, 네티즌들을 만날 형식으로 만날 예정이다. 일련의 기사 중에서.

몇몇 테라바이트 규모의 데이터 세트를 '빅 데이터'라고 부르는 사람들도 있습니다. 시장조사업체 IDC에 따르면 데이터 사용량은 44배 증가해 글로벌 데이터 사용량은 약 35.2ZB(1ZB=10억TB)에 달할 것으로 예상된다. 그러나 개별 데이터 세트의 파일 크기도 증가하므로 이러한 데이터 세트를 분석하고 이해하려면 더 큰 처리 능력이 필요합니다.

EMC는 1,000명 이상의 고객이 어레이에서 1PB(기가비트) 이상의 데이터를 사용하고 있으며 이 숫자는 2020년까지 100,000개로 증가할 것이라고 밝혔습니다. 일부 고객은 1~2년 내에 1엑사바이트(1엑사바이트 = 10억 GB) 이상으로 수천 배 더 많은 데이터를 사용하기 시작할 것입니다.

대기업의 경우 빅 데이터가 증가하는 이유 중 하나는 컴퓨팅 성능을 저렴한 비용으로 사용할 수 있고 시스템이 이제 멀티태스킹이 가능하기 때문입니다. 둘째, 메모리 비용도 급락하고 있으며 기업은 이전보다 메모리에서 더 많은 데이터를 처리할 수 있으며 컴퓨터를 서버 클러스터로 통합하는 것이 점점 더 쉬워지고 있습니다. IDC는 이 세 가지 요소가 결합해 빅데이터가 탄생했다고 본다. 동시에 IDC는 특정 기술이 빅데이터 기술이 되기 위해서는 먼저 가격이 저렴해야 하고, 두 번째로 IBM이 제시하는 3가지 'V' 기준 중 2가지(다양성, 볼륨, 볼륨)를 충족해야 한다고 밝혔습니다. 속도.

다양성은 데이터에 구조화된 데이터와 구조화되지 않은 데이터가 모두 포함되어야 함을 의미합니다.

볼륨은 분석을 위해 집계된 데이터의 양을 말하며 매우 커야 합니다.

속도란 데이터 처리 속도가 매우 빨라야 한다는 뜻이다.

빅 데이터가 항상 수백 TB를 의미하는 것은 아닙니다. 실제 사용량에 따라 때로는 수백 GB의 데이터도 빅 데이터라고 부를 수 있습니다. 이는 주로 속도 또는 시간 차원이라는 세 가지 차원에 따라 달라집니다.

Garter는 전 세계적으로 정보량이 연간 59% 이상 증가하고 있으며, 데이터와 비즈니스를 관리하는 데 있어 정보량은 IT 리더에게 중요한 과제라고 말했습니다. , 다양성 및 속도.

볼륨: 트랜잭션 볼륨, 기타 기존 데이터 유형 및 새로운 데이터 유형으로 인해 데이터 볼륨이 증가하지만 스토리지 문제가 너무 많습니다. 데이터도 큰 분석 문제입니다.

유형: IT 리더는 항상 대량의 거래 정보를 의사결정으로 전환하는 데 어려움을 겪었습니다. 이제 주로 소셜 미디어와 모바일에서 더 많은 유형의 분석이 필요합니다. (상황 인식) 카테고리에는 표 형식 데이터(데이터베이스), 계층적 데이터, 파일, 이메일, 계량 데이터, 비디오, 정지 이미지, 오디오, 주식 시세 표시기 데이터, 금융 거래 등이 포함됩니다.

속도: 속도는 데이터 흐름, 구조화된 기록 생성, 액세스 및 전달 가용성과 관련됩니다. 속도는 데이터가 얼마나 빨리 생성되고 데이터가 요구 사항을 충족해야 하는지를 의미합니다.

빅 데이터가 주요 문제이지만 Gartner 분석가들은 실제 문제는 빅 데이터를 더욱 의미있게 만들고 빅 데이터에서 패턴을 찾아 조직이 더 나은 비즈니스 결정을 내릴 수 있도록 돕는 것이라고 말했습니다.

100개 학파가 '빅 데이터'를 정의하는 방법을 논의합니다.

'빅 데이터'는 빅 데이터 또는 대규모 데이터로 번역될 수 있지만 빅 데이터와 차이가 있습니다. 대규모 데이터.

정의 1: 빅 데이터 = 대규모 데이터 + 복잡한 유형의 데이터

Informatica China의 수석 제품 컨설턴트인 Dan Bin은 "빅 데이터"에는 "대량 데이터"의 의미가 포함된다고 믿습니다. 그리고 콘텐츠 측면에서는 대용량 데이터를 뛰어넘는다. 한마디로 '빅데이터'는 '대용량 데이터' + 복잡한 형태의 데이터이다.

그러나 Bin은 더 나아가 다음과 같이 지적했습니다. 빅 데이터에는 트랜잭션 및 상호 작용 데이터 세트를 포함한 모든 데이터 세트가 포함되며, 그 크기나 복잡성은 일반적으로 사용되는 기술의 능력을 초과하여 합리적인 가격으로 이러한 데이터 세트를 캡처, 관리 및 처리할 수 있습니다. 비용과 시간 제한.

빅 데이터는 세 가지 주요 기술 트렌드의 융합입니다. 대규모 거래 데이터: ERP 애플리케이션부터 데이터 웨어하우스 애플리케이션, 기존 관계형 데이터, 비정형 및 반정형 정보에 이르기까지 온라인 거래 처리(OLTP) 및 분석 시스템에서 계속해서 성장하고 있습니다. 기업이 더 많은 데이터와 비즈니스 프로세스를 퍼블릭 및 프라이빗 클라우드로 이동함에 따라 이러한 상황은 더욱 복잡해집니다. 대규모 상호 작용 데이터: 이 새로운 힘은 Facebook, Twitter, LinkedIn 및 기타 소스의 소셜 미디어 데이터로 구성됩니다. 여기에는 통화 세부 기록(CDR), 장치 및 센서 정보, GPS 및 지리적 위치 매핑 데이터, 파일 전송 관리 프로토콜을 통해 전송된 대용량 이미지 파일, 웹 텍스트 및 클릭스트림 데이터, 과학 정보 및 이메일 등이 포함됩니다. 대규모 데이터 처리: 빅 데이터의 출현으로 오픈 소스이고 상용 하드웨어 클러스터에서 실행되는 Apache Hadoop과 같은 데이터 집약적 처리를 위해 설계된 아키텍처가 등장했습니다. 기업의 과제는 비용 효율적인 방식으로 빠르고 안정적으로 Hadoop에 데이터를 넣고 빼는 것입니다.

정의 2: 빅데이터에는 A, B, C의 세 가지 요소가 포함됩니다.

빅데이터를 어떻게 이해해야 할까요? NetApp Greater China의 총괄 관리자인 Chen Wen은 빅 데이터란 정보를 더 빠르게 획득하여 업무 방식을 다르게 만들고 혁신을 달성하는 것을 의미한다고 믿습니다. 빅 데이터는 데이터를 저장, 관리 및 복구하는 방법을 재고해야 하는 대량의 데이터(종종 비정형)로 정의됩니다. 그렇다면 얼마나 큰가요? 이 문제에 대해 생각하는 한 가지 방법은 오늘날 우리가 사용하는 어떤 도구도 이를 처리할 수 없을 정도로 규모가 크기 때문에 데이터를 어떻게 소화하고 이를 가치 있는 통찰력과 정보로 변환하는가가 핵심입니다.

NetApp은 고객으로부터 배운 워크로드 요구 사항을 기반으로 빅 데이터를 A, B, C 세 가지 요소, 즉 분석(Analytic), 대역폭(Bandwidth), 콘텐츠(Content)로 이해합니다.

1. 빅 분석은 통찰력 확보에 도움이 됩니다. 이는 새로운 비즈니스 모델, 더 나은 고객 서비스 및 더 나은 결과로 이어질 수 있는 대규모 데이터 세트의 실시간 분석에 대한 요구 사항을 의미합니다.

2. 더 빠른 속도를 지원하는 큰 대역폭 – 매우 빠른 속도로 중요한 데이터를 처리해야 하는 요구 사항을 나타냅니다. 이를 통해 대규모 데이터 세트를 빠르고 효율적으로 소화하고 처리할 수 있습니다.

3. 빅 콘텐츠(Big Content), 정보가 손실되지 않습니다 - 매우 높은 보안이 요구되고 쉽게 복원될 수 있는 확장성이 뛰어난 데이터 저장소를 말합니다. 이는 오래된 데이터뿐만 아니라 관리 가능한 정보 콘텐츠 저장소를 지원하며 다양한 대륙에 걸쳐 있을 수 있습니다.

빅 데이터는 IT 지원을 위한 새로운 인프라를 도입하는 파괴적인 경제 및 기술 원동력입니다. 빅 데이터 솔루션은 기존 컴퓨팅 및 스토리지 제한을 제거합니다. 증가하는 민간 및 공공 데이터의 도움으로 획기적인 새로운 비즈니스 모델이 등장하고 있으며, 이는 빅 데이터 고객에게 새롭고 실질적인 수익 성장 포인트와 경쟁 우위를 제공할 것으로 예상됩니다.

위 내용은 빅데이터와 대용량 데이터의 차이에 대해 편집자가 공유한 관련 내용입니다. 자세한 내용은 글로벌 아이비를 팔로우하여 더 많은 건전한 정보를 공유할 수 있습니다.