빅데이터가 폭발적으로 증가하고 저장 기술이 어려움에 직면함

빅데이터 스토리지 기술의 폭발적인 성장은 어려움에 직면해 있다

빅데이터 애플리케이션의 폭발적인 성장과 함께 빅데이터는 고유한 아키텍처를 파생시켰으며 스토리지를 직접적으로 홍보하기도 했습니다. 네트워크 및 컴퓨팅 기술 개발. 결국, 빅 데이터의 특수한 요구 사항을 처리하는 것은 새로운 과제입니다. 하드웨어 개발은 ​​궁극적으로 소프트웨어 요구에 의해 주도됩니다. 빅데이터는 그 자체로 표준 스토리지 기술을 사용해 처리해야 하는 많은 데이터를 의미합니다. 빅 데이터는 구조화된 데이터(데이터베이스, 로그, SQL 등)와 구조화되지 않은 데이터(소셜 미디어 게시물, 센서, 멀티미디어 데이터)를 모두 포함하는 테라바이트(또는 페타바이트)의 정보로 구성될 수 있습니다. 또한 이 데이터의 대부분은 색인이나 기타 조직 구조가 부족하고 다양한 파일 형식으로 구성될 수 있습니다. 현재의 기술 발전 상황으로 볼 때 빅데이터 저장 기술 개발은 다음과 같은 어려움에 직면해 있습니다.

1. 용량 문제

여기서 언급되는 '대용량'은 일반적으로 따라서 PB 수준의 데이터 규모에 도달하려면 대용량 데이터 스토리지 시스템도 이에 상응하는 수준의 확장 기능을 갖추어야 합니다. 동시에 스토리지 시스템은 다운타임 없이 모듈이나 디스크 인클로저를 추가하여 용량을 쉽게 확장할 수 있어야 합니다.

'빅 데이터' 애플리케이션은 엄청난 크기의 데이터 외에도 엄청난 수의 파일을 보유한다는 의미도 있습니다. 따라서 파일 시스템 계층에 축적된 메타데이터를 어떻게 관리할지가 어려운 문제이다. 제대로 처리하지 않으면 시스템의 확장성과 성능에 영향을 미치게 되는데, 기존 NAS 시스템에서는 이러한 병목 현상이 발생한다. 다행스럽게도 객체 기반 스토리지 아키텍처에는 이러한 문제가 없습니다. 기존 스토리지와 같은 메타데이터 관리 문제를 겪지 않고 시스템에 있는 수십억 개의 파일을 관리할 수 있습니다. 객체 기반 스토리지 시스템은 또한 광역 확장성 기능을 갖추고 있으며 여러 다른 위치에 배포하여 지역 전반에 걸쳐 대규모 스토리지 인프라를 형성할 수 있습니다.

2. 지연 문제

'빅 데이터' 애플리케이션에도 실시간 문제가 있습니다. HPC 고성능 컴퓨팅과 같이 더 높은 IOPS 성능을 요구하는 "빅 데이터" 애플리케이션 환경이 많이 있습니다. 또한 서버 가상화의 인기로 인해 기존 IT 환경이 변화한 것처럼 높은 IOPS에 대한 필요성도 높아졌습니다. 이러한 과제를 해결하기 위해 서버 내부의 간단한 캐시부터 완전 솔리드 스테이트 미디어를 갖춘 확장 가능한 스토리지 시스템에 이르기까지 다양한 솔리드 스테이트 스토리지 장치 모델이 등장했으며 모두 호황을 누리고 있습니다.

3. 동시 액세스

기업이 빅 데이터 분석 애플리케이션의 잠재적 가치를 인식하면 비교를 위해 더 많은 데이터 세트를 시스템에 통합하고 더 많은 사람들이 공유하고 사용할 수 있게 됩니다. 이 데이터. 더 많은 비즈니스 가치를 창출하기 위해 기업은 다양한 플랫폼의 여러 데이터 개체를 종합적으로 분석하는 경우가 많습니다. 글로벌 파일 시스템을 포함한 스토리지 인프라는 사용자가 데이터 액세스 문제를 해결하는 데 도움이 될 수 있습니다. 글로벌 파일 시스템을 사용하면 여러 호스트의 여러 사용자가 동시에 파일 데이터에 액세스할 수 있으며 이러한 데이터는 다양한 유형의 스토리지 장치에 저장될 수 있습니다.

4. 보안 문제

금융 데이터, 의료 정보, 정부 정보 등 특정 산업의 애플리케이션에는 자체 보안 표준 및 기밀 유지 요구 사항이 있습니다. 이는 IT 관리자도 다르지 않고 따라야 하는 것이지만, 빅데이터 분석에는 여러 유형의 데이터에 대한 상호 참조가 필요한 경우가 많습니다. 과거에는 데이터에 대한 이러한 혼합 액세스가 없었기 때문에 빅데이터 분석 애플리케이션도 증가했습니다. 고려해야 할 몇 가지 새로운 보안 문제에 대해 설명합니다.

5. 비용 문제

'큰' 비용 문제는 비용이 많이 든다는 의미일 수도 있습니다. 빅데이터 환경을 활용하는 기업에게는 비용 관리가 중요한 문제입니다. 비용을 통제하려면 각 장비를 보다 "효율적으로" 만드는 동시에 값비싼 구성 요소를 줄여야 한다는 의미입니다.

비용 관리에 가장 큰 영향을 미치는 요소는 상용 하드웨어 장비입니다. 따라서 이 분야에 처음으로 진출하는 많은 사용자와 가장 큰 응용 프로그램을 사용하는 사용자는 기성 상용 제품을 사용하는 대신 자신의 "하드웨어 플랫폼"을 사용자 정의하는 데 사용할 수 있습니다. 그들의 사업 확장 전략. 이러한 요구를 충족하기 위해 이제 점점 더 많은 스토리지 제품이 순수 소프트웨어 형태로 제공되고 있으며, 이는 사용자의 기존, 범용 또는 기성 하드웨어 장치에 직접 설치할 수 있습니다.

또한 많은 스토리지 소프트웨어 회사에서는 여전히 소프트웨어 제품을 핵심으로 하는 통합 하드웨어 및 소프트웨어 장치를 판매하거나 하드웨어 제조업체와 제휴하여 협력 제품을 출시하고 있습니다.

6. 데이터 축적

많은 빅 데이터 애플리케이션에는 규정 준수 문제가 포함됩니다. 이러한 규정에서는 일반적으로 데이터를 몇 년 또는 수십 년 동안 보관해야 합니다. 예를 들어 의료정보는 환자의 안전을 위해 보통 보관하고, 금융정보는 보통 7년 동안 보관한다. 빅데이터 저장소를 사용하는 일부 사용자는 모든 데이터는 과거 기록의 일부이고 데이터 분석은 대부분 기간을 기반으로 하기 때문에 데이터가 더 오랜 기간 동안 저장될 수 있기를 바랍니다. 장기적인 데이터 스토리지를 달성하기 위해 스토리지 제조업체는 데이터 일관성을 지속적으로 감지할 수 있는 기능과 장기적인 고가용성을 보장하는 기타 기능을 개발해야 합니다. 동시에 현장에서 직접 데이터를 업데이트해야 하는 기능적 요구 사항도 실현해야 합니다.

7. 데이터 유연성

빅 데이터 저장 시스템의 인프라는 일반적으로 매우 규모가 크므로 확장 및 확장이 가능하도록 저장 시스템의 유연성을 보장하도록 신중하게 설계되어야 합니다. 애플리케이션 분석 소프트웨어와 함께 확장하세요. 빅데이터 스토리지 환경에서는 데이터가 동시에 여러 배포 사이트에 저장되므로 데이터 마이그레이션을 수행할 필요가 없습니다. 대규모 데이터 스토리지 인프라를 일단 사용하면 조정이 어렵기 때문에 다양한 애플리케이션 유형과 데이터 시나리오에 적응할 수 있어야 합니다.

저장 매체가 변화하고 있으며 클라우드 컴퓨팅이 점점 더 대중화되고 있습니다.

보안에서 저장소의 역할은 더 이상 단순한 장치가 아닌 솔루션 플랫폼으로 승격되었습니다. . 영상 데이터와 경보 이벤트 기록의 전달자로서 저장의 중요성은 자명합니다.

보안 모니터링 애플리케이션의 저장 요구 사항은 무엇입니까? 첫째, 대용량 저장 장치가 필요합니다. 둘째, 성능 요구 사항입니다. 셋째, 가격 민감도이다. 넷째, 중앙 집중식 관리에 대한 요구 사항입니다. 다섯째, 네트워킹 요구 사항입니다. 오늘날 보안 모니터링 기술의 발전은 유추화, 디지털화, 네트워킹이라는 세 단계를 거쳐 진행되었습니다. 그에 따라 감시 데이터 스토리지도 VCR 아날로그 데이터 스토리지, DVR 디지털 데이터 스토리지, 현재 중앙 집중식 네트워크 스토리지, 클라우드 스토리지 단계 등 여러 단계를 거쳐 이 시장에 단계적으로 대응하고 있습니다. 필요. 앞으로도 보안 모니터링은 고화질, 네트워킹, 인텔리전스를 바탕으로 계속해서 발전할 것이며, 이는 용량, 대역폭 확장 문제, 관리 문제 등 기존 스토리지 솔루션에 끊임없는 과제를 안겨줄 것입니다. 그렇다면 빅데이터 전략을 기반으로 한 대용량 저장 시스템인 클라우드 스토리지가 큰 인기를 끌고 있다.

빅데이터 전략에 기반한 보안저장은 분명한 장점을 가지고 있다

현재 사회는 그 어느 때보다 데이터에 대한 의존도가 높아지고 있으며, 데이터는 실물자산 못지않게 중요한 자료가 되었습니다. 그리고 사람들. 이러한 대용량 빅데이터를 어떻게 저장, 보호, 활용하는가는 보안산업이 직면한 중요한 문제 중 하나입니다. 그렇다면 빅데이터 전략 기반 보안 스토리지의 장점은 무엇일까?

현재 스토리지 시장에서는 기존 영상감시 솔루션의 용량과 대역폭을 확장하기가 어렵습니다. 고객은 용량을 확장하고 성능을 향상시키기 위해 더 많은 고급 장비를 구입해야 하는 경우가 많으며, 이로 인해 비용이 급격히 증가하고 시스템 복잡성이 급증합니다. 동시에 기존 스토리지 모델은 비즈니스 중단 없이 업그레이드하기 어렵고 용량 확장은 비즈니스에 큰 영향을 미칩니다. 둘째, 기존의 영상 감시 솔루션은 관리가 어렵습니다. 영상 감시 시스템은 일반적으로 규모가 크고, 분산 특성이 뚜렷하며, 대부분 독립적으로 관리되기 때문에 전체 시스템이 여러 개의 관리 섬으로 나누어져 있어 전체 성능 향상을 위한 상호 통신 및 작업 조정이 어렵습니다. 또한 친환경성과 안전성 역시 기존 영상 감시 솔루션이 직면한 중요한 문제입니다.

빅데이터 전략을 기반으로 한 클라우드 스토리지 기술의 고유한 높은 확장성, 손쉬운 관리, 높은 보안 특성은 기존 스토리지가 직면한 문제를 해결할 수 있는 기회를 제공합니다. 클라우드 스토리지를 사용하면 사용자는 비즈니스를 중단하거나 시스템 아키텍처를 변경하지 않고도 용량과 대역폭을 쉽게 확장할 수 있습니다. 동시에 클라우드 스토리지는 높은 보안, 저비용, 친환경 및 에너지 절약이라는 특성도 가지고 있습니다. 클라우드 스토리지 기반의 비디오 감시 솔루션은 고객이 당면 과제를 해결하는 데 적합한 선택입니다. Wang Yu는 21세기에 새로운 스토리지 아키텍처인 클라우드 스토리지가 점차 응용 단계에 진입했다고 말했습니다. 클라우드 스토리지는 SAN의 성능 병목 현상을 쉽게 해결할 뿐만 아니라 성능과 용량의 선형 확장도 달성할 수 있습니다. 대용량 데이터를 보유한 보안 모니터링 사용자에게 새로운 선택입니다.

인텔이 출시한 HDFS(Hadoop 분산 파일 시스템)를 예로 들어 보겠습니다. HDFS는 내결함성이 뛰어나고 처리량이 높은 대용량 데이터 스토리지 솔루션을 제공합니다. 다양한 대규모 온라인 서비스와 대규모 저장 시스템에 널리 사용되어 왔으며, 대용량 데이터 저장의 사실상 표준이 되었습니다.

정보시스템의 급속한 발전으로 인해 대용량 정보를 안정적으로 저장하고 많은 사용자가 빠르게 접근할 수 있어야 합니다. 기존 스토리지 솔루션은 최근 몇 년간 아키텍처 측면에서 정보 시스템 비즈니스의 급속한 발전에 적응하기가 점점 어려워지고 비즈니스 발전에 병목 현상과 장애물이 되었습니다. HDFS는 효율적인 분산 알고리즘을 사용하여 다수의 서버에 데이터 액세스 및 스토리지를 분산시키는 동시에 클러스터의 다양한 서버에 대한 액세스를 분산시킬 수도 있습니다. 가장 중요한 것은 자가 치유 분산 파일 스토리지 시스템, 높은 확장성, 다운타임 없는 동적 확장, 높은 신뢰성, 자동 데이터 감지 및 복제, 높은 처리량 액세스, 액세스 병목 현상 제거, 저비용 스토리지 구축 등의 특성을 충족할 수 있다는 것입니다. 그리고 서버.

위 내용은 빅데이터의 폭발적인 성장과 스토리지 기술이 직면한 어려움에 대해 편집자가 공유한 내용입니다. 자세한 내용은 글로벌 아이비를 팔로우하여 더 많은 정보를 공유할 수 있습니다.