빅 데이터 라이프 사이클의 9 단계

기업이 빅 데이터를 구축하는 수명주기에는 빅 데이터 조직, 상태 평가, 빅 데이터 전략 개발, 데이터 정의, 데이터 수집, 데이터 분석, 데이터 거버넌스 및 지속적인 개선과 같은 섹션이 포함되어야 합니다.

I. 대량 데이터 조직

아무도, 모든 것이 허튼소리이다. 빅 데이터 라이프 사이클의 첫 번째 단계는 전용 예산 및 독립 KPI 를 갖춘' 빅 데이터 계획, 건설 및 운영 기관' 을 구축하는 것입니다. 고위 CDO, 응답자, 회사 데이터 관리위원회 또는 빅 데이터 구현 계획 운영위원회, 빅 데이터 프로젝트 그룹 또는 빅 데이터 프로젝트 그룹의 전임자, 빅 데이터 프로젝트 사전 연구 그룹 또는 빅 데이터 프로젝트 준비 그룹을 포함합니다. 이 팀은 미래의 빅 데이터 전략 개발 및 구현의 중추입니다. 인원수가 많기 때문에 모든 사람의 역할과 책임을 명확히 하기 위해 RACI 모델을 도입하는 것이 좋습니다.

둘째, 빅 데이터의 상태 평가 및 갭 분석

전략을 세우기 전에, 우리는 먼저 현재의 형세를 평가해야 한다. 평가 전 설문 조사에는 1, 외부 조사, 업계 내 빅 데이터의 최신 진행 상황, 업계 최고의 기업에서 빅 데이터의 적용 수준 등 세 가지 측면이 포함됩니다. 업계 평균 수준은 어떻습니까, 특히 주요 경쟁사의 빅 데이터 애플리케이션 수준은 어떻습니까? 두 번째는 내부 고객을 조사하는 것이다. 경영진, 사업부, IT 부서 자체, 최종 사용자는 빅 데이터 비즈니스에 대해 어떤 기대를 갖고 있습니까? 셋째는 자신의 상황을 정확히 파악하여 자신의 기술과 인력 비축량을 이해하는 것이다. 마지막으로, 벤치마킹, 격차 분석, 격차 파악.

격차를 파악한 후에는 성숙도 상태를 평가해야 한다. 일반적으로 회사의 빅 데이터 응용 프로그램의 성숙은 네 단계로 나눌 수 있습니다: 시작 단계 (개념만 있고 실천은 없음); 탐험기 (기본 개념은 이미 알고 있고, 어떤 사람들은 내가 기본적인 빅데이터 기술 비축을 가지고 있다는 것을 이미 알고 있다.) 개발 기간 (명확한 전략, 팀, 도구 및 프로세스를 소유 또는 구축하고 예비 결과를 제공) 성숙도 (안정적이고 성숙한 전략, 팀, 도구 및 프로세스를 갖추고 고품질의 결과를 지속적으로 제공).

셋째, 빅 데이터 전략

큰 데이터 조직으로 우리 회사의 큰 데이터의 현황, 격차, 수요를 이해하면 큰 데이터의 전략적 목표를 세울 수 있다. 빅 데이터 전략의 수립은 전체 빅 데이터 수명주기의 영혼이자 핵심이며 전체 조직의 빅 데이터 개발 가이드가 될 것입니다.

빅 데이터 전략의 내용에는 통합 템플릿이 없지만 몇 가지 기본 요구 사항이 있습니다.

1. 회사 내외 이해 관계자의 요구를 간결하게 다룹니다.

2. 명확해야 우리의 목표와 비전이 무엇인지 명확하게 알려드릴 수 있습니다.

실사구시적으로 말하면, 이 목표는 노력을 통해 달성할 수 있다.

넷째, 큰 데이터의 정의

나는 "데이터를 정의하지 않으면 데이터를 수집 할 수 없다. 받지 못하면 분석할 수 없다. 만약 당신이 그것을 분석할 수 없다면, 당신은 그것을 측정할 수 없습니다. 만약 당신이 그것을 측정할 수 없다면, 당신은 그것을 통제할 수 없습니다. 네가 통제할 수 없다면 통제할 수 없다. 만약 네가 그것을 관리할 수 없다면, 너는 그것을 사용할 수 없다. " 따라서 "요구 사항과 정책이 명확해지면 데이터 정의는 모든 데이터 관리를 위한 전제 조건입니다."

동사 (verb 의 약어) 데이터 수집

1. 빅 데이터 시대의 데이터 소스는 매우 광범위합니다. 기존 기업 인트라넷의 다양한 어플리케이션 시스템에서 생성된 데이터 (예: 사무실 및 업무 생산 데이터), 기업 외부 인터넷의 데이터 (예: 소셜 네트워크 데이터) 및 사물의 인터넷의 세 가지 측면에서 비롯될 수 있습니다.

2. 큰 데이터는 여러 가지가 있는데, 일반적으로 전통적인 구조화 데이터와 대량의 구조화되지 않은 데이터 (예: 오디오 비디오) 로 나눌 수 있다.

많은 데이터 수집 및 마이닝 도구가 있습니다. Hadoop 기반 ETL 플랫폼을 통합하거나 통합할 수 있으며 상호 탐색, 데이터 마이닝으로 대표되는 데이터 가치 마이닝 도구가 트렌드가 되고 있습니다.

4. 데이터 수집의 원칙: 데이터 출처가 광범위하고, 데이터 양이 많고, 수집 마이닝 도구가 많은 상황에서, 빅 데이터 의사결정자들은 데이터 수집의 원칙을 명확히 해야 합니다. "수집할 수 있는 데이터는 수집할 가치가 있거나 수집할 필요가 있는 것은 아닙니다. 수집해야 할 데이터와 수집할 수 있는 데이터의 "교차" 는 수집할 데이터를 결정하는 것입니다. "

자동사 데이터 처리 및 분석

업계에는 기업이 통합' 데이터 처리 분석 플랫폼' 을 구축하는 데 도움이 되는 다양한 툴이 있습니다. 기업 빅 데이터 관리자와 플래너에게 중요한 것은 "도구는 플랫폼 요구 사항을 충족해야 하고, 플랫폼은 비즈니스 요구 사항을 충족해야 하며, 비즈니스는 플랫폼 요구 사항을 충족해야 하며, 플랫폼은 공급업체의 도구 요구 사항을 충족해야 한다" 는 것입니다. 그렇다면 이 통합 플랫폼은 어떤 능력을 가져야 할까요? 메타데이터 관리를 쉽게 검색, 분류, 연결, 푸시 및 구현할 수 있어야 합니다. 다음 그림을 참조하십시오.

일곱째, 데이터 렌더링

대용량 데이터 관리의 가치는 결국 다양한 형태의 데이터를 통해 경영진과 사업부가 비즈니스 의사 결정을 내릴 수 있도록 지원합니다. 빅 데이터의 의사 결정자는 빅 데이터의 시스템을 BI (비즈니스 인텔리전스) 및 KM (지식 관리) 시스템과 통합해야 합니다. 다음 그림은 큰 데이터의 다양한 표현을 보여줍니다.

여덟. 감사, 거버넌스 및 통제

1. 대용량 데이터의 감사, 거버넌스 및 제어란 대규모 데이터의 관리, 즉 전문 거버넌스 및 제어 팀을 구성하여 다양한 전략, 프로세스, 시스템 및 평가 지표 시스템을 개발하고, 여러 관련 기능 부서의 목표를 모니터링, 검사 및 조정하여 대용량 데이터를 최적화, 보호 및 활용하고, 기업으로서 보장합니다

2. 빅 데이터의 거버넌스는 it 거버넌스의 일부이며 빅 데이터의 감사는 IT 감사의 일부입니다. 이 시스템은 단편적인 방식이 아니라 전체적인 방식으로 계획하고 구현해야 한다.

3. 빅 데이터 감사, 거버넌스 및 제어의 핵심은 데이터 보안, 데이터 품질 및 데이터 효율성입니다.

아홉, 지속적인 개선

변화하는 비즈니스 요구 사항 및 감사, 거버넌스에서 발견된 대용량 데이터의 전체 수명주기 노출 문제, PDCA 등의 방법론 도입, 정책, 방법, 프로세스 및 도구 최적화, 관계자의 기술 향상을 통해 대규모 데이터 전략의 지속적인 성공을 보장합니다!