빅데이터 엔지니어가 되는 방법

빅 데이터는 현재 매우 유행하는 기술 용어임과 동시에 데이터 마이닝 및 분석을 통해 기업의 비즈니스 결정에 영향을 미치는 빅 데이터 처리와 관련된 일부 직업을 자연스럽게 탄생시켰습니다.

이 그룹은 해외에서 데이터 과학자라고 불립니다. 이 직함은 2008년 D.J. Pati와 Jeff Hammerbacher가 처음 제안했으며 나중에 각각 LinkedIn과 Facebook의 데이터 과학 팀이 되었습니다. 데이터 과학자의 위치는 이제 전통적인 미국 통신, 소매, 금융, 제조, 물류, 의료, 교육 및 기타 산업에서 가치를 창출하기 시작했습니다.

그러나 중국에서는 빅데이터 적용이 이제 막 시작됐고, 인재 시장은 아직 성숙하지 않았다. LinkedIn의 비즈니스 분석 및 전략 이사인 Wang Yuyao는 China Business Weekly와의 인터뷰에서 더 많은 기업이 기존 팀을 보완할 수 있는 인재를 채용하기 위해 기존 자원과 단점을 활용하는 데 노력을 기울일 것이라고 말했습니다.

데이터 엔지니어는 어떤 일을 하나요? 따라서 회사마다 빅데이터 작업에 대한 요구 사항이 다릅니다. 일부는 데이터베이스 프로그래밍을 강조하고, 일부는 응용 수학과 통계 지식을 강조하고, 일부는 컨설팅 회사 또는 투자 은행에서의 경험을 요구하며, 일부는 제품 및 시장 응용 인재를 이해하는 사람을 찾고 있습니다. 이 때문에 많은 기업에서는 빅데이터를 다루는 이들에게 업무 유형과 팀 부서에 따라 새로운 직함과 정의를 부여합니다. 즉, 데이터 마이닝 엔지니어, 빅데이터 전문가, 데이터 연구자, 사용자 분석 전문가 등을 자주 언급합니다. 국내 기업에서 '빅데이터 엔지니어'로 등장하는 타이틀까지.

국내 빅데이터 작업은 아직 발전 단계이기 때문에 얼마나 많은 가치를 채굴할 수 있는지는 전적으로 엔지니어 개인의 능력에 달려 있다. 이미 이 업계에 종사하는 전문가들은 컴퓨터 코딩 능력, 수학 및 통계 관련 배경을 포함하여 인재 요구에 대한 몇 가지 일반적인 프레임워크를 제공했습니다. 물론 특정 분야나 산업에 대한 더 깊은 이해가 있다면 빠른 판단을 내릴 수 있습니다. 그리고 핵심 요소를 파악하는 것이 더 도움이 됩니다.

일부 대기업의 경우 석사, 박사학위를 소지한 회사원이 더 나은 선택이기는 하지만, 알리바바그룹 쉬에귀롱 연구원은 대규모 데이터를 처리할 수 있는 한 학력은 가장 중요한 요소는 아니라고 강조했다. 데이터의 바다에서의 보물찾기에 대한 경험과 호기심이 당신을 이 직업에 더 적합하게 만들 것입니다.

또한 뛰어난 빅 데이터 엔지니어는 특정 논리적 분석 능력을 갖추고 비즈니스 문제의 주요 속성과 결정 요인을 빠르게 찾을 수 있어야 합니다. UN Baidu Big의 데이터 과학자인 Shen Zhiyong은 "그는 무엇이 관련성이 있고 무엇이 중요한지, 어떤 종류의 데이터가 사용하기에 가장 가치 있는지, 그리고 각 비즈니스의 핵심 요구 사항을 신속하게 찾는 방법을 알아야 합니다."라고 말했습니다. 데이터 공동 연구실. 학습 능력은 빅 데이터 엔지니어가 다양한 프로젝트에 빠르게 적응하고 짧은 시간 내에 이 분야의 데이터 전문가가 되는 데 도움이 됩니다. 빅 데이터 엔지니어는 주로 마케팅 부서에서 주도하고 데이터 분석 부서에 의해 주도되는 전자는 종종 제품 관리자의 개발 요구 사항을 이해해야 하는 반면, 후자는 데이터 모델의 실제 변환을 이해하기 위해 운영 부서를 찾아야 합니다.

위 요구사항을 빅데이터 엔지니어가 되기 위한 노력의 방향으로 볼 수 있는데, 말보로 루이화(Marlboro Ruihua)의 매니징 파트너인 니콜 얀(Nicole Yan)의 관찰에 따르면 이는 큰 인재 격차이기 때문입니다. 현재 국내 빅데이터 애플리케이션은 대부분 인터넷 분야에 집중되어 있으며, 56% 이상의 기업이 빅데이터 연구 개발을 준비하고 있습니다. "향후 5년 내에 94%의 기업에 데이터 과학자가 필요할 것입니다." . 따라서 그녀는 원래 데이터 관련 업무에 종사했던 기업의 일부 사람들에게 혁신을 고려해야 한다고 제안했습니다.

Alibaba Group의 연구원 Xue Guirong에 따르면 빅 데이터 엔지니어는 '데이터를 가지고 노는' 사람들, 데이터의 상업적 가치를 활용하고 데이터를 생산성으로 바꾸는 사람들입니다.

빅데이터와 기존 데이터의 가장 큰 차이점은 온라인이고, 실시간이며, 규모가 방대하고, 형태가 불규칙하고, 통제하기 어렵다는 점입니다. 따라서 이 데이터를 '놀이'할 수 있는 사람이 매우 중요합니다.

Shen Zhiyong은 빅데이터를 계속해서 축적되는 광산으로 상상한다면 빅데이터 엔지니어의 임무는 “첫 번째 단계는 정보가 위치한 데이터 세트를 찾아서 추출하는 것”이라고 믿습니다. 두 번째 단계는 바로 판단에 사용할 수 있는 정보로 바꾸는 것이고, 마지막 단계는 데이터를 시각화하는 것이다.” 역사를 분석하고, 미래를 예측하고, 선택을 최적화하는 것은 엔지니어가 '데이터를 가지고 놀 때' 가장 중요한 세 가지 작업입니다. 이 세 가지 작업 라인을 통해 회사는 더 나은 비즈니스 결정을 내릴 수 있습니다.

1. 과거 사건의 특징을 찾아낸다

빅데이터 엔지니어의 매우 중요한 일은 데이터를 분석하여 과거 사건의 특징을 찾아내는 것입니다. 예를 들어, Tencent의 데이터 팀은 회사의 모든 네트워크 플랫폼에 있는 크고 불규칙한 데이터 정보를 분류하고 광고 게재를 포함하여 회사의 다양한 비즈니스의 데이터 요구를 지원하기 위해 쿼리할 수 있는 특성을 요약하기 위해 데이터 창고를 구축하고 있습니다. 게임 개발, 소셜 네트워킹 등

과거 이벤트의 특징을 알아내는 가장 큰 역할은 기업이 소비자를 더 잘 이해할 수 있도록 돕는 것입니다. 사용자의 과거 행동 궤적을 분석하면 이 사람을 이해하고 그의 행동을 예측할 수 있습니다. "그 사람이 어떤 사람인지, 나이, 취미, 유료 인터넷 사용자인지, 어떤 종류의 게임을 좋아하는지, 평소 온라인에서 무엇을 좋아하는지 알 수 있습니다." Tencent Cloud Computing Co., Ltd.의 Zheng Lifeng은 China Business Weekly에 이렇게 말했습니다. 다음 단계는 모바일 게임 등 다양한 계층에게 관련 서비스를 추천하거나, 위챗의 영화표 사업처럼 다양한 특성과 요구에 따라 새로운 비즈니스 모델을 도출할 수 있는 비즈니스 수준에 도달하는 것입니다.

2. 미래에 일어날 일 예측

빅데이터 엔지니어는 핵심 요소를 도입하여 미래 소비 동향을 예측할 수 있습니다. Alimama의 마케팅 플랫폼에서 엔지니어들은 날씨 데이터를 도입하여 Taobao 판매자의 비즈니스를 돕기 위해 노력하고 있습니다. "예를 들어 올 여름이 덥지 않다면 일부 제품이 작년만큼 잘 팔리지 않을 가능성이 크다. 에어컨, 선풍기 외에 조끼, 수영복 등도 영향을 받을 수 있다. 그러면 우리는 다음과 같은 사항을 확립할 것이다. 기상 데이터와 판매 데이터 간의 관계를 파악하고 관련 카테고리를 찾아 판매자에게 재고 회전율을 미리 경고할 것입니다."라고 Xue Guirong은 말했습니다.

Baidu에서 Shen Zhiyong은 'Baidu Prediction'의 일부 제품 모델 개발을 지원하여 빅데이터를 사용하여 더 넓은 범위의 사람들에게 서비스를 제공하려고 합니다. 이미 온라인에는 월드컵 예측, 대학 입시 예측, 명승지 예측 등이 ​​포함되어 있습니다. Baidu 명소 예측을 예로 들면, 빅 데이터 엔지니어는 일정 기간 동안 명소 내 사람들의 흐름에 영향을 미칠 수 있는 모든 핵심 요소를 수집하여 예측하고 다음 날 전국의 다양한 명소의 향후 혼잡도를 평가해야 합니다. 며칠 동안은 어떤 일이 일어날까요? 아니면 혼잡할까요? 아니면 일반적으로 혼잡할까요?

3. 최적의 결과 찾기

다양한 기업의 비즈니스 성격에 따라 빅데이터 엔지니어는 데이터 분석을 통해 다양한 목적을 달성할 수 있습니다.

Tencent의 경우 Zheng Lifeng은 빅 데이터 엔지니어의 작업을 반영할 수 있는 가장 간단하고 직접적인 예가 제품 관리자가 대안 A와 B 사이에서 결정을 내리는 데 도움이 되는 옵션 테스트(AB 테스트)라고 믿습니다. . 과거에는 의사결정자가 경험을 바탕으로만 판단을 내릴 수 있었지만 이제는 빅데이터 엔지니어가 대규모 실시간 테스트를 수행할 수 있습니다. 예를 들어 소셜 네트워크 제품의 경우 사용자 중 절반이 인터페이스 A를 보게 하고 나머지 절반은 인터페이스 B를 사용하고 일정 기간 동안의 클릭률 및 전환율 통계를 관찰하면 마케팅 부서가 최종 선택을 내리는 데 도움이 됩니다.

전자상거래 회사인 Alibaba는 빅데이터를 사용하여 정확한 그룹의 사람들을 타겟팅하고 판매자가 더 나은 마케팅을 할 수 있도록 돕기를 희망합니다. "우리가 더 기대하는 것은 기존 사용자보다 제품에 더 관심이 있는 사람들을 찾을 수 있다는 것입니다." 타오바오의 예를 들면, 특정 인삼 판매자의 원래 프로모션 타겟층은 임산부였지만, 데이터 간의 상관관계를 분석한 결과 엔지니어들은 임산부를 타겟으로 한 마케팅의 전환율이 더 높다는 사실을 발견했습니다.

필수 능력

1. 수학과 통계 관련 배경

인터뷰한 인터넷 3대 기업 BAT의 경우 빅데이터 엔지니어의 경우 석사학위를 소지해야 합니다. 또는 통계 및 수학을 배경으로 한 박사 학위. Shen Zhiyong은 이론적 배경이 부족한 데이터 작업자는 기술적 위험 구역(위험 구역)에 들어갈 가능성이 더 높다고 믿습니다. 위험 구역은 다양한 데이터 모델 및 알고리즘에 따라 항상 일부 결과를 생성할 수 있지만 모르는 경우 이는 실제로 의미 있는 결과가 아니며 그러한 결과는 쉽게 오해를 불러일으킬 수 있음을 의미합니다. "특정한 이론적 지식이 있어야만 모델을 이해하고, 모델을 재사용하고, 모델을 혁신하여 실제 문제를 해결할 수 있습니다."라고 Shen Zhiyong은 말했습니다.

2. 컴퓨터 코딩 능력

실제 개발 능력과 대규모 데이터 처리 능력은 빅데이터 엔지니어에게 필요한 요소입니다. "많은 데이터의 가치는 채굴 과정에서 나오기 때문에 금의 가치를 발견하려면 직접 해야 합니다."라고 Zheng Lifeng은 말했습니다.

예를 들어, 사람들이 소셜 네트워크에서 생성하는 많은 기록은 구조화되지 않은 데이터입니다. 이러한 단서 없는 텍스트, 음성, 이미지, 심지어 비디오에서도 의미 있는 정보를 추출하는 방법은 빅 데이터 엔지니어가 파헤쳐야 할 과제입니다. 그들 자신. 일부 팀에서도 빅 데이터 엔지니어의 책임은 주로 비즈니스 분석이지만 컴퓨터가 빅 데이터를 처리하는 방식에도 익숙해야 합니다.

3. 특정 응용 분야 또는 산업에 대한 지식

Nicole Yan의 견해에 따르면 빅데이터 엔지니어의 역할에서 매우 중요한 점은 시장과 분리될 수 없다는 것입니다. 빅데이터는 시장과 분리될 수 없습니다. 데이터는 특정 분야의 응용과 결합될 때만 가치를 창출할 수 있습니다. 따라서 하나 이상의 업종에 대한 경험은 지원자가 해당 산업에 대한 지식을 축적하는 데 도움이 될 수 있으며 이는 향후 빅데이터 엔지니어가 되는 데 큰 도움이 될 수 있으므로 이 직위를 지원할 때 더욱 설득력 있는 보너스가 됩니다.

“데이터를 이해하는 것뿐만 아니라 소매, 의료, 게임, 관광 또는 기타 산업이든 이러한 분야에 대한 확실한 이해가 있어야 합니다. 같은 방향으로” Xue Guirong도 비유했습니다. “과거에는 일부 명품 매장 점원이 속물이고 돈이 있는지 한눈에 알 수 있다고 말했습니다. 또 다른 예로 의료보험 사업을 고려할 때 사람들의 병원 기록뿐만 아니라 식생활 데이터도 고려합니다. "

경력개발 1. 빅데이터 엔지니어가 되는 방법

현재 빅데이터 인재 부족으로 인해 기업이 어려운 상황입니다. 적합한 인재를 채용하려면 높은 학력과 최신 기술 및 대규모 데이터 처리 경험이 있어야 합니다. 따라서 많은 기업이 내부적으로 파헤칠 것입니다.

2014년 8월 알리바바는 빅데이터 대회를 개최해 티몰 플랫폼의 데이터를 꺼내 민감한 이슈를 제거한 뒤 클라우드 컴퓨팅 플랫폼에 올려 7000개 이상의 팀에 넘겼다. 경쟁은 내부경쟁과 외부경쟁으로 나누어진다. "이렇게 하면 내부 직원에게 동기를 부여하고 외부 인재도 발굴할 수 있어 다양한 산업 분야의 빅데이터 엔지니어가 나올 수 있다."

니콜 얀은 자신이 데이터베이스 관리, 마이닝, 전통적인 정량 분석가, Hadoop 엔지니어, 특정 분야의 운영 관리자와 같이 직장에서 판단과 결정을 내리기 위해 데이터를 사용해야 하는 모든 관리자를 포함한 사람들이 이 직위를 시도해 볼 수 있으며 다양한 분야의 사람들이 있습니다. 전문가는 데이터 사용법을 배우는 한 빅데이터 엔지니어가 될 수 있습니다.

2. 급여 및 복리후생

IT 직종 중 '자이언트 판다'로 빅데이터 엔지니어의 수입과 복리후생이 상위권에 있다고 할 수 있다. Nicole Yan의 관찰에 따르면 국내 IT, 통신, 업계 채용의 10%가 빅데이터와 관련되어 있으며 그 비율은 계속 증가하고 있습니다.

Nicole Yan은 "빅 데이터 시대가 갑자기 도래했습니다. 국가의 발전 추진력은 급진적이지만 인재는 매우 제한되어 있습니다. 이제 미국에서는 빅 데이터의 평균 연봉이 수요를 초과합니다."라고 말했습니다. 엔지니어의 연봉은 175,000달러에 달합니다. 국내 상위 인터넷 기업에서는 같은 수준의 빅데이터 엔지니어의 급여가 다른 직위보다 20~30위안 높을 수 있으며 회사에서도 높은 평가를 받는 것으로 알려져 있습니다.

3. 경력 개발 경로

빅 데이터 인재의 수가 적기 때문에 대부분의 회사의 데이터 부서는 일반적으로 데이터 분석가, 3가지 직급이 있습니다: 수석연구원과 부서장. 대기업은 지원 분야의 규모에 따라 서로 다른 팀을 나눌 수 있지만, 중소기업은 여러 직책을 맡아야 합니다. 빅데이터 전략을 특별히 강조하는 일부 인터넷 기업은 알리바바의 최고데이터책임자(CIO) 같은 또 다른 최고 직책을 맡을 예정이다. "이 위치에 있는 대부분의 사람들은 연구 방향으로 발전하고 중요한 데이터 전략 인재가 될 것입니다."라고 Nicole Yan은 말했습니다. 반면, 빅데이터 엔지니어는 사업부 직원뿐만 아니라 사업과 제품에 대해서도 잘 이해하고 있기 때문에 제품부서나 마케팅부서로 이동하거나 회사의 고위 경영진까지 올라갈 수도 있다.