기업 데이터 마이닝의 실제 적용을 위한 모델

기업 데이터마이닝에 실제로 사용되는 모델

몇년전에 쓴 글인데 오늘 갑자기 발견해서 보시는 많은 분들에게 도움이 될 것 같습니다. 데이터 마이닝을 참조해야 합니다.

회사 내 여러 동료와 외부 전문가로부터 데이터 마이닝과 데이터 모델에 대한 소개를 몇 가지 들었습니다. 전반적으로 매우 보람있는 일이지만, 물론 수확은 구체적인 기술적 세부 사항에 있지 않습니다. 그것은 의견과 개념에 관한 것입니다.

저는 이전에 가장 기본적인 클러스터링, 의사결정 트리, 로지스틱, 회귀 분석, 생존 분석, 신경망부터 일부 공동 분석, 지각 분석, 시장 조사 요인 분석에 이르기까지 많은 모델을 다루었습니다. /주요 구성 요소 분석 및 고급 구조 방정식. 1년 동안 선물회사에 근무하면서 ARMA 클러스터, ARCH 클러스터, VaR 등 계량 경제학 모델도 작업했습니다. 당시 저는 제가 생성한 모델에 대해 매우 자신감이 없었습니다. 당시의 모델 인식률 지표(예: R 제곱, 학교에서 논문을 작성할 때나 일상에서 모델과 놀 때 전설적인 90 이상에 도달하지 못함) 때문에 이 모델은 좋지도 완벽하지도 않다고 느꼈습니다.

작년에는 많은 인재들과 소통했지만, 대기업들이 데이터를 얼마나 활용하는지 알아보고자 학습하는 마음으로 인터넷 기업을 찾았다. , 나는 항상해야한다고 느꼈습니다. 그렇게 간단하지 않습니다.

새 회사에 와서 여러 모델 동료들을 만나고, 외부 전문가들의 강연도 듣고 어느 정도 마음이 편해졌다. 예전에는 모델을 만들다 보니 학문적인 연구를 했다는 게 제가 완벽함을 추구하는 사람이었던 탓이 아닐까 싶습니다.

예를 들어 모델 설정을 위한 가설 조건, 변수 선택 등이 있습니다.

모델의 가정과 데이터의 분포 요구사항,

모델의 변수 선택과 다양한 변수 전처리,

최종 목표를 향해 목적 이론 인터넷에서 사용 가능한 모든 모델을 사용해 보십시오. 예: 회원 이탈 문제: 의사결정 트리, 로지스틱 회귀, 생존 분석을 사용한 후 최종 LIFT 값이 가장 큰 것을 기준으로 선택하겠습니다.

그런데 실제로 여러 동료와 친구의 소개로 볼 때 로지스틱 회귀는 많은 회사에서 사용하는 모델입니다.

좀 더 '고급'된 모델을 사용하는 것은 어떨까요? ? 모델은 어떻습니까? 두 가지 이유가 있습니다.

첫 번째: 모델의 견고성입니다. 이러한 모델은 이전 사례에서 가장 우수하거나 가장 안정적인 성능을 갖는 것으로 입증되었습니다. 측정된 지표는 안정성, 설명 가능성(비즈니스에서 매우 중요함) 및 단순성에 지나지 않습니다.

둘째: 상업적 적용은 이미 프로세스와 유사한 프로세스이며 생산 라인에서처럼 쉽게 변경되지 않습니다. 모델의 약간의 변화는 여러 측면에 영향을 미칠 수 있으며 큰 프로젝트입니다.

그들과 소통하면서 한 가지를 잊은 것 같습니다. 이것들은 모두 비즈니스를 위한 것이고, 비즈니스 프로세스는 너무 복잡하면 안 되며, 최고의 비즈니스 모델은 종종 가장 단순한 것이겠죠?

나의 관점: 어쩌면 내 업무 경험과 관련이 있을 수도 있겠지만, 데이터 분석가나 데이터 모델러라고 생각하는데, 비록 사용하는 것은 매우 간단하다. 하지만 마스터해야 할 것은 많고 복잡해야 하기 때문에 최고의 모델을 선택할 수 있기 때문에 비즈니스 서비스를 위한 데이터 마이닝이나 수학적 모델링을 수행할 때는 물론 이러한 전문 지식이 매우 중요합니다. 견고함 역시 가장 기본적인 것 중 하나입니다.