학습 요약이란 무엇입니까?

심도 있는 학습이 각 분야에서 잘 분발하는 진행에 따라 일부 학술 분야는 다소 혼란스러워 보인다. 따라서 수사는 매우 중요하다. 좋은 조사는 이 분야에 대한 종합적인 시각을 제공하고, 다른 분야의 학자들이 그 방향을 더 잘 이해하고, 이 분야의 문제점을 수집하고 요약할 수 있도록 도와준다.

다음은 최근 몇 년간 기계 학습의 각 분야에 대한 7 가지 조사입니다. 도움이 되었으면 합니다.

1, 연방 학습 진행 및 공개 문제 (Peter Kairouz, H. Brendan McMahan, et al. Arxiv, 20 19)

공동 학습은 여러 사용자를 위한 공동 작업 교육 방법입니다. 이러한 접근 방식을 통해 모바일 장치 사용자 또는 전체 조직과 같은 여러 최종 사용자가 서버 공급자와 같은 중앙 서버의 공동 일정에 따라 동일한 모델을 공동으로 교육할 수 있으며, 각 사용자로부터 교육 데이터의 분산을 보장할 수 있습니다.

연방 학습은 데이터 수집 및 비용 최소화에 초점을 맞춘 원칙을 반영하므로 기존의 중앙 집중식 기계 학습 및 데이터 과학 방법에서 발생하는 시스템 개인 정보 보호 위험 및 비용을 줄일 수 있습니다. 연방 학습 관련 연구의 폭발적인 성장에 힘입어 이 글은 올해 이 분야의 관련 진전을 논의하고 대량의 개방적인 문제와 도전을 제기하였다.

2. 심층 학습에 기반한 시계열 분류 요약: 요약 (Hassan Ismail Fawaz 등 Data min known disc, 20 18).

시계열 분류는 데이터 마이닝에서 중요하고 어려운 작업입니다. 시계열 데이터의 가용성이 증가함에 따라 대량의 TSC 알고리즘이 제시되었다. 그러나 이러한 방법 중 몇 가지 방법만이 심도 신경망 (DNN) 을 통해 이 작업을 수행합니다. 최근 몇 년간 DNN 의 성공적인 응용에 비하면 정말 놀랍다. DNN 은 컴퓨터 비전 분야, 특히 잔차 네트워크 및 컨볼 루션 신경망과 같은 새롭고 심층적 인 아키텍처의 출현을 완전히 변화 시켰습니다. 이미지 외에도 텍스트 및 오디오와 같은 시퀀스 구조 데이터는 DNN 을 통해 처리되므로 텍스트 분류 및 음성 인식 작업에서 최상의 결과를 얻을 수 있습니다.

이 문서에서는 최신 DNN 구조에 기반한 방법에 대해 TSC 작업에서 실증적으로 연구하여 TSC 작업에서 심도 있는 학습 관련 방법의 최적화 효과를 탐구했습니다. 동일한 DNN 분류를 통해 시계열 관련 분야에서 심도 있는 학습의 응용 개요를 제공합니다. 또한 비교에 참여하는 모든 방법의 구현과 TSC 벤치마크 데이터 세트 및 기타 12 시계열 데이터 세트에 대한 검증 결과를 포함하여 TSC 생태를 구축하기 위한 오픈 소스 심도 있는 학습 프레임워크를 제공합니다. 97 개의 시계열 데이터에 8730 개의 모델을 교육함으로써 지금까지 TSC 작업에 대한 DNN 의 가장 자세한 연구를 제공했습니다.

3. 심도 있는 학습의 최적화: 이론과 알고리즘 (손약우, Arxiv, 20 19)

이 글은 어떤 조건에서 성공적으로 훈련할 수 있는지, 왜 성공적인 신경망을 훈련시킬 수 있는지 주로 논의한다. 이 글은 신경망 훈련과 관련된 최적화 알고리즘과 이론을 총괄하여 서술하였다.

먼저 그라데이션 폭발/소멸 문제, 더 광범위한 사고 상황, 신중한 초기화 및 표준화 방법을 포함한 몇 가지 실제 솔루션에 대해 논의했습니다. 둘째, SGD, 어댑티브 그라데이션 감소 및 분산 방법, 이러한 방법의 기존 이론적 결과와 같은 몇 가지 일반적인 최적화 방법을 검토합니다. 셋째, 지역 극값, 패턴 연결, 복권 가정, 무한 폭 결과 분석 등 교육 과정에서 글로벌 최적화 문제를 해결하는 기존 방법을 검토했습니다.

4. 표준화 프로세스 관련 방법 소개 및 개요 표준화 프로세스: 현재 방법 소개 및 검토 (Ivan Kobyzev, Simon Prince, Marcus A. Brubaker). Arxiv, 20 19).

태그 흐름은 처리 가능한 데이터 분포를 생성하고 효율적으로 샘플링 및 평가할 수 있는 생성 모델입니다. 이 문서의 목표는 분산 학습에서 표준화된 프로세스의 수립 및 사용에 대한 일관성 있고 포괄적인 검토를 하는 것입니다.

Dell 은 관련 모델의 문맥 이해와 설명을 제공하고, 현재 가장 좋은 작업을 검토하고, 개방적인 문제와 향후 연구 방향을 제시하고자 합니다.

5. 표준화 프로세스: 확률 모델링 및 영향의 확률 모델링 및 추론 (George Papamakarios, Eric Nalisnick, et al. Arxiv, 20 19).

표준화 프로세스는 표현 확률 분포를 정의하는 생성 메커니즘을 제공합니다. 일반적으로 간단한 기본 분포와 일련의 이중 광선 변환만 지정하면 됩니다. 최근 몇 년 동안 모델 표현 능력 향상 및 적용 범위 확대 등 표준화 프로세스에 대한 많은 연구가 있었습니다. 그래서 우리는 이 방면의 연구가 이미 성숙해져서 통일된 시각이 필요하다고 생각한다.