인공신경망 주요 연구 결과

1 인공신경망 출현 배경

인간 지능의 기원에 대한 미스터리는 고대부터 수많은 철학자와 자연과학자들의 연구열을 불러일으켰다. 생물학자들과 신경과학자들은 장기간의 끊임없는 노력 끝에 인간 두뇌를 관찰하고 이해해 왔으며, 인간 두뇌의 지적 활동은 물리적 구조와 다양한 생물학적, 생물학적 과정을 포함하여 두뇌의 물질적 기반과 분리될 수 없다고 믿습니다. 화학적, 전기적 효과가 발생하여 신경망 이론과 신경계 구조 이론이 확립되었으며, 신경세포 이론은 이후의 신경 전도 이론과 뇌 기능 이론의 기초가 됩니다. 과학자들은 이러한 이론을 바탕으로 인간의 뇌 신경계의 구조와 기능을 모방함으로써 인간의 지능 활동과 인지 현상을 연구할 수 있다고 믿습니다. 한편, 19세기 이전에는 유클리드 기하학과 미적분학으로 대표되는 고전수학이든, 뉴턴 역학으로 대표되는 고전물리학이든, 일반적으로 이들 고전과학은 선형과학이었다. 그러나 객관적인 세계는 너무 복잡하고 비선형적인 상황은 어디에서나, 특히 인간의 뇌 신경계에서 볼 수 있습니다. 복잡성과 비선형성은 서로 연결되어 있습니다. 따라서 비선형 과학에 대한 연구는 복잡한 시스템을 이해하는 데에도 핵심이 됩니다. 객관적인 세계를 더 잘 이해하기 위해서는 비선형 과학에 대한 연구를 수행해야 합니다. 뇌 지능과 유사한 비선형 네트워크 모델인 인공 신경망이 탄생했습니다. 그러므로 인공신경망의 탄생은 우연이 아니라 20세기 초 과학기술의 완전한 발전의 산물이다.

2 인공신경망의 발전

인공신경망에 대한 연구는 1940년대 초에 시작되었다. 반세기가 넘는 기간 동안 이 회사는 상승, 최고점 및 불황, 절정 및 꾸준한 발전의 훨씬 더 구불구불한 길을 경험했습니다.

1943년 심리학자 W.S. McCulloch와 수학 논리학자 W. Pitts는 뇌의 정보 처리 과정을 설명하기 위해 수학적 언어를 사용한 최초의 모델인 MP 모델을 제안했습니다. 이는 향후 연구 작업의 기초를 제공합니다. 1949년 심리학자 D.O. Hebb은 시냅스 연결이 가변적이라는 가설을 제안했습니다. 이 가설을 바탕으로 제안된 학습 규칙은 신경망 학습 알고리즘의 기초를 마련했습니다. 1957년에 컴퓨터 과학자 Rosenblatt는 유명한 퍼셉트론 모델을 제안했는데, 그 모델에는 현대 컴퓨터의 몇 가지 원리가 포함되어 있었습니다. 이는 최초의 완전한 인공 신경망이자 신경망 연구가 공학적 구현에 적용된 최초의 사례였습니다. 패턴인식, 연상기억 등에 적용할 수 있기 때문에 당시 이 연구에는 수백 개의 연구소가 참여했다. 미군은 심지어 '원자폭탄 프로젝트'보다 신경망 프로젝트가 더 중요하다고 믿었다. 막대한 자금을 조달하여 소나 신호에 사용했으며 식별과 같은 분야에서 특정 성과를 거두었습니다. 1960년에 B. Windrow와 E. Hoff는 적응 필터링, 예측 및 패턴 인식에 사용할 수 있는 적응 선형 유닛을 제안했습니다. 이 시점에서 인공신경망에 대한 연구는 첫 번째 정점에 이르렀다.

1969년 미국의 유명 인공지능 학자 M.Minsky와 S.Papert가 영향력 있는 책인 Perceptron을 집필했는데, 이 책은 단층 퍼셉트론이 XOR을 풀 수 없는 등 제한된 능력을 가지고 있음을 이론적으로 입증했습니다. 그들은 다층 네트워크의 퍼셉트론 능력은 이보다 더할 나위 없을 것이라고 추측했고, 그들의 분석은 마치 찬물 한 방울 같았다. 많은 학자들은 자신들의 미래가 암울하다고 느꼈고 원래 참여했던 연구실들은 그들의 경력을 바꾸었다. 거의 10년이 흐른 후, 신경망 연구는 서서히 침체에 빠졌습니다. 이 시기에 핀란드 학자 T. 코호넨(T. Kohonen)은 뇌 신경 세포의 자기 조직화 특성, 기억 방법, 신경 세포 여기 규칙을 반영한 자기 조직화 매핑 이론을 제안했으며, 미국 학자 S.A. 그로스버그(S.A. Grossberg)는 적응 진동 이론(ART)을 제시했습니다. ; 일본 학자 K. Fukushima는 인지 기계 모델을 제안했으며, 이치마리 슌은 신경망과 관련된 수학적 이론 연구에 전념했습니다. 이러한 연구 결과는 신경망의 미래 발전에 중요한 영향을 미쳤습니다.

미국의 생물물리학자 J.J. 홉필드가 1982년과 1984년 미국 국립과학원회보(Proceedings of the National Academy of Sciences)에 게재한 두 편의 논문은 신경망 연구를 강력히 촉진시켰고 신경망 연구의 또 다른 급증을 촉발시켰습니다. 1982년에 그는 새로운 신경망 모델인 홉필드 네트워크 모델을 제안했습니다. 그는 이 네트워크 모델에 대한 연구에서 네트워크 에너지 함수라는 개념을 처음으로 도입하고 네트워크 안정성을 판단하는 기초를 제공했다. 1984년에 그는 신경망의 공학적 구현 방향을 제시한 네트워크 모델 기반의 전자 회로를 제안했습니다. 그의 연구 결과는 신경망이 연관 기억에 대한 계산을 최적화하는 새로운 길을 열었고 신경 컴퓨터의 기반을 마련했습니다. 연구. 1984년에 Hinton et al.은 시뮬레이션된 어닐링 알고리즘을 신경망에 도입하고 Boltzmann 기계 네트워크 모델을 제안했습니다. BM 네트워크 알고리즘은 신경망 최적화 계산을 위한 효과적인 방법을 제공했습니다. 1986년 D.E. Rumelhart와 J.LMcclelland는 오류 역전파 알고리즘을 제안했는데, 이는 지금까지 큰 영향을 미치는 네트워크 학습 방법이 되었습니다. 1987년 미국의 신경 컴퓨터 전문가 R. Hecht-Nielsen이 역전파 신경망을 제안했습니다. 이 신경망은 유연한 분류와 간단한 알고리즘의 장점을 갖고 있으며 패턴 분류, 함수 근사, 통계 분석, 데이터 압축 등의 분야에 사용할 수 있습니다. . 1988년 L.Ochua et al.은 1차 시각 처리에 널리 사용되는 세포 신경망 모델을 제안했습니다.

인공신경망 발전에 부응하기 위해 국제신경망학회는 1987년 설립되어 국제 신경망 학술대회를 정기적으로 개최하기로 결정했다. 신경망은 1988년 1월에 설립되었습니다. 1990년 3월에는 IEEE Transaction on Neural Network가 나왔습니다. 우리나라는 1990년 12월 베이징에서 제1회 신경망학술대회를 개최하였고, 앞으로 매년 개최하기로 결정하였다. 1991년에는 중국 신경망 학회가 난징에 설립되었습니다. IEEE와 INNS가 공동 개최한 IJCNN92가 베이징에서 개최되었습니다. 이는 신경망의 연구개발에 기여해 왔으며, 인공신경망은 꾸준한 발전의 시기에 접어들었습니다.

1990년대 초, 노벨상 수상자인 에델만은 다윈주의 모델을 제안하고 신경망 시스템 이론을 정립했습니다. 같은 해에 Aihara et al.은 이전의 파생과 실험을 바탕으로 연상 기억에 사용할 수 있는 고전적인 혼돈 신경망 모델이 된 혼돈 뉴런 모델을 제시했습니다. Wunsch는 90OSA 연례 회의에서 광전을 사용하여 ART를 수행하는 연례 회의를 제안했습니다. 학습 프로세스에는 적응형 필터링 및 추론 기능이 있으며 빠르고 안정적인 학습 특성이 있습니다. 1991년에 Hertz는 신경망의 계산 복잡성 분석에 큰 의미가 있는 신경 컴퓨팅 이론을 논의했습니다. Inoue et al.은 결합된 혼돈 발진기를 특정 뉴런으로 사용하여 혼돈 신경망 모델을 구축할 것을 제안했으며, 그 이론의 광범위한 응용 가능성을 지적했습니다. . 1992년 홀랜드는 복잡한 최적화 문제를 해결하기 위해 생물학적 진화를 시뮬레이션함으로써 유전 알고리즘을 제안했습니다. 1993년에 Fang Jian'an과 다른 사람들은 유전자 알고리즘 학습을 사용하여 신경망 컨트롤러를 연구하고 몇 가지 결과를 얻었습니다. 1994년 Angeline 등은 이전의 진화 전략 이론을 기반으로 피드백 신경망을 구축하기 위한 진화 알고리즘을 제안했으며, 이는 패턴 인식, 자동 제어 등에 성공적으로 적용되어 세포 신경에 대한 새로운 수학적 이론과 방법을 확립했습니다. 네트워크를 통해 일련의 결과를 얻었습니다. HayashlY는 동물의 뇌에서 발생하는 진동 현상을 기반으로 진동 신경망을 제안했습니다. 1995년 Mitra는 인공 신경망에 퍼지 논리 이론, 생물 세포 이론, 확률 이론을 결합하여 퍼지 신경망을 제안함으로써 신경망 연구에 획기적인 발전을 이루었습니다.

Jenkins 등은 광학적 2차원 병렬 상호 연결을 전자 장치와 혼합하여 연구했으며, 이를 통해 네트워크가 로컬 최소값에 도달하는 것을 방지하고 최종적으로 최적의 솔루션에 도달할 수 있습니다. 유동 신경망은 곤충 사회와 로봇의 집단 면역 체계를 연구하는 데 사용되며, 사람들이 카오스 이론을 사용하여 대규모 사회 시스템을 분석하도록 영감을 줍니다. 1996년 ShuaiJW' et al.은 인간 두뇌의 자기 발달 행동을 시뮬레이션하고 혼돈 신경망에 대한 논의를 바탕으로 자기 발달 신경망을 제안했습니다. 1997년과 1998년에 Dong Cong 등은 가장 간단한 토폴로지 구성 문제와 다층 순방향 네트워크의 전역 최적 근사 문제를 해결하는 일반화된 유전 알고리즘을 만들고 개선했습니다.

이론적 작업의 발전과 함께 신경망 응용 연구도 획기적인 진전을 이루었으며 응용 기술 분야에서는 컴퓨터 비전, 언어 인식, 이해 및 이해 등 광범위한 영역을 포괄합니다. 합성, 최적화 계산, 지능형 제어 및 복합 시스템 분석, 패턴 인식, 신경 컴퓨터 개발, 지식 추론 전문가 시스템 및 인공 지능. 관련된 학문 분야에는 신경 생리학, 인지 과학, 수리 과학, 심리학, 정보 과학, 컴퓨터 과학, 마이크로 전자 공학, 광학, 역학, 생체 전자 공학 등이 포함됩니다. 미국, 일본 등 국가들도 신경망 컴퓨터 소프트웨어 및 하드웨어 개발에서 눈부신 성과를 거두었으며 점차 제품을 형성해 왔습니다. 미국에서는 신경컴퓨터 산업이 군부의 강력한 지원을 받아왔다. 국방고등연구계획국(Defense Advanced Research Projects Agency)은 "신경망이 기계 지능을 해결할 유일한 희망"이라고 믿고 8년간 4억 달러를 투자했다. 혼자 컴퓨터 계획. 유럽 ​​연합의 ESPRIT 계획에는 "유럽 산업의 신경망 적용"이라는 특별 프로젝트가 있습니다. 신경망 특수 칩 생산에만 2,200만 달러의 투자가 필요합니다. 미국 데이터에 따르면 일본의 신경망 연구 투자는 미국의 약 4배에 이른다. 우리나라도 1990년 난카이대학의 광신경컴퓨터 등 3개 프로젝트를 승인한 이후 국립자연과학재단과 국방예비연구기금을 통해 신경망 연구에 자금을 지원해왔다. 또한 Intel, IBM, Siemens, HNC 등 국제적으로 유명한 많은 기업들도 신경망에 대한 연구에 참여해 왔습니다. 신경컴퓨터 제품은 상업 단계에 진입하기 시작했으며 국방, 기업 및 과학 연구 부서에서 선택됩니다. 전 세계적으로 주목을 받은 걸프전에서 미 공군은 의사결정과 통제를 위해 신경망을 활용했다. 이러한 자극과 수요 속에서 인공신경망은 반드시 새로운 돌파구를 마련하고 또 다른 정점을 맞이할 것입니다. 1958년 최초의 신경망이 탄생한 이후, 이론 및 응용 성과는 다양합니다. 인공신경망은 빠르게 발전하는 신흥 학문으로, 새로운 모델, 새로운 이론, 새로운 응용 결과가 속속 등장하고 있다.

3 인공 신경망의 발전 전망

신경망의 기존 문제와 사회적 요구를 고려하여 향후 발전의 주요 방향은 이론적 연구라는 두 가지 측면으로 나눌 수 있습니다. 그리고 응용연구.

(1) 신경생리학과 인지과학을 활용하여 뇌 사고와 지능의 메커니즘과 계산 이론을 연구하고, 질문을 통해 이론을 연구합니다.

인공 신경망은 지능을 드러내고 인간의 뇌가 어떻게 작동하는지 이해하는 합리적인 방법을 제공합니다. 그러나 인간은 처음에는 신경계에 대한 이해가 매우 제한적이므로 자신의 뇌 구조와 활동 메커니즘에 대한 이해가 매우 제한적입니다. 여전히 매우 피상적이며 일종의 "선험적"입니다. 예를 들어 볼츠만(Boltzmann) 기계는 국소 최소값을 피하기 위해 무작위 섭동을 도입하는데, 이는 장점이 있지만 뇌 생리학의 필수 기반이 부족합니다. 인공 신경망의 개선과 개발이 신경과학 연구와 결합되어야 한다는 점은 의심의 여지가 없습니다. 더욱이 신경과학, 심리학, 인지과학에서 제기된 몇 가지 주요 문제는 신경망 이론 연구에 새로운 과제를 제기합니다. 이러한 문제에 대한 해결책은 신경망 이론을 개선하고 발전시키는 데 도움이 될 것입니다. 따라서 신경생리학과 인지과학은 뇌의 사고와 지능의 메커니즘을 연구하는 데 사용됩니다. 새로운 돌파구가 있다면 지능과 기계의 관계에 대한 이해가 바뀔 것입니다.

초기에는 이러한 이론적 네트워크 모델이 상대적으로 단순하고 문제가 많았으며, 실제로 이러한 모델을 테스트한 경우가 거의 없었기 때문에 신경망 개발이 더뎠습니다. 이론적 연구가 심화됨에 따라 문제는 점차적으로 해결되었으며, 특히 소나 인식의 성공과 같은 엔지니어링 구현 이후 신경망의 첫 번째 개발 클라이맥스가 시작되었습니다. 그러나 Minisky는 퍼셉트론이 XOR 문제를 해결할 수 없으며 다층 퍼셉트론도 그 이상은 아니라고 믿습니다. 주로 비선형 문제가 해결되지 않았기 때문입니다. 이론이 지속적으로 풍부해지고 실천이 심화됨에 따라 Minisky의 비관적 견해는 이제 틀렸다는 것이 입증되었습니다. 오늘날 고도로 발달된 과학과 기술은 비선형 문제가 객관적 세계의 본질이라는 것을 점차 밝혀냈습니다. 문제, 이론, 실제의 상호작용은 인공 신경망의 두 번째 정점을 열었습니다. 현재 인공 신경망의 문제는 지능 수준이 높지 않다는 점과 기타 이론 및 구현 문제로 인해 사람들이 계속해서 이론적 연구와 실습을 수행하고 신경망의 지속적인 개발을 촉진해야 한다는 것입니다. 요약하면, 이전 원인은 설명이 다른 새로운 현상에 직면하여 사람들이 설명할 보다 일반적이고 정확한 원인을 제안하게 됩니다. 이론이 기초이고 실천이 원동력이지만 순수 이론과 실천의 역할만으로는 인공신경망의 발전을 촉진할 수 없습니다. 과학자들이 특정 연구 범위에 진입하도록 유도하고 관련 연구에 참여하도록 유도하는 질문이 제기되어야 합니다. , 이를 통해 과학적 발견에 접근하고, 실천은 새로운 질문을 제기하고, 새로운 질문은 새로운 사고를 촉발하여 과학자들이 끊임없이 이론을 생각하고 개선하도록 유도합니다. 인공 신경망의 발전은 모두 문제, 이론, 실천의 변증법적 통일성을 반영합니다.

(3) 인공신경망 발전의 또 다른 원동력은 관련 학문 분야의 기여와 다양한 분야 전문가들의 경쟁과 협력에서 나온다.

인공신경망 자체가 즉, 사이버네틱스의 창시자인 Wiener는 그의 걸작인 컴퓨터 과학자 Turing이 제안한 B에서 인간 뇌 뉴런에 대한 연구를 수행했습니다. 네트워크의 아이디어; 프리고진은 비평형 시스템의 자기 조직화 이론을 제안하고 노벨상을 수상했습니다. 하켄은 거시적 효과를 생성하기 위해 수많은 구성 요소의 공동 작용을 연구하고 "혼돈" 상태를 제안하고 연구했습니다. 구성 요소를 전달하는 방법을 연구하는 비선형 시스템 등의 시스템 사이의 상호 작용은 생물학적 시스템의 자기 조직화 동작과 유사한 복잡한 시스템을 만듭니다. 뇌과학과 신경과학의 발전은 생물학적 신경망 이론, 시각에서 발견되는 측면 억제 원리, 수용 장의 개념 등 인공 신경망 연구에 급속히 반영되어 인간의 뇌 발달을 촉진하는 데 중요한 역할을 해왔습니다. 신경망의 발달. 지금까지 제안된 수백 개의 인공 신경망 모델 중 관련된 분야의 수는 셀 수 없을 만큼 많고, 그 응용 분야의 폭도 놀라울 정도입니다. 이 분야에서 리더십을 얻기 위해 다양한 분야의 전문가들 사이에 다양한 수준의 경쟁이 있으며, 이 모두가 인공 신경망의 개발을 강력하게 촉진했습니다. 인간의 두뇌는 매우 강력한 기능과 매우 복잡한 구조를 가진 정보 시스템입니다. 정보 이론, 사이버네틱스, 생명 과학, 컴퓨터 과학의 발달로 인해 적어도 지금까지는 두뇌의 경이로움에 사람들이 점점 더 놀라고 있습니다. 인간 두뇌의 처리 메커니즘은 인간 자신에게도 여전히 블랙박스입니다. 인간 두뇌의 신비를 밝히려면 신경과학자, 심리학자, 컴퓨터 과학자, 마이크로 전자공학, 수학자 및 기타 전문가의 공동 노력이 필요합니다. 인공 신경망 개발을 위한 풍부한 이론적 원천. 또한 철학자들도 참여해야 하며, 철학적 사고와 자연과학의 다양한 학문의 깊은 통합을 통해 인간 사고의 본질과 법칙을 탐구하는 새로운 방법이 점차 발전하여 사고의 과학이 모호함에서 합리성으로 나아갈 수 있어야 합니다. 또한, 다양한 분야의 전문가들 간의 경쟁과 조정은 문제를 명확히 하고 최선의 해결책을 찾는 데 도움이 됩니다. 신경망 개발의 역사를 통틀어 관련 분야의 기여와 다양한 분야의 전문가들의 경쟁과 협력이 없었다면 신경망은 오늘날의 모습을 갖추지 못했을 것입니다. 물론, 다양한 학문 분야에서 인공 신경망을 적용하는 연구는 차례로 다른 학문 분야의 발전을 촉진하고, 그 자체의 개선과 발전을 촉진할 것입니다.