1. Introduction

오늘날 인공지능은 여러 연구 주제와 실용적 응용이 등장하고 있는 번성하는 분야이다. 이 책에서는 사람에게는 직관적이지만 묘사하기는 까다로운 문제를 주로 다룬다. 기계에게 계층화된 개념을 통해 세상을 이해하도록 하는 모델링을 학습시키는 것을 심층 학습이라 한다. 기계에 형식 언어로 된 지식을 하드코딩하는 것을 인공 지능에 대한 지식 기반 접근법이라 한다. 이에 반해 원시 데이터로부터 기계가 패턴을 추출할 수 있게 하는 역량을 기계 학습이라 한다. 간단한 예로는 로지스틱 회귀나이브 베이스 등이 있다.

간단한 기계 학습 알고리즘의 성능은 주어진 데이터의 표현이 담고 있는 특성에 따라 크게 차이난다. 한 해결책은 기계 학습을 통해 표현으로부터 출력의 매핑뿐만 아니라 표현 자체도 학습하는 표현 학습이 있다. 예로는 부호화 함수와 복호화 함수를 결합시킨 자가부호화기가 있다. 특성을 학습하는 알고리즘이나 특성을 설계할 때는 변화 인자를 분리해내는 것이 주 목적이다. 심층 학습은 표현을 더 간단한 표현에 대해 나타냄으로써 이를 해결한다. 가장 핵심적인 모델은 다층 퍼셉트론이다. 여기서 입력은 가측 층에 주어져서 연속된 은닉 층이 특성을 추출한다.

1.1. Who Should Read This Book?

이 책은 대학생들이나 기계 학습에 대한 배경 지식이 없는 소프트웨어 엔지니어들을 대상으로 한다.

1.2. Historical Trends in Deep Learning

심층 학습의 역사적 트렌드를 알아보자.

1.2.1. The Many Names and Changing Fortunes of Neural Networks

신경망은 초기엔 사이버네틱스로, 이후엔 커넥셔니즘으로 불리곤 했으며 이후 인공 신경망이라는 이름이 정착되었다. 초기 모델로는 적응적 선형 요소(Adaline)가 있으며 이는 추계적 경사 하강법의 일부로 선형 모델에 기반한다. 현대 신경망의 뉴런은 대부분 정류 선형 요소에 기반한다.

80년대에에는 커넥셔니즘병렬 분산 프로세싱을 통한 연구가 유행하였다. 이 개념들 중 하나는 분산 표현이다.

1.2.2. Increasing Dataset Sizes

하드웨어의 발전에 따라 심층 학습의 데이터셋 크기는 늘어났다.

1.2.3. Increasing Model Sizes

신경망의 발전에 따라 심층 학습의 모델 크기는 늘어났다.

1.2.4. Increasing Accuracy, Complexity and Real-World Impact

연구의 발전에 따라 심층 학습의 정확도, 복잡도, 실생활에의 임팩트는 늘어났다. 일부 연구는 강화 학습으로 발전하기도 하였다.