-
Notifications
You must be signed in to change notification settings - Fork 0
/
foreword.tex
334 lines (188 loc) · 9.49 KB
/
foreword.tex
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
\chapter{前言}
机器学习是一种最新的尝试,它试图将人类的知识和逻辑提炼成适合构建机器和工程自动化的系统。
随着机器学习变得越来越普遍,它的软件包也变得越来越易于使用,
很自然的,也是人们所希望的, 一些底层的技术细节被抽象出来, 学习者(practitioner)无从得知。
然而, 这带来了一些危险,即学习者并不了解相关设计的原因,因此也不知道机器学习算法的局限性。
那些有兴趣了解机器学习算法背后魔力的热情学习者面临着一些令人生畏的先决知识:
\begin{itemize}
\item 编程语言和数据分析工具
\item 大规模计算和相关框架
\item 数学, 统计学, 以及机器学习是如何在此基础上构建的
\end{itemize}
在大学里,关于机器学习的入门课程通常在课程的早期就会涉及到这些知识。
由于历史原因,机器学习课程往往在计算机科学系被教授,学生通常在前两个知识领域接受训练,但在数学和统计学方面则没有那么多。
当前的机器学习教科书主要侧重于机器学习算法和方法学,并假设读者擅长数学和统计学。
因此,这些书只在书的开头或附录中用了一两章介绍相关数学知识。
我们发现很多人本来想要深入研究机器学习的理论知识,结果却在为弄明白其中的数学知识而苦苦挣扎。
在大学教授本科和研究生课程后,我们发现高中数学与阅读标准机器学习教科书所需的数学水平之间的差距对很多人来说太大了。
本书将基本机器学习概念的数学基础放在首位,并将所有信息集中在一起,从而缩小甚至完全弥补了这种技能差距。
\begin{center}
\textbf{为什么又是一本关于机器学习的书?}
\end{center}
机器学习建立在数学语言的基础上,用以表达看似直观但难以形式化的概念。
一旦正确形式化,我们就可以深入了解我们想要解决的任务。
全球数学专业学生的一个普遍抱怨是:所学习的主题似乎与实际问题几乎没有关系。
我们相信机器学习是人们学习数学的明显而直接的动机。
\marginpar{数学在大众心目中与恐惧和焦虑相联系。 你会认为我们是在讨论蜘蛛。 (Strogatz, 2014, page 281)}
这本书的目的是作为众多数学文献的指南, 成为现代机器学习的基石。
我们通过直接指出数学概念在基本机器学习问题背景下的有用性来激起学习数学概念的需求。
为了使这本书保持简短,许多细节和更先进的概念被省略了。
在了解了这里提出的基本概念,以及它们如何适应机器学习的更大背景之后,读者可以找到大量的资源进行进一步的研究,我们将在相关章节的末尾提供这些资源。
对于具有数学背景的读者,本书简要但准确地介绍了机器学习。
与其他专注于机器学习方法和模型的书籍相比
(MacKay,2003;Bishop,2006;Alpaydin,2010;Barber,2012;Murphy,2012;Shalev-Shwartz 和 Ben-David,2014;Rogers 和 Girolami,2016)
或机器学习的程序方面
(Müller Guido,2016;Raschka 和 Mirjalili,2017;Chollet 和 Allaire,2018),
我们只提供了机器学习算法的四个代表性示例。同时,我们专注于模型本身背后的数学概念。我们希望读者能够对机器学习中的基本问题有更深入的理解,并将机器学习中出现的实际问题与数学模型选择联系起来。
我们的目标不是写一本经典的机器学习书籍。
相反,我们的目的是提供应用于四个核心机器学习问题的数学基础,以便更容易阅读其他机器学习的教科书。
\begin{center}
\textbf{谁适合看本书?}
\end{center}
随着机器学习在社会中的应用越来越广泛,我们相信每个人都应该对其基本原理有所了解。
本书以学术数学风格编写,使我们能够准确了解机器学习背后的概念。
我们鼓励不熟悉这种看似简洁的风格的读者坚持不懈,并牢记每个主题的目标。
我们在整篇文章中有大量的评论和注释(注解),希望它为您的整体理解提供有用的指导。
本书假设读者具有高中数学和物理中常见的数学知识。
例如,读者之前应该已经看过微分和积分,以及二维或三维的几何向量。
从这里开始,我们将归纳这些概念。
因此,本书的目标读者包括本科大学生、自学者和参加在线机器学习课程的学习者。
与音乐类似,人们与机器学习有三种类型的交互:
\paragraph{精明的倾听者} 通过提供开源软件、在线教程和基于云的工具,机器学习的大众化使用户不必担心这些过程的细节。 用户可以专注于使用现成的工具从数据中提取见解。 这使得不精通技术的领域专家能够从机器学习中受益,这类似于听音乐; 用户能够选择和辨别不同类型的机器学习,并从中受益。 更有经验的用户就像音乐评论家一样,询问有关机器学习在社会中应用的重要问题,例如道德、公平和个人隐私。 我们希望本书为思考机器学习系统的认证和风险管理提供了基础,并允许他们利用自身的领域专业知识来构建更好的机器学习系统。
\paragraph{经验丰富的艺术家} 熟练的机器学习从业者可以将不同的工具和库插入到分析过程中。 典型的从业者是数据科学家或工程师,他们了解机器学习接口及其用例,并且能够从数据中进行出色的预测。 这类似于演奏音乐的演奏家,高技能的从业者可以将现有的乐器带入生活,并为观众带来乐趣。 使用此处介绍的数学作为入门,从业者将能够了解他们最喜欢的方法的优点和局限性,并扩展和概括现有的机器学习算法。 我们希望本书为机器学习方法的更严格和更有原则的发展提供动力。
\paragraph{初出茅庐的作曲家} 随着机器学习应用于新领域,机器学习开发人员需要开发新方法并扩展现有算法。 这些研究人员需要了解机器学习的数学基础并发现不同任务之间关系。 这类似于音乐作曲家,他们在音乐理论的规则和结构内,创作出令人惊叹的新作品。我们希望这本书为那些想成为机器学习作曲家的人提供其他技术书籍的高水平概述。社会需要新的研究人员,他们能够提出和探索新的方法来应对数据学习中的更多挑战。
\begin{center}
\textbf{致谢}
\end{center}
我们感谢许多看过本书早期草稿并经历了痛苦的概念阐述的人。 不是原则性的问题,我们尽量试图实现他们的想法。
我们要特别感谢 Christfried Webers 对本书许多部分的仔细阅读,以及他对结构和表述的详细建议。
许多朋友和同事也很友好地为每一章的不同版本付出了他们的时间和精力。
我们很幸运地受益于在线社区的慷慨解囊,他们通过 https://github.com 提出了改进建议,这极大地改进了本书。
以下人员通过 https://github.com 或个人交流发现了错误、建议的澄清和建议的相关文献。 他们的名字按字母顺序排列。
Abdul-Ganiy Usman
Adam Gaier
Adele Jackson
Aditya Menon
Alasdair Tran
Aleksandar Krnjaic
Alexander Makrigiorgos
Alfredo Canziani
Ali Shafti
Amr Khalifa
Andrew Tanggara
Angus Gruen
Antal A. Buss
Antoine Toisoul Le Cann
Areg Sarvazyan
Artem Artemev
Artyom Stepanov
Bill Kromydas
Bob Williamson
Boon Ping Lim
Chao Qu
Cheng Li
Chris Sherlock
Christopher Gray
Daniel McNamara
Daniel Wood
Darren Siegel
David Johnston
Dawei Chen
Ellen Broad
Fengkuangtian Zhu
Fiona Condon
Georgios Theodorou
He Xin
Irene Raissa Kameni
Jakub Nabaglo
James Hensman
Jamie Liu
Jean Kaddour
Jean-Paul Ebejer
Jerry Qiang
Jitesh Sindhare
John Lloyd
Jonas Ngnawe
Jon Martin
Justin Hsi
Kai Arulkumaran
Kamil Dreczkowski
Lily Wang
Lionel Tondji Ngoupeyou
Lydia Kn¨ufing
Mahmoud Aslan
Mark Hartenstein
Mark van der Wilk
Markus Hegland
Martin Hewing
Matthew Alger
Matthew Lee
Maximus McCann
Mengyan Zhang
Michael Bennett
Michael Pedersen
Minjeong Shin
Mohammad Malekzadeh
Naveen Kumar
Nico Montali
Oscar Armas
Patrick Henriksen
Patrick Wieschollek
Pattarawat Chormai
Paul Kelly
Petros Christodoulou
Piotr Januszewski
Pranav Subramani
Quyu Kong
Ragib Zaman
Rui Zhang
Ryan-Rhys Griffiths
Salomon Kabongo
Samuel Ogunmola
Sandeep Mavadia
Sarvesh Nikumbh
Sebastian Raschka
Senanayak Sesh Kumar Karri
Seung-Heon Baek
Shahbaz Chaudhary
Shakir Mohamed
Shawn Berry
Sheikh Abdul Raheem Ali
Sheng Xue
Sridhar Thiagarajan
Syed Nouman Hasany
Szymon Brych
Thomas B¨uhler
Timur Sharapov
Tom Melamed
Vincent Adam
Vincent Dutordoir
Vu Minh
Wasim Aftab
Wen Zhi
Wojciech Stokowiec
Xiaonan Chong
Xiaowei Zhang
Yazhou Hao
Yicheng Luo
Young Lee
Yu Lu
Yun Cheng
Yuxiao Huang
Zac Cranko
Zijian Cao
Zoe Nolan
通过 GitHub 的贡献者(其真实姓名未在其 GitHub 个人资料中列出)是:
SamDataMad
bumptiousmonkey
idoamihai
deepakiim
insad
HorizonP
cs-maillist
kudo23
empet
victorBigand
17SKYE
jessjing1995
我们也非常感谢 Parameswaran Raman 和剑桥大学出版社组织的许多匿名审稿人,他们阅读了手稿早期版本的一章或多章,并提出了建设性的批评意见,从而带来了相当大的改进。 特别值得一提的是 Dinesh Singh Negi,我们的 LATEX 支持人员,提供有关 LATEX 相关问题的详细而及时的建议。 最后但同样重要的是,我们非常感谢我们的编辑 Lauren Cowles,他一直耐心地指导我们完成本书的构思过程。