《数学之美》读书笔记
当仔细品读一部作品后,大家对人生或者事物一定产生了许多感想,需要写一篇读书笔记好好地作记录了。那么如何写读书笔记才能更有感染力呢?以下是小编精心整理的《数学之美》读书笔记,欢迎阅读与收藏。
《数学之美》读书笔记1
上个月去北京开会,顺道拜访了人民邮电出版社,合作多年的编辑陈冀康赠我一本《数学之美》,说一定是我喜欢看的类型。以前也在网上零散看过Google黑板报上吴军先生的文章,对他的前一本书《浪潮之颠》也有耳闻,但没有读过。这次有机会集中阅读他的文章,确实是一段美妙的体验。
读完这本书有一点强烈的感受:工具一定要先进。数学是强大的工具,计算机也是。这两种工具结合在一起,造就了强大的google、百度、亚马逊、阿里、京东、腾迅等公司。他们不是百年老店,但他们掌握了先进的工具。
掌握了先进的工具,必将获得竞争优势。如果你知道哪里有一群软件工程师,维护着更大的一群计算机,那么不要犹豫,想办法使用他们提供的服务,因为这会给你带来优势。所以我们使用Google的搜索和邮件,在亚马逊、京东和淘宝上购物,用QQ和微博联系朋友,使用银行卡和网上银行,利用交易终端在全球市场上进行各种交易……
人类历史就是一部工具的进化史。石器、青铜、铁器、火药、蒸汽机、内燃机、电报、电话、电视、计算机、卫星、互联网,工具的进步引领着文明的进步。新的工具不断淘汰老的工具,就像互联网视频点播正在淘汰电视、微博正在淘汰报纸、电子书正在淘汰纸质书那样。
但有一些古老的工具,今天仍有人在学习和使用,甚至在上面花费许多时间。毛笔就是这样一个例子。今天学习掌握毛笔这种“落后的”工具,还有什么意义?其实我们在使用一些“落后的”工具时,主要是在学习工具背后的思想。书法和绘画中蕴含的艺术审美的一般原则,经得起具体工具变迁的考验。甲骨文、金文、石鼓文所包含的对空间构图的理解,仍然值得现代人学习。思想工具是比实物工具更强大的工具。
工具组合使用,形成更强大的新工具。《数学之美》中提到的马尔可夫链虽然是很强大的工具,但我在数学课上没有听老师提到过。这本书中给我印象最深的例子是余弦定理和新闻分类。余弦定理是中学数学,再加上一些不算很难的多维向量的知识,竟然解决了计算机新闻分类这样的难题!
每一种工具的背后,是人们对世界的一种理解。蒸汽机和内燃机背后,是力学的世界。电报、电话、电视、计算机和互联网背后,是信息的世界。数学是抽象的工具,是其他工具背后的工具。每一门学科要成为科学,都少不了数学。也许有一天人们会习惯,用数学工具来分析艺术。数学是一种语言,它源于具体的世界,又高于具体的世界。如果说语言是对世界的认识和描述,如果说数学是一种语言,那么它一定是最接近神的语言。看似毫不相关,却又能描述万事万物。
学习数学有什么用?物理学家费曼当年在大一时提出这个问题,他的师兄建议他转到物理系。今天,这个问题已不成为问题。具有扎实数学功底的人才正进入各行各业,例如金融业。我认识一个出版社的老总,他招应届毕业生有一个条件:数学要好。
工具虽好,关键还要会用。最终要回到掌握先进工具的人。软件算法工程师加上计算机集群,这是目前一流企业必需的装备。正如马克.安德森所说的,各行各业的一流公司,都是软件公司。优秀的软件算法工程师,是人才争夺的焦点。这样,我们就容易理解Google招工程师的要求。
对信息加工处理和传递的能力不断增强,是知识经济的特点。《数学之美》展示了Google如何运用数学和计算机网络,带领我们进入云计算和大数据时代。
知识经济时代的工作,就是在各自的领域中进行科学研究。科学研究要大胆假设,小心求证。科学研究要量化。科学研究要有对比实验。科学研究要有数学模型。科学研究要有田野调查。科学研究要有文献查证。科学研究要有同行评议。《数学之美》向我们介绍了自然语言分析领域的科研方法和过程。
任何一个领域,深入进去都有无数的细节。有兴趣的人不但没被这些细节吓倒,反而会兴致勃勃地研究,从而达到令人仰慕的高度。吴军先生向我们展示了数学和算法中的这些细节,也展示了他所达到的高度。值得我学习。
感谢吴军先生分享他的知识和深刻见解,也感谢人民邮电出版社出了这样一本好书。
《数学之美》读书笔记2
最近看了这本《数学之美》,不得不感叹一句,可惜早已身不在起点。
我读书的时候,数学成绩一直都很好,虽然离开学校已经10多年,自觉当初的知识还是记得很多,6~7年前再考线性代数和概率论,还是得到了很高的分数。不过我也和大部分人一样,觉得数学没有太多用处,特别是高中和大学里面学的,那些三角函数,向量,大数定律,解析几何,除了在考试的题目里面用一下,平时又有什么地方可以用呢?
看了《数学之美》,惊叹于数学的浩瀚和简单,说它浩瀚,是因为它的分支涵盖了科学的方方面面,是所有科学的理论基础,说它简单,无论多复杂的问题,最后总结的数学公式都简单到只有区区几个符号和字母。
这本书介绍数学理论在互联网上的运用,平时我们在使用互联网搜索或者翻译功能的时候,时常会感叹电脑对自己的了解和它的聪明,其实背后的原理就是一个个精美的算法和大量数据的训练。那些或者熟悉或者陌生的数学知识(联合概率分布,维特比算法,期望最大化,贝叶斯网络,隐形马尔可夫链,余弦定律,etc),一步步构建了我们现在所赖以生存的网上世界。
之所以觉得自己早已身不在起点,是因为上面这些数学知识,早已经不在我的知识框架之内,就算曾经学过,也不过是囫囵吞枣一样的强记硬背,没有领会过其中的真正意义。而今天想重头在来学一次,其实已经不可能了。且不说要花费多少的精力和时间,还需要的是领悟力。而这一些,已经不是我可以简单付出的。
不像物理、化学需要复杂的实验来验证,很多数学的证明,几乎只要有一颗聪明的头脑和无数的草稿纸,可是光是这颗聪明的头脑,就可以阻拦掉很多人。有人说多读书就会聪明,我不否认,书本的确会提供很多知识,可是不同的人读同一本书也会有不同的收货,这就限制于每个人的知识框架和认知水平。就如一个数学功底好过我的人,看这本书,就会更容易理解里面的公式和推导出这些公式的其他运用点,而我,只能站在数学的门口,感叹一句,它真的好美吧。
当然,我暂时无法在实际生活中运用这些数学公式,可是书中提到的一些方法论,还是很有帮助的
1)一个产业的颠覆或者创新,大部分来自于外部的力量,比如用统计学原理做自然语言处理。
2)基础知识和基础数据是很重要性,只有足够多和足够广的数据,才可以提供有效的分析,和验证分析方法的好坏。
3)先帮用户解决80%的问题,在慢慢解决剩下的20%的问题;
4)不要等一个东西完美了,才发布;
5)简单是美,坚持选择简单的做法,这样会容易解释每一个步骤和方法背后的道理,也便于查错。
6)正确的模型也可能受噪音干扰,而显得不准确;这时不应该用一种凑合的修正方法加以弥补,而是要找到噪音的根源,从根本上修正它。
7)一个人想要在自己的领域做到世界一流,他的周围必须有非常多的一流人物。
《数学之美》读书笔记3
这本书一共31章,主要介绍了这些数学方法:统计方法、统计语言模型、中文信息处理、隐含马尔科夫模型、布尔代数、图论、网页排名技术、信息论、动态规划、余弦定理、矩阵运算、信息指纹、密码学、搜索技术、数学模型、最大熵模型、拼音输入法、贝叶斯网络、句法分析、维特比算法、各个击破算法等。从第一章开始其明了幽默的语言就深深的吸引了我,让我觉得如果早一点看这本书,也许数学之于我就是另一番天地。
第一章里作者从原始人类的通信方式开始入手,人类最早利用声音进行的通信依赖于开篇给出的"编码-传输-解码"的基本原理,指出原始人的通信方式和今天的通信方式没什么不同,这世界上近现代最普遍的原理大部分都在人类发展的历史上被无意识的使用着。
第六章信息论给出了信息的度量,它是基于概率的,概率越小,其不确定性越大,信息量就越大。引入信息量就可以消除系统的不确定性,同理自然语言处理的'大量问题就是找相关的信息。信息熵的物理含义是对一个信息系统不确定性的度量,这一点与热力学中的熵概念相同,看似不同的学科之间也会有着很强的相似性。事务之间是存在联系的,要学会借鉴其他知识。
这本书里也能找到不少在学的课程知识,如大学专业课里,数电总是要比模电简单不少,而自然界里大部分的信号都属于模拟信号。所谓模拟信号,是指从时间和数值两种维度上看来都是连续变化的信号。在实际电路中,模/数转换是一个很重要的过程,将预处理的模拟信号经过模/数变换为数字信号,然后进行数字信号处理。而数字化处理有很多优点,比如功能强大、抗干扰能力强、易于传输等。
简而言之,如果没有数学,就没有数字信号处理和传输的概念,而数字信号传输在当下大规模的集成电路里是必不可少的,这是通信成功的基本要求。
作者把生活中遇到的复杂的问题,以简单清晰,直观的模型或者公式展现出来。我们可能过于注意生活中的种种奇妙现象,往往忽略了追求其理论逻辑的演绎,而这也是大部分问题的主要根源。
罗素曾经说过:"数学,如果正确地看,不但拥有真理,而且也具有至高的美";爱因斯坦也曾说过:"纯数学使我们能够发现概念和联系这些概念的规律,这些概念和规律给了我们理解自然现象的钥匙。"数学在所有科学领域起着基础和根本的作用。"哪里有数,哪里就有美".在这里,我也想把《数学之美》真诚推荐给每一位对自然、科学、生活有兴趣有热情的朋友,不管你是从事职业,读一读它,会让你受益良多。
吴军老师在《数学之美》中提到:"这本书的目的是讲道而不是讲术。很多具体的搜索技术很快会从独门绝技到普及,再到落伍,追求术的人一辈子工作很辛苦。只有掌握了搜索的本质和精髓才能永远游刃有余".回到我们日常的生活中,需要学习的东西、技术太多太多,如果一味地只为去追技术的脚步,那么我们也会很累很累。然而基本的原理却是没有怎么变化的。只见森林,不见树木,难免迷失;站在高处向下看,也许我们一直看不到底,但是站在底处却是可以看见底的。
《数学之美》读书笔记4
我是在读了吴军博士的《浪潮之巅》之后,发现推荐了《数学之美》这本书。我到豆瓣读书上看了看评价,就果断在当当上下单买了一本研读。本来我以为这是一本充满各种数学专业术语的书,读后让我非常震撼的是吴军博士居然能用非常通俗的语言将自然语言处理等高深理论解释的相当简单。在李开复博士之后,吴军博士又成为了目前备受瞩目的具有深厚技术背景的作家。对于我来说,读这本书有扫盲的功效,让我知道了很多以前不知道的东西。我的想法是在研究生阶段,不只局限于导师的研究方向,通过更加广泛的涉猎知识,去寻找一个自己喜欢的研究领域。如果找到了这样一个领域,那么我就读博士。如果没有的话,那么我想还是工作算了。
1、学科之间的`联系是如此的重要
全书主要是围绕着吴军博士所研究的自然语言处理方向来讲述一些应用在这个研究领域的数学知识,用了很大篇幅讲解了将通信的原理应用到自然语言处理上所取得的'巨大成功。以前学习计算机网络的时候,学过一个香农定理。对香农的认识就从香农定理开始,因为考研会考相关的计算题。看了这本书才知道,香农的《信息论》对今天的影响真的是不可估量。通过这样一个过程,我也对以前的本科学校的学科建设产生了一些忧虑。对于培养计算机人才来说,无论是培养应用型人才,还是培养研究型人才,都应该与电子、通信有一定的交叉,这样对学生思考问题的启发与视野的开阔有着重要的作用。计算机本身就是从电子、通信、数学等学科中抽出来的新兴的学科,在发展了多年之后,我们发现它仍然需要继承一些传统。回想自己的本科四年,上的更多的课时
语言类、技术类的课程,这些课程的确对提升学生的就业有很大帮助。但是我想说的是,一个忽视数学基础、学科交叉的学校,他无法成为一所国内的一流大学。作为一个母校培养的学生,我深知改革的阻力与困难,但是我希望母校的计算机学院能越办越好。我们现在已经培养出很多高薪优秀的技术人才,我希望将来也能培养出更多的研究型人才。
2、看起来很牛的东西却用着难以置信的简单数学原理
在整本书中让我最为印象深刻的是解释Google搜索的原理,居然就是简单的布尔代数运算。这个的确让我大跌眼镜,我一直认为搜索时一个非常复杂而庞大的问题,其数学原理也是相当高深的,但是吴军博士的解释让我大开眼界。与此同时也知道了Google为什么牛,牛在哪了。搜索的原理虽然非常简单,但是搜索是一个需要对海量数据进行操作的工作。Google在海量数据的处理方面的确是相当先进的,MapReduce、BigTable等等一些技术的发明与应用使得Google在搜索上无出其右。目前分布式存储、分布式计算、数据仓库与存储等研究领域近些年来的大热也说明Google在引领研究方向上的超凡本领。
3、感谢概率老师的教诲
在大二的时候,有一个在我们学生中声望很高的概率老师,他在课程即将结束的时候跟我们说我们将的是前几章,这些事概率论与数理统计的基础。对于你们计算机的学生来时,后面的章节才是最有用的,以后一定要好好的研究,弄上一两个在你的毕业设计上就会让你毕业设计提升一个档次,有可能验收你毕业设计的老师也不懂。我当时对他的话没有特别在意,我只关心期末考试要考哪些题目,因为我那个学期的概率课基本上都在睡觉,只有他讲笑话的时候不睡。我看《数学之美》后发现马尔科夫链、贝叶斯网络之后,对以前的概率老师充满无限的敬意。我发现我们再本科阶段学习的《高等数学》、《线性代数》、《概率论与数理统计》在计算机学科应用较多的要数概率论与数理统计,还有一门我学的不好的《离散数学》在计算机中也是有着举足轻重的地位。我在看米歇尔的《机器学习》时也发现很多熟悉的概率论与数理统计的知识,这让我不得不开始考虑重新弥补自己的数学短板。我的想法是在研一这一年把概率论与数理统计、线性代数、离散数学尽我最大的努力补一补,希望他们对我今后的学习有所帮助。
4、说说作者吴军博士
吴军博士写的书对于学习计算机的学生来说,读起来有种说不出的亲切感。可能这跟他是技术出身的原因有关,流畅的文笔、质朴的文风也让人读起来很舒服。看高晓松在优酷上的《晓说》就知道,在硅谷有着众多的华裔工程师,他们很多都来自清华、北大等国内的名牌大学,这些人在美国实现着自己的梦想。吴军博士也曾是这其中的一员,我非常希望那些像吴军博士一样的牛人们能够写书或者来国内的大学做一些演讲、论坛等等,开阔一下我们的视野,传授一下做学问的经验。与此同时,我也在想为什么我们国家那么多优秀的IT人才都去了美国。
这个问题在我去苹果公司在东软信息学院组织的培训过程中得到了答案,那个南京邮电的老师讲了讲中国为什么不像美国那么有创造力。我们中国人并不缺乏创造力,很多时候是我们所处的外部环境恰恰阻碍了创新。我想那么多优秀的清华北大学子纷纷到大洋彼岸的美国,正是被美国开放的学术环境、创新氛围所吸引,每个人都有自己的梦想,他们去美国也是为了能实现自己的梦想。以前都觉得他们是不爱国,现在长大了,对于这个问题看得更清楚了一点。
我想说我们的祖国在经历了改革开放30多年的飞速发展之后,目前正处于一个关键和脆弱的时期。我们靠着人口红利取得了巨大的成就,我们能不能凭借人才红利取得更大的成就还是未知。希望有更多的人才能像李开复博士、吴军博士那样,为我们这个民族青年的成长和国家发展做出贡献。
《数学之美》读书笔记5
本书介绍了Google产品中涉及的自然语言处理、统计语言模型、中文分词、信息度量、拼音输入法、搜索引擎、网页排名、密码学等内容背后的数学原理。让我们看到了布尔代数、离散数学、统计学、矩阵计算、马尔科夫链等似曾相识的内容在实际生活中的应用。相比于其他数学题材书籍,吴军老师把抽象、深奥的数学方法解释得通俗易懂,书中同时引用了诸多的历史典故和人物介绍,给人以很多启发,也让人由衷感叹数学的简洁和强大。
虽是数据专业毕业,但是才疏学浅,无力对数学的美进行阐述。仅就书中两个比较喜欢的地方发表一点不成熟的见解,与诸位共勉。
其一,在讲Google的搜素引擎反作弊时谈到做事情的两种境界“道”和“术”,术就是具体的做事方法,而道则是隐藏在问题背后的动机和本质。在术这个层面解决问题要付出更多的努力,有点类似于我们常说的“头疼医头,脚疼医脚”,暂时不疼了,过几天复发了,再去医治,如此往复,无法从根本上解决;而只有找到了致病原因,才能做到药到病除,根本治愈。本人之前参与过行内月终自动核对的研发,月终核对初期数据的不一致性只能靠数百业务人员人工核对数据差异,然后修改数据,每月1日都要加班加点,工作量很大,这是从术上解决问题。后来找到了产生差异的原因是会计核算时的利息调整造成的,把这些数据接过来进行相应冲减后差异就消失了,业务人员也不用来加班了,这才是从道上解决问题。
其二,是在做中文网页排名时提到的从业界成功的秘诀之一:“先帮助用户解决80%的问题,再慢慢解决剩下的20%的问题。许多时候做事失败,不是因为人不够优秀,而是做事的方法不对。一开始追求大而全的解决方案,之后长时间不能完成,最后不了了之”。我们在做项目时也是一样,业务有时要的功能非常急,可能有些功能也实现不了(比如系统响应时间长、查询明细不能支持省行等)。这时我们就要将焦点关注在那些可以实现的80%的功能上,哪怕刚刚上线的系统界面丑点,操作复杂点,反应速度慢点,但是至少业务有可用的系统,剩下时间再去优化那剩下的20%。这样可以帮助我行抢占先机,在与同行业的竞争中取得主动。如果等待我们把所有的细节都搞清楚再动手开发,力求完美,那么很可能系统能够上线的时候业务已经不需要了。
数学之美,也就是简单之美。希望大家能够喜欢数学,喜欢数学之美。
《数学之美》读书笔记6
读完本书,第一感受:次奥!原来数学如此多的原理模型概念都可以用去解决各种IT技术问题啊。特别是语言识别和自然语言处理这类问题完全就是建立在数学原理之上的。总之,这本书就是用非常深入浅出的话去说明如何用数学方法去解决计算机的各种工程问题。这是一本讲道,而不是术的书。 要完全读懂这本书,我觉得至少需要掌握这三门课:高等数学,离散数学,还有概率论与数理统计。唉..我当初数学学得太水了,还挂了高数啊...有好的概念没看懂,以后有时间在好好看吧。如果想搞计算机研究的话,数学基础必不可少,别总在抱怨各种数学课上的东西一辈子都用不着。
发现作者对人类自然发展的认识非常深,其从语言,文字,数学的产生发展,信息的传播记录得出了这个结论:信息的产生传播接收反馈,和今天最先进的通信在原理上没有任何差别。就算是科学上最高深的技术,那也是模拟我们生活中的一些基本原理。
我们今天使用的十进制,就是我们扳手指扳了十次,就进一次位。而玛雅文明他们数完了手指和脚指才开始进位,所以他们用的是二十进制。实际上阿拉伯数字是古印度人发明的,只是欧洲人不知道这些数字的真正发明人是古印度,而就把这功劳该给了“二道贩子”阿拉伯人。
语言的数学本质
任何一种语言都是一种编码方式,比如我们把一个要表达的意思,通过语言一句话表达出来,就是利用编码方式对头脑中的信息做了一次编码,编码的结果就是一串文字,听者则用这语言的解码方法获得说话者要表达的信息。
自然语言处理模型
计算机是很笨的,他们唯一会做的就是计算。自然语言处理在数学模型上是基于统计的,说一个句子是否合理,就看看他出现的可能性大小如何,可能性就是用概率来衡量,比如一个句子,出现的概率为1/10^10,另一个句子出现的概率为1/10^20,那么我们就可以说第一个句子比第二个句子更加合理。当然这要求有足够的观测值,他有大数定理在背后支持。
最早的中文分词方法
这句话:“同学们呆在图书馆看书”,如何分词?应该是这样:同学们/呆在/图书馆/看书.最先的方法是北航一老师提出的查字典方法,就是把句子从左道右扫描一遍,遇到字典里面出现的词就标示出来,遇到复合词如(北京大学)就按照最长的分词匹配,遇到不认识的字串就分割成单个字,于是中文的分词就完成了。但是这只能解决78成的分词问题,但是“像发展中国家”这种短语它是分不出来的。后来大陆用基于统计语言模型方法才解决了。
隐含马可夫模型(没这么看懂)
一直被认为是解决打多数自然语言处理问题最为快速有效的方法,大致意思是:随机过程中各个状态的概率分布,只与他的前一个状态有关。比如对于天气预报,我们只假设今天的气温只与昨天有关而与前天没有关系,这虽然不完美,但是以前不好解决的问题都可以给出近视值了。
一个让我印象深刻的观点:
小学生和中学生其实没有必要花那么多时间去读书,其觉得最主要的是孩子们的社会经验,生活能力,和那时候树立起来的志向,这将帮助他们一生。而中学生阶段花很多时间比同伴多读的课程,在大学以后可以用非常短的时间就可以读完。因为在大学阶段,人的理解能力要强很多,比如中学要花500小时才能搞明白的内容,大学可能花100小时就搞定了。学习和教育是一个人一辈子的事情,很多中学成绩好的人进入大学后有些就表现不太好了,要有不断学习的动力才行。
余弦定理和新闻分类
我在新浪干过一年多新闻,这篇认真看了一篇,很吃惊原理cos x与新闻分析也有关系啊。google的新闻服务是由计算机自动整理分类的。而传统的媒体如门户网站是让编辑读懂新闻,找到主题,再分类分级别的,真苦逼啊...计算机自动分类原理是这样:如一篇新闻有10000个词,组成一个万维向量,这个向量就代表这篇新闻,可以通过某种算法表达这个新闻主题的类型,如果两个向量的方向一致,说明对应的新闻用词一致,方向可用夹角表示,夹角可用余弦定理表示,所以当夹角的余弦值接近于1时,这两篇新闻就可以归为一类了。
没看懂的东西:
布尔代数:布尔代数把逻辑学和数学合二为一,给了我们一个全新的视角看世界...
网络爬虫的基本原来是利用了图论的广度优先搜索和深度优先搜索...
搜索引擎的结果排名用了稀疏矩阵的计算...
地图最基本的计算是利用了有限状态机和图论的最短路径...
密码学原理,最大熵模型,拼音输入法的数学模型,布隆过滤器,贝叶斯网络等等...
任何事物都有它的发展规律,当我们认识了规律后,应当在生活工作中遵循规律,希望大家透过IT规律的认识,可 以举一反三的总结学习认识规律,这样有助于自己的境界提升一个层次。
任何问题总是能找到相应的准确数学模型,一个正确的数学模型在形式上应当是简单的,一个好的方法在形式上应当也是简单的。简单才是美。
《数学之美》读书笔记7
《数学之美》是一本领域相关的数学概念书,生动形象地讲解了关于数据挖掘、文本检索等方面的基础知识,可以作为数据挖掘、文本检索的入门普及书。另外,就像作者吴军老师提到的,关键是要从中学到道----解决问题的方法,而不仅仅是术。书中也启发式的引导读者形成自己解决问题的道。
下面记录一下自己读这本书的一些感想:
第一章《文字和语言vs数字和信息》:文字和语言中天然蕴藏着一些数学思想,数学可能不仅仅的是一门非常理科的知识,也是一种艺术。另外,遇到一个复杂的问题时,可能生活中的一些常识,一些简单的思想会给你带来解决问题的灵感。
第二章《自然语言处理----从规则到统计》:试图模拟人脑处理语言的模式,基于语法规则,词性等进行语法分析、语义分析的自然语言处理有着很大的复杂度,而基于统计的语言模型很好的解决了自然语言处理的诸多难题。人们认识这个过程,找到统计的方法经历了20多年,非常庆幸我们的前辈已经帮我们找到了正确的方法,不用我们再去苦苦摸索。另外,这也说明在发现真理的过程中是充满坎坷的,感谢那些曾经奉献了青春的科学家。自己以后遇到问题也不能轻易放弃,真正的成长是在解决问题的过程中。事情不可能一帆风顺的,这是自然界的普遍真理吧!
第三章《统计语言模型》:自然语言的处理找到了一种合适的方法---基于统计的模型,概率论的知识开始发挥作用。二元模型、三元模型、多元模型,模型元数越多,计算量越大,简单实用就是最好的。对于某些不出现或出现次数很少的词,会有零概率问题,这是就要找到一数学方法给它一个很小的概率。以前学概率论的时候觉的没什么用,现在开始发现这些知识可能就是你以后解决问题的利器。最后引用作者本章的最后一句话:数学的魅力就在于将复杂的问题简单化。
第四章《谈谈中文分词》:中文分词是将一句话分成一些词,这是以后进一步处理的基础。从开始的查字典到后来基于统计语言模型的分词,如今的中文分词算是一个已经解决的问题。然而,针对不同的系统、不同的要求,分词的粒度和方法也不尽相同,还是针对具体的问题,提出针对该问题最好的方法。没有什么是绝对的,掌握其中的道才是核心。
第五章《隐马尔科夫模型》:隐马尔科夫模型和概率论里面的马尔科夫链相似,就是该时刻的状态仅与前面某几个时刻的状态有关。基于大量数据训练出相应的隐马尔科夫模型,就可以解决好多机器学习的问题,训练中会涉及到一些经典的算法(维特比算法等)。关于这个模型,没有实际实现过,所以感觉好陌生,只是知道了些概率论讲过的原理而已。
第六章《信息的度量和作用》:信息论给出了信息的度量,它是基于概率的,概率越小,其不确定性越大,信息量就越大。引入信息量就可以消除系统的不确定性,同理自然语言处理的大量问题就是找相关的信息。信息熵的物理含义是对一个信息系统不确定性的度量,这一点与热力学中的熵概念相同,看似不同的学科之间也会有着很强的相似性。事务之间是存在联系的,要学会借鉴其他知识。
第七章《贾里尼克和现代语言处理》:贾里尼克是为世界级的大师,不仅在于他的学术成就,更在于他的风范。贾里尼克教授少年坎坷,也并非开始就投身到自然语言方面的研究,关键是他的思想和他的道。贾里克尼教授治学严谨、用心对待自己的学生,对于学生的教导,教授告诉你最多的是“什么方法不好”,这很像听到的一句话“我不赞同你,但我支持你”。贾里克尼教授一生专注学习,最后在办公桌前过世了。读了这章我总结出的一句话是“思想决定一个人的高度”。
在这章中对于少年时的教育,以下几点值得借鉴:
1、少年时期其实没有必要花那么多时间读书,他们的社会经验、生活能力以及在那时树立起的志向将帮助他们一生。
2、中学时花大量时间学会的内容,在大学用非常短的时间就可以读完,因为在大学阶段,人的理解力要强很多。
3、学习(和教育)是一个人一辈子的过程。
4、书本的内容可以早学,也可以晚学,但是错过了成长阶段却是无法补回来的。
第八章《简单之美----布尔代数和搜索引擎的索引》:布尔是19世纪英国的一位中学教师,但他的公开身份是啤酒商,提出好的思想的人不一定是大师。简单的建立索引可以根据一个词是否在一个网页中出现而设置为0和1,为了适应索引访问的速度、附加的信息、更新要快速,改进了索引的建立,但原理上依然简单,等价于布尔运算。牛顿的一句话“(人们)发觉真理在形式上从来是简单的,而不是复杂和含混的”。做好搜索,最基本的要求是每天分析10-20个不好的搜索结果,积累一段时间才有感觉。有时候,学习、处理问题,可以从不好的方面入手,效果可能更好。
第九章《图论和网络爬虫》:图的遍历分为“广度优先搜索(Breadth-FirstSearch,简称BFS)”和“深度优先搜索(Depth-FirstSearch,简称DFS)。互联网上有几百亿的网页,需要大量的服务器用来下载网页,需要协调这些服务器的任务,这就是网络设计和程序设计的艺术了。另外对于简单的网页,没必要下载。还需要存储一张哈希表来记录哪些网页已经存储过(如果记录每个网页的url,数量太多,这里可以用后面提到的信息指纹,只需要一个很多位的数字即可),避免重复下载。另外,在图论出现的很长一段时间里,实际需求的图只有几千个节点,那时图的遍历很简单,人们都没有怎么专门研究这个问题,随着互联网的出现,图的遍历一下子有了用武之地,很多数学方法就是这样,看上去没有什么用途,等到具体的应用出来了一下子开始派上大用场了,这可能就是世界上很多人毕生研究数学的原因吧。一个系统看似整体简单,但里面的每个东西都可能是一个复杂的东西,需要很好的设计。
第十章《PageRank----Google的民主表决式网页排名技术》:搜索返回了成千上万条结果,如何为搜索结果排名?这取决与两组信息:关于网页的质量信息以及这个查询和每个网页的相关性信息。PageRank算法来衡量一个网页的质量,该算法的思想是如果一个网页被很多其他网页所链接,说明它收到普遍的承认和信赖,那么它的排名就高。谷歌的创始人佩奇和布林提出了该算法并用迭代的方法解决了这个问题。PageRank在Google所有的算法中依然是至关重要的。该算法并不难,可是当时只有佩奇和布林想到了,为什么呢?
第十一章《如何确定网页和查询的相关性》:构建一个搜索引擎的四个方面:如何自动下载网页、如何建立索引、如何衡量网页的质量以及确定一个网页和某个查询的相关性。搜索关键词权重的科学度量TF—IDF,TF衡量一个词在一个网页中的权重,即词频。IDF衡量一个词本身的权重,对主题的预测能力。一个查询和该网页的相关性公式由词频的简单求和变成了加权求和,即TF1*IDF1+TF2*IDF2+...+TFN*IDFN。看似复杂的搜索引擎,里面的原理竟是这么简单!
第十二章《地图和本地搜索的最基本技术——有限状态机和动态规划》:地址的解析依靠有限状态机,当用户输入的地址不太标准或有错别字时,希望进行模糊匹配,提出了一种基于概率的有限状态机。通用的有限状态机的程序不是很好写,要求很高,建议直接采用开源的代码。图论中的动态规划问题可以用来解决两点间的最短路径问题,可以将一个“寻找全程最短路线”的问题,分解成一个个寻找局部最短路线的小问题。有限状态机和动态规划问题需要看相关的算法讲解,才能深入理解,目前对其并未完全理解。
第十三章《GoogleAK-47的设计者——阿米特·辛格博士》:辛格坚持选择简单方案的一个原因是容易解释每一个步骤和方法背后的道理,这样不仅便于出了问题时查错,而且容易找到今后改进的目标。辛格要求对于搜索质量的改进方法都要能说清楚理由,说不清楚理由的改进即使看上去有效也不会采用,因为这样将来可能是个隐患。辛格非常鼓励年轻人要不怕失败,大胆尝试。遵循简单的哲学。
第十四章《余弦定理和新闻的分类》:将新闻根据词的TF-IDF值组成新闻的特征向量,然后根据向量之间的余弦距离衡量两个特征之间的相似度,将新闻自动聚类。另外根据词的不同位置,权重应该不同,比如标题的词权重明显应该大点。大数据量的余弦计算也要考虑很多简化算法。
第十五章《矩阵运算和文本处理中的两个分类问题》:将大量的文本表示成文本和词汇的矩阵,然后对该矩阵进行奇异值SVD分解,可以得到隐含在其中的一些信息。计算余弦相似度的一次迭代时间和奇异值分解的时间复杂度在一个数量级,但计算余弦相似度需要多次迭代。另外,奇异值分解的一个问题是存储量大,而余弦定理的聚类则不需要。奇异值分解得到的结果略显粗糙,实际工作中一般先进行奇异值分解得到粗分类结果,在利用余弦计算得到比较精确地结果。我觉得这章讲的SVD有些地方不是很清楚,已向吴军老师请教了,等待回信。
第十六章《信息指纹及其应用》:信息指纹可以作为信息的唯一标识。有很多信息指纹的产生方法,互联网加密要使用基于加密的伪随机数产生器,常用的算法有MD5或者SHA-1等标准。信息指纹可以用来判定集合相同或基本相同。YouTobe就用信息指纹来反盗版。128位的指纹,1.8*10^19次才可能重复一次,所以重复的可能性几乎为0。判定集合是否相同,从简单的逐个比对到利用信息指纹,复杂度降低了很多很多。启发我们有时候要用变通的思想来解决问题。
第十七章《由电视剧《暗算》所想到的——谈谈密码学的数学原理》:RSA加密算法,有两个完全不同的钥匙,一个用于加密,一个用于解密。该算法里面蕴含着简单但不好理解的数学思想。信息论在密码设计中的应用:当密码之间分布均匀并且统计独立时,提供的信息最少。均匀分布使得敌人无从统计,而统计独立能保证敌人即使知道了加密算法,也不能破译另一段密码。
第十八章《闪光的不一定是金子——谈谈搜索引擎反作弊问题》:把搜索反作弊看成是通信模型,作弊当做是加入的噪声,解决噪声的方法:从信息源出发,增强排序算法的抗干扰能力;过滤掉噪声,还原信息。只要噪声不是完全随机并且前后有相关性,就可以检测到并消除。作弊者的方法不可能是随机的,且不可能一天换一种方法,及作弊是时间相关的。因此在搜集一段时间的作弊信息后,就可以将作弊者抓出来,还原原有的排名。一般作弊都是针对市场份额较大的搜索引擎做的,因此,一个小的搜索引擎作弊少,并不一定是它的反作弊技术好,而是到它那里作弊的人少。
第十九章《谈谈数学模型的重要性》:早期的行星运行模型用大圆套小圆的方法,精确地计算出了所有行星运行的轨迹。但其实模型就是简单的椭圆而已。一个正确的数学模型应该在形式上是简单的;一个正确的模型可能开始还不如一个精雕细琢过的错误模型来的准确,但是,如果我们认定大方向是对的,就应该坚持下去;大量准备的数据对研发很重要;正确的模型可能受到噪声干扰,而显得不准确,这是不应该用一种凑合的修正方法来弥补它,要找到噪声的根源,这也许能通往重大的发现。
第二十章《不要把鸡蛋放在一个篮子里——谈谈最大熵模型》:对一个随机事件预测时,当各种情况概率相等时,信息熵达到最大,不确定性最大,预测的风险最小。最大熵模型的训练非常复杂,需要时查看资料做进一步的理解。
第二十一章《拼音输入法的数学原理》:输入法经历了以自然音节编码,到偏旁笔画拆字输入,再回归自然音节输入的过程。任何事物的发展,螺旋式的回归不是简单的重复,而是一种升华。输入法的速度取决于编码的场地*寻找这个键的时间。传统的双拼,记住编码太难,寻找每个键的时间太长,并且增加了编码上的歧义。根据香农第一定理可以计算理论上每个汉字的平均最短码长。全拼不仅编码平均长度较少,而且根据上下文的语言模型可以很好的解决歧义问题。利用统计语言模型可是实现拼音转汉字的有效算法,而且可以转换为动态规划求最短路径问题。如今各家输入法的效率基本在一个量级,进一步提升的关键就在于建立更好的语言模型。可以根据每个用户建立个性化的语言模型。输入的过程本身就是人和计算机的通信,好的输入法会自觉或者不自觉的的遵循通信的数学模型。要做出最有效的输入法,应该自觉使用信息论做指导。
第二十二章《自然语言处理的教父马库斯和他的优秀弟子们》:将自然语言处理从基于规则到基于统计,贡献最大的两个人,一个是前面介绍的贾里尼克教授,他是一个开创性任务;另一个是将这个方法发扬光大的米奇·马库斯。马库斯的贡献在于建立了造福全世界研究者的宾夕法尼亚大学LDC语料库以及他的众多优秀弟子。马库斯的影响力很大程度上是靠他的弟子传播出去的。马库斯教授有很多值得钦佩的地方:给予他的博士研究生自己感兴趣的课题的自由,高屋建瓴,给学生关键的指导;宽松的管理方式,培养各有特点的年轻学者;是一个有着远见卓识的管理者。他的学生为人做事风格迥异,但都年轻有为,例如追求完美的迈克尔·柯林斯和寻求简单美的艾克尔·布莱尔。大师之所以能成为大师,肯定有着一些优秀的品质和追求。
第二十三章《布隆过滤器》:判断一个元素是否在一个集合当中时,用到了布隆过滤器,存储量小而且计算快速。其原理是:建立一个很长的二进制,将每个元素通过随机数产生器产生一些信息指纹,再将这些信息指纹映射到一些自然数上,最后在建立的那个很长的二进制上把这些自然数的位置都置为1。布隆过滤器的不足之处是它可能把不在集合中的元素错判成集合中的元素,但在某些条件下这个概率是很小的,补救措施是可以建立一个小的白名单,存储那些可能误判的元素。布隆过滤器背后的数学原理在于完全随机的数字其冲突的可能性很小,可以用很少的空间存储大量的信息,并且由于只进行简单的算术运算,因此速度非常快。《编程珠玑》中第一章的那个例子就是布隆过滤器的思想。开阔思维,寻找更好更简单的方法。
第二十四章《马尔科夫链的扩展——贝叶斯网络》:贝叶斯网络是马尔科夫链的扩展,由简单的线性链式关系扩展为网络的关系,但贝叶斯网络仍然假设每一个状态只与它直接相连的状态相关。确定贝叶斯网络的拓扑结构和各个状态之间相关的概率也需要训练。在词分类中,可以建立文章、主题和关键词的贝叶斯网络,用来得到词的分类。贝叶斯网络的训练包括确定拓扑结构和转移概率,比较复杂,后者可以参考最大熵训练的方法。贝叶斯网络导出的模型是非常复杂的。
第二十五章《条件随机场和句法分析》:句法分析是分析出一个句子的句子结构,对于不规则的句子,对其进行深入的分析是很复杂的,而浅层的句法分析在很多时候已经可以满足要求了。条件随机场就是进行浅层句法分析的有效的数学模型。条件随机场与贝叶斯网络很像,不用之处在于,条件随机场是无向图,而贝叶斯网络是有向图。条件随机场的训练很复杂,简化之后可以参考最大熵训练的方法。对于条件随机场的详细参数及原理还不理解。
第二十六章《维特比和他的维特比算法》:维特比算法是一个动态规划算法,凡是使用隐马尔科夫模型描述的问题都可以用它来解码。维特比算法采用逐步渐进的方法,计算到每步的最短距离,到下步的最短距离只用接着本步的计算即可,相比穷举法,大大缩短了计算的时间,并且基本可以实现实时的输出,这看似简单,但在当时确是很了不起的。维特比并不满足停留在算法本身,他将算法推广出去,并应用到了实际中,创立了高通公司,成为了世界上第二富有的数学家。高通公司在第二代移动通信中并不占很强的市场地位,而其利用CDMA技术霸占了3G的市场,可见远见的洞察力是多么的重要。
第二十七章《再谈文本分类问题——期望最大化算法》:该章讲的其实就是K均值聚类问题,设置原始聚类中心,然后不断迭代,直至收敛,将每个点分到一个类中。其实隐马尔科夫模型的训练和最大熵的训练都是期望最大化算法(EM)。首先,根据现有的模型,计算各个观测数据输入到模型中的计算结果,这个过程称为期望值计算过程,或E过程;接下来,重新计算模型参数,以最大化期望值,这个过程称为最大化的过程,或M过程。优化的目标函数如果是个凸函数,则一定有全局最优解,若不是凸函数,则可能找到的是局部最优解。在以后的一些问题求解过程中,应该考虑其是否是EM问题,也可以考虑参考这种思想,不断迭代以优化目标的过程。
第二十八章《逻辑回归和搜索广告》:雅虎和百度的竞价排名广告并不比谷歌的根据广告的预估点击率来客观的推送广告收入多。点击预估率有很多影响因素,一种有效的方法是逻辑回归模型,逻辑回归模型是一种将影响概率的不同因素结合在一起的指数模型。其训练方法和最大熵模型相似。同样不是很理解其具体内涵。
第二十九章《各个击破和Google云计算的基础》:分而治之,各个击破是一个很好的方法,Google开发的MapReduce算法就应用了该方法。将一个大任务分成几个小任务,这个过程叫Map,将小任务的结果合并成最终结果,这个过程叫Reduce,该过程如何调度、协调就是工程上比较复杂的事情了。可见大量用到的、真正有用的方法往往简单而又朴实。
附录《计算复杂度》:计算机中复杂度是以O()来表示的,如果一个算法的计算量不超过N的多项式函数,则称算法为多项式函数复杂度的(P问题),是可以计算的。若比N的多项式函数还高,则是非多项式问题,实际上是不可计算的。非多项式问题中一种非确定的多项式问题(简称NP),是科学家研究的焦点,因为现实中好多问题都是NP问题。另外还有NP-Complete问题(NP问题可以在多项式时间内规约到该问题)和NP-Hard问题,对于这两种问题,需要简化找到近似解。
整体上,《数学之美》这本书让我了解了很多文本处理,数据挖掘相关的知识,学到了很多。其中,简单美以及一些科学家的大师风范让我印象深刻!书中提到的一些思想(即道)让我受益匪浅!
《数学之美》读书笔记8
很多人都觉得,数学是一个太高深、太理论的学科,不接近生活,对我们大多数人来说平时也根本用不到,所以没必要去理解数学。但事情真的是这样吗?
其实不然,数学一直渗透在我们生活的各个方面,尤其是在今天这个信息时代,很多简单朴素的数学思想,能发挥一般人很难想象的巨大作用。比如,计算机处理自然语言,用到的最重要工具是统计学的思想;计算机对新闻内容的分类,依靠的是数学里的余弦定理;而电子电路的基本逻辑,则来源于仅有0和1两个数字的布尔代数。
在《数学之美》里,吴军用自己在工作中使用数学的亲身经历,为我们展现了数学的重要性,以及他对数学之美的理解。吴军是“得到”App专栏《吴军的谷歌方法论》的主理人。曾先后供职于谷歌和腾讯,是著名的自然语言处理专家和搜索专家。同时,他还是位畅销书作家,除了这本《数学之美》以外,还写过《文明之光》《智能时代》《浪潮之巅》等多本畅销书。
【《数学之美》读书笔记】相关文章:
1.四季之美写景作文
6.“美”写景作文
7.美高一作文
8.家乡美写景作文