Facebook 内部分享：不论你如何富有，你都赚不到更多的时间，你也回不到过去。没有那么多的假如，只有指针滴答的时光飞逝和你应该好好把握的现在，以下25张PPT的分享将为您带来时间价值管理的技巧。

1、时间常有，时间优先。

2、时间总会有的：每天只计划 4～5 小时真正的工作。

3、当你在状态时，就多干点；不然就好好休息：有时候会连着几天不是工作状态，有时在工作状态时却又能天天忙活 12 小时，这都很正常的。

4、重视你的时间，并使其值得重视：你的时间值 1000 美元/小时，你得动起来。

5、不要多任务，这只会消耗注意力；保持专注，一心一用。

6、养成工作习惯，并持之以恒，你的身体会适应的。

7、在有限的时间内，我们总是非常专注并且有效率。

8、进入工作状态的最佳方式就是工作，从小任务开始做起，让工作运转起来。

9、迭代工作，期待完美收工会令人窒息：“做完事情，要胜于完美收工” Facebook 办公室墙壁上贴的箴言。动手做，胜过任何完美的想象。

10、工作时间越长，并不等于效率越高。

11、按重要性工作，提高效率。

12、有会议就尽早安排，用于准备会议的时间往往都浪费掉了。

13、把会议和沟通 (邮件或电话) 结合，创造不间断工作时间：一个小会，也会毁了一个下午，因为它会把下午撕成两个较小的时间段，以至于啥也干不成。PS：当看到一个程序员冥思苦想时，不要过去打扰，甚至一句问候都是多余的。

14、一整天保持相同的工作环境。在项目/客户之间切换，会效率低。

15、工作—放松—工作=高效(番茄工作法)—拖延症—高效。

16、把不切实际的任务分割成合理的小任务，只要每天都完成小任务，你就会越来越接近那个大目标了。

17、从来没有两个任务会有相同的优先级，总会有个更重要，仔细考虑待办事情列表。

18、必须清楚白天必须完成的那件事，是什么。“Only ever work on the thing that will have the biggest impact” 只去做那件有着最大影响的事情。—— Jason Cohen

19、把任务按时间分段，就能感觉它快被搞定了。

20、授权并擅用他人的力量。—君子善假于物(人)也，如果某件事其他人也可以做到八成，那就给他做！

21、把昨天翻过去，只考虑今天和明天昨天的全垒打赢不了今天的比赛。—好汉不提当年勇。

22、给所有事情都设定一个期限。不要让工作无期限地进行下去。

23、针对时间紧或有压力的任务，设置结束时间，万事皆可终结

24、多记，多做笔记

25、进入高效状态后，记下任何分散你注意力的东西比如Google搜索词、灵光乍现的想法、新点子等等。如果你把它们记下来，它就不会再蹦来蹦去了。

26、休息，休息一下～

© 推荐 for 互联网的那点事. | 猛击下载： iPhone客户端猛击下载： Android客户端

本文来源：Medium 译文创见首发 由 TECH2IPO/创见 花满楼 编译 转载请注明出处

创见干货：

数据分析到底是什么？很多人都在嘴边讨论它们，却没有几个人真正见过它。这是当下科技行业最为火爆的职位，今天就让我们走进 Twitter 的数据分析世界，看看科技公司对于一个数据分析师的要求是什么？他们的实际工作内容究竟是哪些？

到了今年 6 月 17 日，Robert Chang 就在 Twitter 工作两年了。根据他个人的工作经历，Twitter 数据分析（以下简称为 DS）有了下面三个层面的变化：

1.机器学习已经在 Twitter 多个核心产品中扮演越来越重要的角色，而这之前完全是「机器学习」的禁区。最典型的例子就是「当你离开时」这个功能。当用户离开页面或者电脑，去干别的事情后再次返回页面，电脑会立刻给你推送出来某些由你关注的人所发出，而有可能被你错过的「优质内容」。

2.开发工具越来越优秀了。整个团队摆脱了对 Pig 的依赖，全新的数据管道是在 Scalding 中写出来的。

3.从团队组织上而言，Twitter 已经转向了一个嵌入式的模型中。其中数据分析比以往更加紧密地与产品/工程团队发生着联系。

在 Twitter 的工作确实是令人兴奋的，因为你能站在这个平台上，引领目前世界最前沿的数据科技，打造最具竞争力的优势。而同时，人们对于大数据的渴望也一天比一天高。

Dan Ariely 曾经有一句话说得特别好：

「大数据其实有点儿像青少年的性。每一个人都兴致勃勃地谈论它，但是没有任何一个人真的知道该怎么做。每一个人都觉得身边的人都在尝试，为了不落人后，于是每个人都在外面宣城自己也已经有『伴儿』了」

现如今，有太多的人在如何成为一名优秀称职的数据分析师上表达着看法，给出自己的建议。Robert Chang 毫无疑问也是受益者。但是他回过头来再想想大家的讨论，会觉得人们往往更加侧重于去谈「技术」、「工具」、「技能组合」，而在 Chang 看来，那些东西确实很重要，但是让新人们知道数据分析师每一天的生活到底是什么样子的，具体的工作内容都是什么，这也非常重要。

于是，Chang 凭借着自己在 Twitter 工作两年的经历，以自己作为例子，首次打开 Twitter 数据分析师这扇神秘的大门。

A 型数据分析师 VS B 型数据分析师

Chang 在没来 Twitter 之前，总觉得数据分析师一定是在任何领域都能看堪称「独角兽」，不管是数据还是数学专业，都是顶尖人才。除了技术上很牛之外，书面写作和口头交流的能力也会特别强。更重要的是他们能够分清楚当下工作的轻重缓急，领导和管理一个项目团队。是啊，如今本身就是以数据为主导的文化，作为「数据分析师」，当然要给这个文化注入灵魂与活力啊！

在 Chang 加入 Twitter 的几个月后，他逐渐意识到：符合上述形容的「独角兽」确实存在，但是对于大部分人来说，上述的要求未免有点儿太不切实际了。 人们没有办法做到面面俱到。后来，Chang 通过 Quora 中的一篇回答，更深刻地理解了数据分析师的角色。在那篇文章中，数据分析师分成了两种类型：

A 型数据分析师： 他们主要负责「分析」。他们最关心数据背后的意义，往往使用统计等方式探知真相。其实他们的工作有点儿像「统计学家」，但是不一样的地方是，统计学专业涉及的内容他们统统掌握，但是他们还会一些统计学课本里面压根不曾出现的内容：比如数据清洗，如何处理超大数据组，数据视觉化，有关数据层面的报告撰写等等。

B 型数据分析师： B 型负责「建造」。他们跟前一种分析师有着相似的统计学背景，但他们同时还是非常牛叉的程序员，又或者是训练有素的软件工程师 。B 型数据分析师往往感兴趣于「如何利用数据来生产」。他们建立一些能够与用户互动的模型，往往以「推荐/推送」的形式出现，比如「你也许会认识的人」，「广告」，「电影」，「搜索结果」等等功能。

Chang 看到这样清楚的划分，非常后悔如果早几年有这么清楚的概念认识该多好啊。这样他就能够有选择性的发力，择其一方向来继续发展。这是数据分析师职场规划首先要考虑的标准。

Chang 的个人专业背景是「数学」、「运营研究」、「统计学」。所以他更倾向于把自己定位于 A 型数据分析师，但是与此同时他对 B 型分析师能够涉及那么多的工程开发工作而向往不已。

初创公司早期、快速发展的初创公司、以及实现规模化发展的初创公司中的数据分析师职位区别

在选择投身于科技行业的时候，最经常遇到的一个问题就是到底是加入一个大的科技公司好呢？还是加入一个小的科技公司好。在这个话题上已经有很多争论了，但是在「数据分析」上面的争论并不是很多。 所以在本章节要具体谈到的是，不同公司的规模、发展阶段中，数据分析师不同的角色定位。

处于不同发展阶段的科技公司生产数据的量与速度都是不一样的。一个还在尝试着寻找到「产品市场契合点」的初创公司完全不需要 Hadoop，因为公司本身就不存在多少的数据需要处理；而一个处在快速发展中的初创公司往往会遭遇更频密的数据冲击，也许 PostgreSQL 或者 Vertica 更适合这家公司的需要；而像 Twitter 这样的公司如果不借助 Hadoop 或者 Map-Reduce 框架，就完全无法有效地处理所有数据。

Chang 在 Twitter 学到的最有价值的一点内容就是：数据分析师从数据中提取出价值的能力，往往跟公司本身数据平台的成熟度有着密不可分的关系。如果你想要明白自己从事的是哪种类型的数据分析工作，首先去做做调研，看看你意向中的这家公司的底层系统架构能够在多大程度上支持你的目标，这不仅仅对你好，也对公司好，借此看你个人的职业发展目标是否跟公司的需要契合起来。

在初创公司早期，最主要的分析重点是为了实现 ETL 进程，模块化数据，并且设计基模架构，将数据记录应用到上面。这样数据就能够追踪并存储。此处的目标是打下分析工具的基础，而不是分析本身。，

在快速发展的初创公司的中期，因为公司在快速发展，那么数据也在不断的增长。数据平台需要适应不断发展的新形势，新条件，在已经打好基础的前提下，开始逐渐实现向分析领域的过渡。一般来说，此时的分析工作主要围绕着制定 KPI，推动增长，寻找下一次增长机会等工作展开。

实现了规模增长的公司。当公司实现了规模化增长，数据也开始呈几何倍数的增长。此时公司需要利用数据来创造，或者保持某种竞争性优势，比如更好的搜索结果，更加相关的推荐内容，物流或者运营更加的高效合理。这个时候，诸如 ML 工程师，优化专家，实验设计师都可以参与进来一展拳脚了。

在 Chang 加入 Twitter 的时候，Twitter 已经有了非常成熟的平台以及非常稳定的底层结构。整个数据库内容都是非常干净，可靠的。ETL 进程每天轻松处理着数百个「任务调度」工作。（Map-Reduce）。更重要的是，在数据分析领域的人才都在数据平台、产品分析、用户增长、实验研究等多个领域，多个重点工作齐头并进一起展开。

关于 Chang 本人的经历

他是在用户增长领域安排的第一名专职数据分析师。事实上，这花了他们好几个月来研究产品、工程、还有数据分析到底该如何融合，才能实现这样一个岗位角色。Chang 的工作与产品团队紧密连接，根据这方面的工作经验，他将自己的工作职责划分成为了下面几类内容：

产品分析

数据传输通道

实验（A/B 测试）

建模

下面将会按照排列次序逐一解释

产品分析

对于一家消费级科技公司来说，产品分析意味着利用数据来更好地理解用户的声音和偏好。不管什么时候用户与产品进行着互动，Twitter 都会记录下来最有用的数据，存储好它们，以待未来某一天分析之用。

这个过程被称之为「记录」（logging）或者「工具化」（instrumentation），而且它还不断地自我演进。 通常情况下，数据分析往往很难实现某个具体的分析，因为数据要么是不太对，要么是缺失，要么是格式错误的。在这里，跟工程师保持非常好的关系非常有必要，因为数据分析能够帮助工程师确认 bug 的位置，或者系统中一些非预期的行为。反过来，工程师可以帮助数据分析弥补「数据鸿沟」，使得数据内容变得丰富，彼此相关，更加准确。

下面举出来了 Chang 在 Twitter 展开的几项与产品有关的分析案例：

推送通知分析：有多少用户能用得到「推送通知」？不同类型的推送通知具体的点击率都分别是多少？

SMS 发送率：在不同的数字载体上，Twitter 的 SMS 发送率都是怎么计算的？是不是在发展中国家这个发送率相对比较低？我们该怎样提升这个数字？

多账户：为什么在某些国家，一个人持有多个账户的比例会相对较高？背后是什么动机让一个人持有多个账户？

分析会以多种形式展开。有些时候公司会要求你对一次简单的数据拉取进行最直白的解读，又或者你需要想出一些新的方式方法来机选一个全新，且重要的运营指标。（比如 SMS 发送率），最后你会更加深刻地理解用户的行为。（比如一个人拥有多个账户）

在产品分析中不断研究，得到真知灼见，这是一个不断迭代演进的过程。它需要不断地提出问题，不断地理解商业情境，找出最正确的数据组来回答相应的问题。随着时间的累积，你将成为数据领域的专家，你会正确地估计出来执行一次分析大概得花多长时间。更重要的是，你将逐渐从一个被动响应的状态，逐渐过渡到主动采取行动的状态，这其中会牵连出来很多有趣的分析，这些内容都是产品负责人曾经压根没有考虑过的，因为他们不知道这些数据存在，又或者不同类型的数据以某种特殊的方式组合到一起竟然会得出如此惊人的结论。

此处需要的技能：

保存和工具化：确认数据鸿沟。与工程部门建立良好的协作关系；

有能力引导和确认相关的数据组，知道正确使用它们的方式；

理解不同形式的分析，能够在不同的分析执行之前就正确地估算出难易程度，所需时间长短；

掌握你的查询语言。一般来说是利用 R 或者 Python 来实现数据再加工；

数据管道

即使 A 型数据分析师不太可能自己编写代码，直接应用到用户那里，但是出乎很多人意料的是，包括 Chang 在内的很多 A 型数据分析师确实在给代码库写东西，目的只有一个：为了数据管道处理。

如果你从 Unix 那里听说过「对一系列命令的执行」，那么一个数据管道就意味着多个系列命令的执行，我们能够不断周而复始地自动捕捉，筛选，集合数据。

在来到 Twitter 之前，Chang 的分析绝大部分都是点对点的。在 Chang 的本地机器上，代码执行上一次或者几次。这些代码很少得到审查，也不太可能实现版本控制。但是当一个数据通道出现的时候，一系列的功能就浮出水面：比如「依赖管理」、「调度」、「源头分配」、「监控」、「错误报告」以及「警告」。

下面介绍了创建一个数据管道的标准流程：

你忽然意识到，如果一个数据组能够周而复始地自我重新产出，那么这个世界估计会因此受益；

在确认了需求之后，你开始设计「生产数据组」的「数据架构」；

开始编写你的代码，不管是在 Pig，Scalding，或者 SQL 中。这取决于你的数据环境是什么；

提交代码，进行代码审查（code review），准备后得到回馈，并做相应额外的修改。要么是因为你的设计逻辑不太对，要么是你的代码出于速度和效率的目的并没有优化到位；

应该有一个「测试」和「试运转」的环境，确保所有的运行都在既定的轨道上。

将你的代码融合到主库中

建立「监控」、「错误报告」以及「警告」等功能，以防止未来出现预期之外的状况。

很显然，数据通道比一个点对点的分析工具来说更加复杂，但是优势也非常明显，因为它是自动化运行着的，它所产出的数据能够进一步强化面板，这样更多的用户能够消费你的数据/结果。

另外，更加重要但是往往被人忽略的一点结果是，对于如何打造最优化的工程设计，这是一个非常棒的学习过程。如果你在日后需要开发一个特别定制的数据通道，比如机器学习，之前所做的工作就成为了扎实的基础。

在此处需要用到的技能：

版本控制，目前最流行的就是 Git；

知道如何去做「代码审核」，并且知道如何有效地给予反馈；

知道如何去测试，如何去试运行，当出现错误的时候知道如何「debug」；

「依赖管理，调度，资源分配，错误报告，警告」功能的设置。

接下来的篇章中，我们将谈到除了“产品分析”之外，其余的三种工作内容，它们分别是： 数据传输通道、实验（A/B 测试）、以及建模。

     还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己对MR程序（特指Hadoop 1.x版本）的工作过程一直都不是很清楚，现在重点总结一下，为MR编程打好基础。由于MapReduce是基于HDFS的操作，因此要想深入理解MapReduce（解决的是分布式计算问题），首先得深入理解HDFS（解决的是分布式存储问题）。

一. HDFS框架组成

HDFS采用master/slaver的主从架构，一个HDFS集群包括一个NameNode节点（主节点）和多个DataNode节点（从节点），并提供应用程序的访问接口。NameNode，DataNode和Client的解释，如下所示：

• NameNode负责文件系统名字空间的管理与维护，同时负责客户端文件操作（比如打开，关闭，重命名文件或目录等）的控制及具体存储任务的管理与分配（比如确定数据块到具体DataNode节点的映射等）；
• DataNode负责处理文件系统客户端的读写请求，提供真实文件数据的存储服务；
• Client是客户端，一般指的是访问HDFS接口的应用程序，或者HDFS的Web服务（就是让用户通过浏览器来查看HDFS的运行状况）等。

1. 文件的读取

Client与之交互的HDFS、NameNode、DataNode文件的读取流程，如下所示：

• Client向远程的NameNode发起RPC请求；（1）
• NameNode会返回文件的部分或者全部Block列表，对于每个Block，NameNode都会返回该Block副本的DataNode地址；（2）
• Client会选择与其最接近的DataNode来读取Block，如果Client本身就是DataNode，那么将从本地直接读取数据；（3）
• 读完当前Block后，关闭与当前的DataNode连接，并为读取下一个Block寻找最近的DataNode；（4）
• 读完Block列表后，并且文件读取还没有结束，Client会继续向NameNode获取下一批Block列表；（5）
• 读完一个Block都会进行Cheeksum验证，如果读取DataNode时出现错误，Client会通知NameNode，然后从该Block的另外一个最近邻DataNode继续读取数据。Client读取数据完毕之后，关闭数据流。（6）

2. 文件的写入

Client与之交互的HDFS、NameNode、DataNode文件的写入流程，如下所示：

• Client向远程的NameNode发起RPC请求；（1）
• NameNode便会检查要创建的文件是否已经存在，创建者是否有权限进行操作等，如果满足相关条件，就会创建文件，否则会让Client抛出异常；（2）
• 在Client开始写入文件的时候，开发库（即DFSOutputStream）会将文件切分成一个个的数据包，并写入”数据队列“，然后向NameNode申请新的Block，从而得到用来存储复本（默认为3）的合适的DataNode列表，每个列表的大小根据NameNode中对replication的设置而定；（3）
• 首先把一个数据包以流的方式写入第一个DataNode，其次将其传递给在此管线中的下一个DataNode，然后直到最后一个DataNode，这种写数据的方式呈流水线的形式；（假设复本为3，那么管线由3个DataNode节点构成，即Pipeline of datanodes）（4）
• 当最后一个DataNode完成之后，就会返回一个确认包，在管线里传递至Client，开发库（即DFSOutputStream）也维护着一个”确认队列”，当成功收到DataNode发回的确认包后便会从“确认队列”中删除相应的包；（5）
• 如果某个DataNode出现了故障，那么DataNode就会从当前的管线中删除，剩下的Block会继续在余下的DataNode中以管线的形式传播，同时NameNode会再分配一个新的DataNode，以保持replication设定的数量。Client写入数据完毕之后，关闭数据流。（6）

说明：HDFS默认Block的大小为64M，提供SequenceFile和MapFile二种类型的文件。

二. MapReduce框架组成

MapReduce框架的主要组成部分和它们之间的相关关系，如下所示：

上述过程包含4个实体，各实体的功能，如下所示：

• Client：提交的MapReduce作业，比如，写的MR程序，或者CLI执行的命令等；
• JobTracker：协调作业的运行，本质是一个管理者；
• TaskTracker：运行作业划分后的任务，本质就是一个执行者；
• HDFS：用来在集群间共享存储的一种抽象文件系统。

直观来说，NameNode就是一个元数据仓库，就像Windows中的注册表一样。SecondaryNameNode可以看成NameNode的备份。DataNode可以看成是用来存储作业划分后的任务。在通常搭建的3台Hadoop分布式集群中，Master是NameNode，SecondaryNameNode，JobTracker，其它2台Slaver都是TaskTracker，DataNode，并且TaskTracker都需要运行在HDFS的DataNode上面。

上述用到的类，或者进程的功能，如下所示：

• Mapper和Reducer

基于Hadoop的MapReduce应用程序最今本的组成部分包括：一个Mapper抽象类，一个Reducer抽象类，一个创建JobConf的执行程序。

• JobTracker

JobTracker属于master，一般情况应该部署在单独的机器上，它的功能就是接收Job，负责调度Job的每一个子任务Task运行在TaskTracker上，并且监控它们，如果发现有失败的Task就重启它即可。

• TaskTracker

TaskTracker是运行于多节点的slaver服务，它的功能是主动通过心跳与JobTracker进行通信接收作业，并且负责执行每一个任务。

• JobClient

JobClient的功能是在Client提交作业后，把一些文件上传到HDFS，比如作业的jar包（包括应用程序以及配置参数）等，并且把路径提交到JobTracker，然后由JobTracker创建每一个Task（即MapTask和ReduceTask）并将它们分别发送到各个TaskTracker上去执行。

• JobInProgress

JobClient提交Job后，JobTracker会创建一个JobInProgress来跟踪和调度这个Job，并且把它添加到Job队列中。JobInProgress根据提交的Job Jar中定义的输入数据集（已分解成FileSplit）创建对应的一批TaskInProgress1用于监控和调度Task。

• TaksInProgress2

JobTracker通过每一个TaskInProgress1来运行Task，这时会把Task对象（即MapTask和ReduceTask）序列化写入相应的TaskTracker中去，TaskTracker会创建对应的TaskInProgress2用于监控和调度该MapTask和ReduceTask。

• MapTask和ReduceTask

Mapper根据Job Jar中定义的输入数据<key1, value1>读入，生成临时的<key2, value2>，如果定义了Combiner，MapTask会在Mapper完成后调用该Combiner将相同Key的值做合并处理，目的是为了减少输出结果。MapTask全部完成后交给ReduceTask进程调用Reducer处理，生成最终结果<key3, value3>。具体过程可以参见[4]。

三. MapReduce工作原理

整个MapReduce作业的工作工程，如下所示：

1. 作业的提交

JobClient的submitJob()方法实现的作业提交过程，如下所示：

• 通过JobTracker的getNewJobId()请求一个新的作业ID；（2）
• 检查作业的输出说明（比如没有指定输出目录或输出目录已经存在，就抛出异常）；
• 计算作业的输入分片（当分片无法计算时，比如输入路径不存在等原因，就抛出异常）；
• 将运行作业所需的资源（比如作业Jar文件，配置文件，计算所得的输入分片等）复制到一个以作业ID命名的目录中。（集群中有多个副本可供TaskTracker访问）（3）
• 通过调用JobTracker的submitJob()方法告知作业准备执行。（4）

2. 作业的初始化

• JobTracker接收到对其submitJob()方法的调用后，就会把这个调用放入一个内部队列中，交由作业调度器（比如先进先出调度器，容量调度器，公平调度器等）进行调度；（5）
• 初始化主要是创建一个表示正在运行作业的对象——封装任务和记录信息，以便跟踪任务的状态和进程；（5）
• 为了创建任务运行列表，作业调度器首先从HDFS中获取JobClient已计算好的输入分片信息（6）。然后为每个分片创建一个MapTask，并且创建ReduceTask。（Task在此时被指定ID，请区分清楚Job的ID和Task的ID）。

3. 任务的分配

• TaskTracker定期通过“心跳”与JobTracker进行通信，主要是告知JobTracker自身是否还存活，以及是否已经准备好运行新的任务等；（7）
• JobTracker在为TaskTracker选择任务之前，必须先通过作业调度器选定任务所在的作业；
• 对于MapTask和ReduceTask，TaskTracker有固定数量的任务槽（准确数量由TaskTracker核的数量和内存大小来决定）。JobTracker会先将TaskTracker的MapTask填满，然后分配ReduceTask到TaskTracker；
• 对于MapTrask，JobTracker通过会选取一个距离其输入分片文件最近的TaskTracker。对于ReduceTask，因为无法考虑数据的本地化，所以也没有什么标准来选择哪个TaskTracker。

4. 任务的执行

• TaskTracker分配到一个任务后，通过从HDFS把作业的Jar文件复制到TaskTracker所在的文件系统（Jar本地化用来启动JVM），同时TaskTracker将应用程序所需要的全部文件从分布式缓存复制到本地磁盘；（8）
• TaskTracker为任务新建一个本地工作目录，并把Jar文件中的内容解压到这个文件夹中；
• TaskTracker启动一个新的JVM（9）来运行每个Task（包括MapTask和ReduceTask），这样Client的MapReduce就不会影响TaskTracker守护进程（比如，导致崩溃或挂起等）；
• 子进程通过umbilical接口与父进程进行通信，Task的子进程每隔几秒便告知父进程它的进度，直到任务完成。

5. 进程和状态的更新

一个作业和它的每个任务都有一个状态信息，包括作业或任务的运行状态，Map和Reduce的进度，计数器值，状态消息或描述（可以由用户代码来设置）。这些状态信息在作业期间不断改变，它们是如何与Client通信的呢？

• 任务在运行时，对其进度（即任务完成的百分比）保持追踪。对于MapTask，任务进度是已处理输入所占的比例。对于ReduceTask，情况稍微有点复杂，但系统仍然会估计已处理Reduce输入的比例；
• 这些消息通过一定的时间间隔由Child JVM—>TaskTracker—>JobTracker汇聚。JobTracker将产生一个表明所有运行作业及其任务状态的全局视图。可以通过Web UI查看。同时JobClient通过每秒查询JobTracker来获得最新状态，并且输出到控制台上。

6. 作业的完成

当JobTracker收到作业最后一个任务已完成的通知后，便把作业的状态设置为"成功"。然后，在JobClient查询状态时，便知道作业已成功完成，于是JobClient打印一条消息告知用户，最后从runJob()方法返回。

四. Shuffle阶段和Sort阶段

Shuffle阶段是指从Map的输出开始，包括系统执行排序以及传送Map输出到Reduce作为输入的过程。Sort阶段是指对Map端输出的Key进行排序的过程。不同的Map可能输出相同的Key，相同的Key必须发送到同一个Reduce端处理。Shuffle阶段可以分为Map端的Shuffle和Reduce端的Shuffle。Shuffle阶段和Sort阶段的工作过程，如下所示：

如果说以上是从物理实体的角度来讲解MapReduce的工作原理，那么以上便是从逻辑实体的角度来讲解MapReduce的工作原理，如下所示：

1. Map端的Shuffle

• Map函数开始产生输出时，并不是简单地把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先写到内存中的一个缓冲区，并做一些预排序，以提升效率；
• 每个MapTask都有一个用来写入输出数据的循环内存缓冲区（默认大小为100MB），当缓冲区中的数据量达到一个特定阈值时（默认是80%）系统将会启动一个后台线程把缓冲区中的内容写到磁盘（即spill阶段）。在写磁盘过程中，Map输出继续被写到缓冲区，但如果在此期间缓冲区被填满，那么Map就会阻塞直到写磁盘过程完成；
• 在写磁盘前，线程首先根据数据最终要传递到的Reducer把数据划分成相应的分区（partition）。在每个分区中，后台线程按Key进行排序（快速排序），如果有一个Combiner（即Mini Reducer）便会在排序后的输出上运行；
• 一旦内存缓冲区达到溢出写的阈值，就会创建一个溢出写文件，因此在MapTask完成其最后一个输出记录后，便会有多个溢出写文件。在在MapTask完成前，溢出写文件被合并成一个索引文件和数据文件（多路归并排序）（Sort阶段）；
• 溢出写文件归并完毕后，Map将删除所有的临时溢出写文件，并告知TaskTracker任务已完成，只要其中一个MapTask完成，ReduceTask就开始复制它的输出（Copy阶段）；
• Map的输出文件放置在运行MapTask的TaskTracker的本地磁盘上，它是运行ReduceTask的TaskTracker所需要的输入数据，但是Reduce输出不是这样的，它一般写到HDFS中（Reduce阶段）。

2. Reduce端的Shuffle

• Copy阶段：Reduce进程启动一些数据copy线程，通过HTTP方式请求MapTask所在的TaskTracker以获取输出文件。
• Merge阶段：将Map端复制过来的数据先放入内存缓冲区中，Merge有3种形式，分别是内存到内存，内存到磁盘，磁盘到磁盘。默认情况下第一种形式不启用，第二种Merge方式一直在运行（spill阶段）直到结束，然后启用第三种磁盘到磁盘的Merge方式生成最终的文件。
• Reduce阶段：最终文件可能存在于磁盘，也可能存在于内存中，但是默认情况下是位于磁盘中的。当Reduce的输入文件已定，整个Shuffle就结束了，然后就是Reduce执行，把结果放到HDFS中。

五. 其它

HDFS和MapReduce是Hadoop的基础架构。除了上述讲解之外，还有MapReduce容错机制，任务JVM重用，作业调度器等都还没有总结。彻底理解了MapReduce的工作原理之后就可以大量的MapReduce编程了，计划将Hadoop自带实例看完后，再研读《Mahout实战》，同步学习《Hadoop技术内幕：深入解析YARN架构设计与实现原理》，正式迈入Hadoop 2.x版本的大门。

参考文献：

[1] 《Hadoop权威指南》（第二版）

[2] 《Hadoop应用开发技术详解》

[3] Hadoop 0.18文档： http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html

[4] WordCount源码剖析： http://blog.csdn.net/recommender_system/article/details/42029311

[5] 外部排序技术之多路归并排序： http://blog.chinaunix.net/uid-25324849-id-2182916.html

本文链接： MapReduce程序的工作过程，转载请注明。

• —软件人才免语言低担保 赴美带薪读研！—

导读

本文来自stackoverflow的问答，讨论了Java Servlet的工作机制，如何进行实例化、共享变量和多线程处理。

问题：Servlet是如何工作的？Servlet 如何实例化、共享变量、并进行多线程处理？

假设我有一个运行了大量 Servlet的 web 服务器。通过 Servlet之间传输信息得到 Servlet上下文，并设置 session 变量。

现在，如果有两名或更多使用者向这个服务发送请求，接下来 session 变量会发生什么变化？究竟是所有用户都是用共同的变量？还是不同的用户使用的变量都不一样？如果是后者，服务器如何区分不同用户？

另一个相似的问题，如果有 *n*名用户访问一个特定的 Servlet，那么该 Servlet是仅在第一个用户首次访问的时候实例化，还是分别为每个用户实例化？

回答（BalusC）：

ServletContext

当 Servlet 容器（比如 Apache Tomcat）启动后，会部署和加载所有 web 应用。当web 应用被加载，Servlet 容器会创建一次 ServletContext，然后将其保存在服务器的内存中。web 应用的 web.xml被解析，找到其中所有 servlet、 filter和 Listener或 @WebServlet、 @WebFilter和 @WebListener注解的内容，创建一次并保存到服务器的内存中。对于所有过滤器会立即调用 init()。当 Servlet 容器停止，将卸载所有 web 应用，调用所有初始化的 Servlet 和过滤器的 destroy()方法，最后回收 ServletContext和所有 Servlet、Filter 与 Listener实例。

当问题中的 Servlet配置的 load-on-startup或者 @WebServlet(loadOnStartup)设置了一个大于 0 的值，则同样会在启动的时候立即调用 init()方法。“load-on-startup”中的值表示那些 Servlet 会以相同顺序初始化。如果配置的值相同，会遵循 web.xml中指定的顺序或 @WebServlet类加载的顺序。另外，如果不设置 “load-on-startup” 值， init()方法只在第一次 HTTP 请求命中问题中的 Servlet 时才被调用。

HttpServletRequest 与 HttpServletResponse

Servlet 容器附加在一个 web 服务上，这个 web 服务会在某个端口号上监听 HTTP 请求，在开发环境中这个端口通常为 8080，生产环境中通常为 80。当客户端（web 浏览器）发送了一个 HTTP 请求，Servlet 容器会创建新的 HttpServletRequest和 HttpServletResponse对象，传递给已创建好并且请求的 URL 匹配 url-pattern的 Filter和 Servlet实例中的方法，所有工作都在同一个线程中处理。

request 对象可以访问所有该 HTTP 请求中的信息，例如 request header 和 request body。response 对象为你提供需要的控制和发送 HTTP 响应方法，例如设置 header 和 body（通常会带有 JSP 文件中的 HTML 内容）。提交并完成HTTP 响应后，将回收 request 和 response 对象。

HttpSession

当用户第一次访问该 web 应用时，会通过 request.getSession()第一次获得 HttpSession。之后 Servlet 容器将会创建 HttpSession，生成一个唯一的 ID（可以通过 session.getId()获取）并储存在服务器内存中。然后 Servlet 容器在该次 HTTP 响应的 Set-Cookie头部设置一个 Cookie，以 JSESSIONID作为 Cookie 名字，那个唯一的 session ID 作为 Cookie的值。

按照 HTTP cookie 规则（正常 web 浏览器和 web 服务端必须遵循的标准），当 cookie 有效时，要求客户端（浏览器）在后续请求的 Cookie头中返回这个 cookie。使用浏览器内置的 HTTP 流量监控器，你可以查看它们（在 Chrome、Firefox23+、IE9+ 中按 F12，然后查看 Net/Network 标签）。Servlet 容器将会确定每个进入的 HTTP 请求的 Cookie头中是否存在名为 JSESSIONID的 cookie，然后用它的值（session ID）从服务端内存中找到关联的 HttpSession。

你可以在 web.xml中设置 session-timeout，默认值为 30 分钟。超时到达之前 HttpSession会一直存活。所以当客户端不再访问该 web 应用超过 30 分钟后，Servlet 容器就会回收这个 session。后续每个请求，即使指定 cookie 名称也不能再访问到相同的 session。Servlet 容器会创建一个新的 Cookie。

另一方面，客户端上的 session cookie 有一个默认存活时间，该事件和该浏览器实例运行时间一样长。所以，当客户端关闭该浏览器实例（所有标签和窗口）后，这个 session 就会被客户端回收。新浏览器实例不再发送与该 session 关联的 cookie。一个新的 request.getSession()将会返回新的 HttpSession并设置一个拥有新 session ID 的 cookie。

概述

• ServletContext与 web 应用存活时间一样长。它被所有 session 中的所有请求共享。
• 只要客户端一直与相同浏览器实例的web应用交互并且没有超时，HttpSession就会存在。
• HttpServletRequest和 HttpServletResponse的存活时间为客户端发送完成到完整的响应（web 页面）到达的这段时间。不会被其他地方共享。
• 所有 Servlet、 Filter和 Listener对象在 web 应用运行时都是活跃的。它们被所有 session 中的请求共享。
• 你设置在 HttpServletRequest、 HttpServletResponse和 HttpSession中的所有属性在问题中的对象存活时都会一直保持存活。

线程安全

即便如此，你最关心的可能是线程安全。你现在应该学习到 Servlet 和 filter 被所有请求共享。那是 Java 的一个优点，使得多个不同线程（读取 HTTP 请求）可以使用同一个实例。否则为每个请求重新创建线程的开销实在过于昂贵。

但你应该也意识到永远不要将任何 request 或 session 域中的数据赋值给 servlet 或 filter 的实例变量。它将会被所有其他 session 中的所有请求共享。那是非线程安全的！下面的示例对这种情况进行了展示：

public class ExampleServlet extends HttpServlet {

    private Object thisIsNOTThreadSafe;

    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        Object thisIsThreadSafe;

        thisIsNOTThreadSafe = request.getParameter("foo"); // BAD!! Shared among all requests!
        thisIsThreadSafe = request.getParameter("foo"); // OK, this is thread safe.
    } 
}

请参考：

• JSF、Servlet 和 JSP 之间有什么不同？
• Java 中管理 Session 的最佳选择
• Servlet 中的 doGet 与 doPost
• Servlet 似乎会同步处理多并发请求

相关文章

• 八成Java开发者解答不了的问题
• 在什么情况下Java比C++快？
• Web服务器的工作原理
• Java Servlet完全教程
• 关于Spring的69个面试问答——终极列表
• Servlet 3特性：异步Servlet
• 关于《Java那么健壮，怎么会挂？》的1000条回复
• 危险代码：如何使用Unsafe操作内存中的Java类和对象—Part4
• Android热点回顾第三期
• Java并发的四种风味：Thread、Executor、ForkJoin和Actor

有很多朋友问过同样一个问题，就是学造价是不是要先做几年施工员再转行比较好，今天咱们来谈谈这个问题。

感谢 @陈子善先生的提醒， 本文中的造价师是指在造价咨询公司工作的造价师，对于在施工单位做成本管理的造价师并不是特别适用。

先上结论，没必要。

首先先回答一个问题，有些人会说，你如果都施工工艺一窍不通，那么叫人怎么说服别人同意你的方案？

首先，不做施工员不代表对施工工艺一窍不通，对于大部分工艺，造价师只要做到了解就够了，而部分较为重要的工艺，造价师要做到熟悉，但是完全没有必要去掌握一门工艺，对施工工艺有一知半解，已经足够做好一份造价工作。掌握一门施工工艺，或许能让你如虎添翼，但是值不值得花上大量时间掌握，还需要商榷。

其次，造价师为什么和方案要扯上关系？就目前来说，不管在哪一个单位任职，一般情况下造价人员都没有责任去承担出具设计方案的责任，造价师大部分时间只要按照给定的方案做出准确的造价就行了，即使是要做方案比选，只要委托方给出不同的方案，做出不同的造价对比就行了，怎么也轮不到造价师来确定方案。

既然造价人员需要了解和熟悉施工工艺，那为什么不建议先去施工单位后再转行呢？

很简单，施工单位熟悉工艺的效率是非常低下的，大家都明白，工程项目的周期是比较长的，修一公里的路和修十公里的路你所掌握的施工工艺也可能是完全一样的，在施工单位待上一年，并不代表你学习了非常多的施工工艺。而有些同学运气差点的，到一个施工单位待了半年，结果整整半年都在打桩基础，重复又重复，其他的什么都没学到，这个同学就是我。

（图为桩基础施工的下钢筋笼）

在施工单位，宝贵的是应急处理能力，比如说钻孔遇到溶洞了如何处理、钢筋笼上浮了如何处理等等，而不是对施工工艺的熟悉和了解程度，在施工单位培养出来的能力，到了造价岗位不一定用得上，举我一个以前说过的简单例子，我有时候会做一些绿化项目，秋枫是什么？勒杜鹃是什么？金山棕是什么？全摆到我面前来，我一个都认不出。可是这并不影响我做项目，我只要了解种树需要挖土、栽植、回填、支撑、保养、浇水，那就够了，然后在网上对苗木进行询价，单价就出来了。我为什么要去施工单位学习怎么种树，怎么把树种好，怎么保养一株苗木呢？这些对造价工作毫无意义。

（你说这是啥？）

像我做公路项目的，一个大型项目通常都包含路基 、路面、桥梁、涵洞、隧道、交安、机电、绿化等不同的专业，我如果每个工艺都想熟悉起来，我是不是要在施工单位混上十年再转行呢？那如果我在施工单位熟悉掌握了路基路面，那么在大型项目到来的时候，我是不是该向老板反映下我只做路基路面部分，其他专业给其他同事做呢？这事儿咱想都不敢想。就算真的不懂了，问下同事总行了吧？再不济的情况下，拿别人做的项目照抄总行了吧？下次记住就行了。

（隧道盾构机）

在互联网发达的今天，造价人员根本没必要到施工单位熟悉施工工艺，网络上可以找到各种施工视频、图片和动画等等辅助我们进行学习，而像二建和一建考试，很多老师讲实务课程的时候也会充分讲解各种施工工艺，学习的途径非常非常多，花几天时间搜集下视频图片，然后都看一遍，效率比去施工单位上班高多了吧。

而另一方面，每一年的时间是非常宝贵的，造价人员要学习的知识是非常多，如果你是打算从事造价工作，那么花费一年两年的时间在施工单位学习，你所学到的对造价有用的知识绝对不会比待在造价公司里多，现代社会是个分工明确的社会，造价人员有造价人员的工作方式，想走哪一条路，就该直接走哪一条路。

先做施工再转行做造价，忽略了一些自己无法控制的因素，现在很多造价公司都要招有经验的人员，你如果拿着几年施工经验去投造价公司的简历，造价公司不一定会要，就算进了公司，很多时候也是从基层的算量做起，很有可能你的待遇还是腰斩，我想并不是有很多人能下这么大一个决心。

最后希望大家还是能多和我交流一下，毕竟我的阅历和眼界也有限，多多交流才能共同进步，这也是我写这个专栏的目的。

锤子科技的 CTO 钱晨博士今年 53 岁，他把有些许灰白的头发剃得很短，显得精神抖擞。加入锤子科技前，他在中国手机界的黄埔军校摩托罗拉北京研发中心工作了 13 年，离开时任职高级工程经理。

1998 年，36 岁的钱晨入职 MOTO，在之后的 13 年里，钱晨从一名普通工程师，做到工程产品经理，再之后负责管理 ODM（原始设计商）。在 MOTO 的初创阶段，钱晨以一年升一级的速度快速晋升。

雷军曾经在一次采访中提到，他前后花了三个月时间，想邀请钱晨加盟小米，最终未能成行。罗永浩随后抓住机会，磨了半年，说服钱晨入职锤子科技，担任 CTO。

他经历过国营单位、跨国企业和创业公司；他喜欢收藏字画古玩、爱饮茶讲风水；他自己连续 4 年每晚加班到 11 点，却不认同手下的人加班；他认为好的福利意味着公司堕落，每年四十天年假他从未享受过。

Lagou 约到了钱晨博士，跟他聊了聊他眼中的职场与人生。“不是倚老卖老，是因为这些事儿自己都摔过疼过，所以能谈谈。”

“加班是因为你笨”

钱晨入职 MOTO 后，前 4 年里几乎天天加班。“每天早晨 9 点到，晚上 11 点走。但我从来不觉得这是值得炫耀的东西，要学的东西太多了，当时根本学不完。”

在锤子当 CTO 以后，钱晨开始寻找能在 8 小时内做完事的下属。

“我认为生活更重要。我给工程师们提的要求是，不希望看到他们加班。我看到他加班就意味着，要么是他太笨，要么是老板对他的工作安排不合理，或者他答应我的工作不合理。”

锤子硬件团队现在的氛围是，钱晨不加班，他走的时候从不去看手下的工程师是否加班。他认为加班文化是一种恶俗文化，如果有公司倡导加班文化，那说明这个公司在赤裸裸地剥削。

提到在 MOTO 四年的加班，他说那是自己乐意。“我有我的追求，我想做更大的事儿，我想在短时间内做更多的事儿。因为只有实验室有条件让我去做，回家干不了。”第五年，钱晨成为领导，开始投入到对字画、手表、古玩的研究中，生活里的各种乐趣出现，他慢慢不再加班。

如果在公司里能学到东西，如果有做大事的追求，如果觉得生活无聊不如工作，那就去加班吧。但记住，千万不要跟老板炫耀，千万不要忘了生活。

“学不到东西的时候，就是离开的时候”

MOTO 是一个按照级别排位的公司，从 1 级开始，最高 18 级。1998 年，钱晨入职时被定为 8 级员工。

之后的 4 年，钱晨以一年一级的节奏快速晋升。2002 年，钱晨升到 12 级，成为高级工程经理。后 9 年，钱晨一直呆在这个位置上。

“9 年里，很多猎头来挖，但我没走。MOTO 这个学校太大，有很多东西要学。”钱晨把自己在 MOTO13 年的工作经历划分成三段，先是做工程师，学工程和设计；然后当工程产品经理，学习开发与设计产品；再之后管理 ODM，学习把 MOTO 好的设计与产品质量标准传达出去。

MOTO 是当时全国待遇最高的外企之一，很多漂亮的姑娘在这里做前台。“2003 年 MOTO 一个前台可以拿到六七千的工资。但是有什么职业生涯吗？前台再往上还能做什么，做到秘书，然后呢，没了。”

“公司大小，工资，福利，这些都不重要。你在一个公司，要看自己是在一个节点上，还是在一根线上。如果你在一个节点，你会看到四个方向，而如果你在一根线上趴着，你就只能看到这根线。”

比如销售是节点部门，它上接产品，下接客户。广告可能就不是节点部门，因为它处于产品末端。“我在 MOTO 呆了那么久，一直处在节点部门，我做研发，跟生产、销售、品质都在打交道。”

假如你在公司的市场部负责售卖一款肥皂，销量不好。你并不知道这款肥皂卖这个价格，也不知道销量不好的原因是价格不合理或者品质问题亦或其他原因。你没有参与任何与之相关的促销决策或者市场分析。那么这时候，你就不在一个节点岗位上，而只是一个执行者。

“如果这个人够聪明，几年后他会成为节点。他会去观察别人怎么卖，其他商家为什么能卖出去。但如果他傻卖，混日子，天天想着吃饭晒微博。他以为这就是生活，其实这不是。因为他在这个公司没有未来，他学不到东西。”

当你觉得学不到东西的时候，就是离开的时候。

“我在 MOTO 被训练的是眼光和志向”

钱晨离开 MOTO 是 2011 年，当时 MOTO 还未被谷歌收购。“但从公司的种种迹象上来开，我觉得它做的都是要卖的动作，所以我就走了。”

钱晨读过人大的 EMBA，用他的话来说，虽然特无聊，连毕业证也没要，但还是学了一些观察公司的基本方法。

离开 MOTO 时，钱晨对手机行业不再有热情。他转而投身上游的芯片生产企业，入职 Marvell 芯片公司，担任硬件总监。“但这个公司超级无聊，胸无大志，最近也解散了。”

“我在 MOTO 被训练的根本不是怎么做事，训练的是眼光和志向。公司的价值观很重要，要去有追求的公司。看他们员工最有兴趣的点是什么。MOTO 和诺基亚到了最后，员工最有兴趣的点都变成这个公司福利好。”

在钱晨看来，福利好是一种堕落的公司文化，他不看好谷歌。“谷歌一再宣扬自己福利好，但是真正有本事的人，他会在乎这件事吗？没本事才在乎这个。”

在 MOTO 工作的后期，钱晨每年有四十天年假，但他从未享受过。“如果我休八周假，这意味着什么，意味着我在公司没有价值。你说是选择休息四十天，还是让自己变得更有价值一点？”

刚入职 MOTO 时，作为 8 级员工，钱晨月薪九千。加班 4 年成为 12 级领导后，月薪 3 万。“3 万可以生活无忧了，但能以此为乐趣吗？工资高都是相对的，最重要的是你获取的乐趣在哪里。”

加入锤子科技后，钱晨开心了不少。

“这里有很多特别年轻有活力的人，我看他们是如何看待一个产品，尤其是他们如何敢冒险。他们看似散漫，但做起事却有灵气，这些我在摩托已经看不到了。老罗天天跟他们乐此不疲地折腾这件事，我也跟着老罗天天嗨，让自己眼界又开阔了。”

“喜欢聪明而焦虑的工程师”

“我认为工程师必备的素质，是聪明。如果他聪明同时充满焦虑，我就会很喜欢。”钱晨说。

他对聪明的解读是，思维方式多样，有考虑问题的综合能力。招聘的时候，他会问“喜马拉雅山和乞力马扎罗山有什么共同点”，看应聘者能否总结出两者的共性。

另一个要求是耐压。工作一定有压力，不会天天快乐。所以他会问应聘者，“假如你在街上看见一个流氓，他抽你一嘴巴，你怎么办？”或者直接说，“笔试成绩这么差，还好意思来面试吗？”

对这些问题的回答能够看出一个人是否乱了方寸，钱晨需要聪明与耐压的员工。“这是基本需求，进来以后再慢慢练，慢慢淘，淘出一些沟通能力好，有大视野的人。”

优秀的硬件工程师是用钱砸出来的，十年成就一个。

“我们让你做一个很小的东西，这个小东西是形式，关键看你怎么把它化成一个有高度的东西。

首先，让老板觉得你是个有效率的人。
第二，让老板觉得你是个有方法的人。
第三，让老板觉得你是个勤快的人。”

让老板感受到这几点，不需要拍马屁，只需要 Value added (增值)。给老板增值，给部门加分。

如果你是电子工程师，那么做完一个小物件，要整理成一个有信息干量的东西给老板。老板会观察你，觉得这小家伙还可以多做一点，就又给你多加一点。加完一点你又完成，他觉得还可以再给你加一点。逐渐你的面就宽了，做的东西会越来越多。

“我带工程师的时候，觉得最重要的是给他成长的空间。一个是知识的成长，一个是眼力的成长。如果一个小孩有这两方面的成长，我就会特有成就感。”

在以“工匠精神”著称的锤子科技，钱晨曾经这样解读过他眼中的工匠精神：做事认真，光认真不够，还要大气，还要有智慧。你要有创新，要有自己的设计语言。自己不原谅自己，这是一个关键点。要想出别人想不出的东西。

但即便如此，工匠在钱晨眼中依然称不上优秀。

“我不佩服有手艺的人，我佩服有方向感的人。Rudy Krolopp 是 MOTO 当年发明第一部移动电话的人，我佩服。乔布斯是第一个发明 smart phone 的人，我佩服。他们给大家带来了新的生活方式，剩下的事真的就只是做个好工匠而已。”

在网络上，钱晨给自己取名“工头 Jeff”，他没将自己定义为牛人，“真正的大公司都是靠体系结构活着，MOTO 当年像我这样的人有上百个。”但罗永浩依然认为自己挖到了宝，找到了最合适的 CTO。
来自: lagounews

花了一天的时间参加了李忠秋老师结构思考力课程的上海站社群答谢活动，99RMB听了一天的课程，首先说结论：“非常值！”

作为全场100多号人里面20个看过《金子塔》原理，并且是7个看完这本书的人里面的站起来大言不惭的讲这本书本身写的不够金字塔的人，对这门课程的第一感觉是实用，第二感觉是用心！

首先讲实用，课程去掉了金字塔中很多繁杂的东西，加入了很多本土化基于企业实际情况的更接地气的案例（如果你有听过另外一门同类课程，老师都是拿我党的公文做案例的时候，你就明白这个是多么的难能可贵了），所讲内容非常切合企业的真实工作需求，学完之后就能够立即用上，课堂最后的案例演练也证明了这一点。

第二个就是用心，说真心话，把简单的东西讲复杂真的很容易，但是把复杂的东西讲简单，是需要智慧和耐心的，就从本身课程的设计上来讲就是符合结构化思考的，这个也能看出老师本身的知行合一。课程中大量的案例，总结，提炼，教学活动都是经过精心设计的，非常有助于学学员的理解和接受，这点真的难能可贵！

以下是这次课程大概内容的笔记，提前预警，凭记忆写作，可能会有错误或疏漏！

一、结构思考力概念介绍

这部分内容很少，大概的介绍了结构思考的概念和收益，不知道现场有多少人注意到了，其实在这个过程中也蕴含了一个非常强大的结构模式，就是传说中的why-what-how.

　ｗｈｙ－为什么要学习思考力？

总结起来就是一句话：结构思考力能够让你思考清晰，表达有力，生活清爽，工作高效！

　ｗｈａｔ－什么事结构思考力？

结构思考力是一种帮助人们察觉并改善自身思考结构的思考艺术，通过结构思考力“理解、重构、呈现”循环方法的运用，我们可以从结构的视角更加全面、清晰地看待和认知失误，有效改善思考质量。

其实这个概念的定义就有点类似于课程中讲到的序言的写作模式。

how-如何做到结构思考呢？

同样还是高度总结概括成了三点，分别是：

• 理解：隐性思维显性化

• 重构：显性思维结构化
• 呈现：结构思维形象化

二、理解-隐性思维显性化

在理解部分，老师通过了关于书法介绍的案例导入，系统的介绍了理解的三个步骤，分别是：

• 第一步，【识别】：识别信息中的事实理由以及结论，找出信息中哪些是观点类的，哪些是事实描述类的信息，观点类的信息哪些是结论，哪些是理由，并将其区分开来。第二步，【判断】：判断事实与观点的对应关系，并画出结构图。然后，找出这些事实和观点的对立关系，依据事实、理由、结论的对应关系画出树形图。第三步，【概括】一句话概括出所有内容。接受信息除了前两步做到看清楚想明白，最后还要简单扼要地概括出所有内容，做到说简洁。

其中在这里关于序言的描述部分老师给了一个非常牛叉的万能公式：

在-----的基础上，从-----，----，----，N个方面，说明了-------。

据说这个公式是新东方为了对付我大天朝的语文老师而创立，仔细回想一下貌似真的是非常有道理的，比如说服丈母娘把同意把女儿嫁给你的时候，就可以这么描述，在两个人相爱的基础上，从经济条件，年龄要求，学历层次，家庭背景四个方面，说明了你女儿应该嫁给我是正确的选择！（这个是已婚人士的自我YY），这样一来当年就省下了好多事情！

三、重构：显性思维结构化

重构部分主要讲了两个模块四个步骤，分别从横向和纵向两个维度做了讲解，纵向部分的要点是结论先行，以上统一；横向部分的要点是归类分组，逻辑递进，总结起来就是四个字 论证类比

（在此不得不对李老师牛叉的总结能力表示深深的叹服，请接收我深深的敬意）。

• 【结论先行】每次表达的时候都先讲结论，并且每个结论只表达一个中心思想，类似于我们写议论文中的论点部分；这里给的一个技巧是：多问所以呢？

• 【以上统下】要求在在任何层次上的思想都必须是下一层次思想的高度总结概括，并且是一个结论；
• 【归类分组】每一个模块的内容和思想都必须在同一个框架之内，符合上面的结论，一般建议是每个小组内容在3-7条；这里的给到的工具是源自麦肯锡的“MECE”法则。
• 【逻辑递进】每一个组的内容也要按照一定的逻辑顺序进行安放排列，这样能够更有效的传递出想要传递的信息；主要包括三种：时间顺序，结构顺序和重要性顺序

四：呈现：结构思维形象化

关于呈现部分，因为时间因素并没有讲太多，主要是从流程步骤上做了一些演示和示范，也包括三部分，分别是配关系，得图示，上包装，简称配得上！

课堂当中还展示一些关于如何提炼精简和总结的案例，包括各种各样的关系图，具体的细节都在下面这张结构罗盘中，我就不详细解释了，个人的感觉是这种东西第一要有意识，第二要看多积累，第三就是要多思考，第四这个还跟天赋和文学素养有关。我会告诉你我当年在混某国企的时候，为了写好PPT，我专门买了本《文心雕龙》么？

图来自于李忠秋老师结构思考力课件，版权归原作者所有

最后以一首小诗对课程感受和内容作了简短的总结：

参加李忠秋老师结构思考力上海一日答谢课

价格实惠内容好，老师有料颜值高！结论先行很重要，万能公式别小瞧；论证类比说重构，透过结构看思考；思维呈现配得上，工作汇报賊有效！

【如果你觉得内容对你有帮助，请点击分享或打赏，你的认可是我写作的动力！】

• —软件人才免语言低担保 赴美带薪读研！—

JVM学习笔记之JVM内存管理和JVM垃圾回收的概念，JVM内存结构由堆、栈、本地方法栈、方法区等部分组成，另外JVM分别对新生代和旧生代采用不同的垃圾回收机制。

首先来看一下JVM内存结构，它是由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示。

JVM学习笔记 JVM内存管理和JVM垃圾回收

JVM内存组成结构

JVM内存结构由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示：

 

 

1)堆

所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代，新生代又被进一步划分为Eden和Survivor区，最后Survivor由FromSpace和ToSpace组成，结构图如下所示：

 

 

新生代。新建的对象都是用新生代分配内存，Eden空间不足的时候，会把存活的对象转移到Survivor中，新生代大小可以由-Xmn来控制，也可以用-XX:SurvivorRatio来控制Eden和Survivor的比例旧生代。用于存放新生代中经过多次垃圾回收仍然存活的对象

2)栈

每个线程执行每个方法的时候都会在栈中申请一个栈帧，每个栈帧包括局部变量区和操作数栈，用于存放此次方法调用过程中的临时变量、参数和中间结果

3)本地方法栈

用于支持native方法的执行，存储了每个native方法调用的状态

4)方法区

存放了要加载的类信息、静态变量、final类型的常量、属性和方法信息。JVM用持久代(PermanetGeneration)来存放方法区，可通过-XX:PermSize和-XX:MaxPermSize来指定最小值和最大值。介绍完了JVM内存组成结构，下面我们再来看一下JVM垃圾回收机制。

JVM垃圾回收机制

JVM分别对新生代和旧生代采用不同的垃圾回收机制

新生代的GC：

新生代通常存活时间较短，因此基于Copying算法来进行回收，所谓Copying算法就是扫描出存活的对象，并复制到一块新的完全未使用的空间中，对应于新生代，就是在Eden和FromSpace或ToSpace之间copy。新生代采用空闲指针的方式来控制GC触发，指针保持最后一个分配的对象在新生代区间的位置，当有新的对象要分配内存时，用于检查空间是否足够，不够就触发GC。当连续分配对象时，对象会逐渐从eden到survivor，最后到旧生代，

用javavisualVM来查看，能明显观察到新生代满了后，会把对象转移到旧生代，然后清空继续装载，当旧生代也满了后，就会报outofmemory的异常，如下图所示：

 

 

在执行机制上JVM提供了串行GC(SerialGC)、并行回收GC(ParallelScavenge)和并行GC(ParNew)

1)串行GC

在整个扫描和复制过程采用单线程的方式来进行，适用于单CPU、新生代空间较小及对暂停时间要求不是非常高的应用上，是client级别默认的GC方式，可以通过-XX:+UseSerialGC来强制指定

2)并行回收GC

在整个扫描和复制过程采用多线程的方式来进行，适用于多CPU、对暂停时间要求较短的应用上，是server级别默认采用的GC方式，可用-XX:+UseParallelGC来强制指定，用-XX:ParallelGCThreads=4来指定线程数

3)并行GC

与旧生代的并发GC配合使用

旧生代的GC：

旧生代与新生代不同，对象存活的时间比较长，比较稳定，因此采用标记(Mark)算法来进行回收，所谓标记就是扫描出存活的对象，然后再进行回收未被标记的对象，回收后对用空出的空间要么进行合并，要么标记出来便于下次进行分配，总之就是要减少内存碎片带来的效率损耗。在执行机制上JVM提供了串行GC(SerialMSC)、并行GC(parallelMSC)和并发GC(CMS)，具体算法细节还有待进一步深入研究。

以上各种GC机制是需要组合使用的，指定方式由下表所示：

 

• —软件人才免语言低担保 赴美带薪读研！—

在接下来的 4 年中，美国将有 40% 的工作由那些不限于服务一家企业的自由工作者完成，他们不必拘泥于上下班时间，想什么时候干活就什么时候干活。

在不久的将来，多达 700 万美国人将有机会自由选择工作地点，舒适的家中、附近的小咖啡馆或者是充满异国情调的沙滩上都能够成为他们的办公场所。是什么导致了在职场中发生这一戏剧性的变化？这对未来将有什么影响呢？

自由职业者的崛起

优秀的人才总是很难被寻觅到，比这更难的就是让他们长久的待在企业中，但是新的工作形式将为企业发掘人才与任用人才打开新的思路。平均每 4 年人们就会换一家公司工作，如今的公司不再需要为员工提供终身制就业保障，自由职业者已经成为了公司快速且可靠的人才来源。

「人们的工作方式已经翻开了新的一页，相比工业时代，如今技术的发展使得人们能够更快且更容易找到工作，因此人们可以更多地考虑如何平衡工作与生活。」Upwork 公司 CEO Stephane Kasriel 解释了自由职业的兴起。

曾经对于自由职业者来说，如何确保手头有足够的项目的可做是最大的障碍，但是现在这一担忧已经烟消云散。如今的自由职业者想要找到可做的项目并不费力，有不少公司会经常在类似 Upwork 与 Freelancer 这样的网站上发布兼职职位。

自由职业者的工作时间与工作地点完全可以随心而定，他们自己给自己标价，他们能够同时服务多个企业，而不是被一个雇主给束缚住。

但是随着自由职业者逐渐增长为职场新趋势，这也影响了职场中人的职业发展，而如何与自由职业者配合工作也成为了必须面对的问题。

自由职业者对未来职场意味着什么？

更多的集中式办公场地

在未来的城市中心将会出现更多的集中式办公场地，它们不仅仅能为那些独自一人的自由工作者提供更多的与人交流的机会，还能为他们提供办公支持，并且为其带去一些工作资源。WeWork 就是其中受人瞩目的一家提供集中式办公场所的公司，该公司最近融资了 4.3 亿美元，其估值已经达到了 160 亿美元，它在全球 80 个国家与地区建有集中式办公场地。WeWork 称其为自由职业者们提供了充满活力的社区，在办公场地里不仅有精心的建筑设计，还提供新鲜水果与啤酒。

价值数十亿美元的公司不再聘用全职员工

这种说法可能略显夸张，但是有不少公司确实已经不需要像现在一样维持一个庞大的工作团队，为了招人与留人费尽心思。他们可以在特定的项目中雇佣合适的自由职业者兼职完成，而不是让那些领着工资与福利的全职员工去完成这些任务。现在在不少创业企业中有几乎一半的员工都是远程工作，而这也逐渐成为了常态。这对企业如何协同工作，如何找到合适的兼职员工以及如何维持企业文化都提出了挑战。

出现传统教育的替代品

专科学校、技能培训营以及在线课程将会变得越来越有价值。想要成为一个成功的自由职业者，你需要拥有一些符合用户需求且高度专业化的技能，比如说网站后端开发，封面设计以及法律咨询。专门面向自由职业者的网站如 Upwork 将会向你展示有哪些雇主正在招人，他们愿意支付多少酬劳，这些工作机会并不需要你有大学学历才能去争取。

随着工作自由化程度越来越高，自由职业者可能也会在其中失去一些归属感，而企业也会面临着失去员工忠诚度的风险。但是在当今世界中工作形式是不断在进化的，自由职业与远程工作的兴起将会深刻地影响企业的招聘工作，也会改变我们与他人合作的方式。雇佣自由职业者对于企业和工作者本身来说都是双赢的，我们应该积极地去适应并接受这一变化。

文章来源： the HUSTLE，TECH2IPO / 创见 陈铮 编译，首发于创见科技（http://tech2ipo.com/），转载请注明出处

介绍产品时面试官会考察应聘者的沟通能力和思考能力，我们大部分情况都是做产品的一个功能或一个模块，但是即使是这样，自己有没有把整个系统架构或产品搞清楚，并能介绍清楚，为什么做这个系统？这个系统的价值是什么？这个系统有哪些功能？优缺点有哪些？如果让你重新设计这个系统你会如何设计？

假如有Thread1、Thread2、Thread3、Thread4四条线程分别统计C、D、E、F四个盘的大小，所有线程都统计完毕交给Thread5线程去做汇总，应当如何实现？

你知道索引使用的是哪种数据结构实现吗？

谈谈分布式Session的几种实现方式

讲一下Session和Cookie的区别和联系以及Session的实现原理

• —软件人才免语言低担保 赴美带薪读研！—

1. 技术架构组工作目标

   • 落地本部门的技术规划，负责本部门IT整体规划技术部分，指导重要项目的设计实现
   • 规范本部门的所有技术应用和开发内容，保障系统开发的有序、标准、一致性
   • 发展基础技术平台和完善通用组件，实现部门技术积累和IT资源高效复用
   • 解决各项目的技术难点、框架选型，保障项目开发的速度、效率、质量
   • 协助运维、安全和测试组的部分技术性工作，保障各组工作的顺利开展和技术积累
   • 组织技术学习培训，引入代码质量统计工具，提升开发人员技术水平、扩大知识面

2. 技术架构组工作目标

   • 制定部门技术规划
     – 部门技术规划：技术规划文档、技术发展线路文档
     – 重大技术决策：协助技术委员会的规划和决策落地
   • 制定部门技术规范
     – 整体技术规范：整体技术规范、设计规范、调研规范、部署规范、开发规范、数据库规范
     – 接口技术规范：接口规范、报文规范、通讯规范
   • 发展基础技术平台
     – 技术框架组件整合：框架整合demo、组件代码、组件文档
     – 基础技术平台开发：基础技术平台代码、平台文档
   • 解决项目技术难点
     – 技术框架选型：技术选型报告、技术应用demo
     – 项目设计实现支持：支持重点项目的关键实现，产出设计文档
     – 技术难点攻坚：关键代码、总结报告
   • 提高人员技术水平
     – 协调项目代码质量：度量工具软件、度量标准文档
     – 组织技术学习培训：培训计划、培训课件、培训反馈
   • 协助运维测试人员
     – 性能测试与自动化测试：性能测试脚本和场景评审、分析调优，自动化测试技术支持
     – 持续集成和自动化运维：持续集成、自动化运维技术支持、其他运维相关脚本支持
     – 数据库与部署技术支持：评审数据库方案、部署方案，上线部署的技术支持
     – 版本管理工具统一控制：源码和文档的统一管理、权限统一控制
   • 前端技术统筹管理
     – 前端技术选型和维护：确定网站前端、业管前端、移动前端的
     前端问题解决与积累：培训计划、培训课件、培训反馈

3. 技术架构组研发资源配置

   • 整体技术框架和规范
   • 支持具体的框架整合、工作流技术调研、MQ技术调研，定时任务和消息中心
   • 技术培训、技术交流、技术岗位入职培训
   • 支持技术规范制定、框架整合、基础技术平台的开发，
   • 整合分布式服务框架，数据中间层等
   • 支持各项目的技术问题和研发过程，完善技术框架、推广新技术
   • 前端与移动技术规范、基础框架和组件维护、各项目技术支持
   • 运维与安全部分工作
   • 自动化测试、前后端性能测试、持续集成相关工作
   • 移动框架的技术平台设计实现工作
   • 数据库规范与配置相关工作
   • 支付网关与接口部分工作

4. 技术架构组近期工作计划

   • 搭建分布式服务的开发环境：配合三套环境、完善基础设施和培训用法
   • 制定部门各种技术相关规范：整体技术规范、设计规范、调研规范、部署规范、开发规范、数据库规范
   • 完成工作流整合demo代码：工作流整合demo代码、设计文档、整合文档
   • 完善接口规范、评审各接口：评审会议、接口文档
   • 制定整体架构设计V0.1版本：架构设计文档、整体部署文档（方天英配合）
   • 实现基础技术平台V0.2版本：框架整合demo、基础组件demo
   • 完善数据库架构和管理规范：架构设计文档、整体部署文档、管理规范文档（张洋配合）
   • 搭建持续集成以及度量工具：度量工具软件、度量标准文档（协助QA组）
   • 完善整体架构设计V0.2版本：架构设计文档、整体部署文档（方天英配合）
   • 组织部门技术培训课程计划：培训范围、培训方式、确定培训讲师资源
   • 解决各个项目研发技术难点：支撑门户和业管项目的技术选型和疑难问题解决，出选型报告和总结报告
   • 维护发展部门基础技术平台：收集项目对平台的需求文档、完善和重构功能代码，抽象组件代码，完善设计文档
   • 提升部门开发人员技术水平：培训计划表、培训文档（需各组核心研发配合、外部资源）

......
// 设置发送者发送的是NON_PERSISTENT Message
MessageProducer sender = session.createProducer(sendQueue);
sender.setDeliveryMode(DeliveryMode.NON_PERSISTENT);
......

......
// 以下语句设置消息发送者在累计发送102400byte大小的消息后（可能是一条消息也可能是多条消息）
// 等待服务端进行回执,以便确定之前发送的消息是否被正确处理
// 确定服务器端是否产生了过量的消息堆积，需要减慢消息生产端的生产速度
connectionFactory.setProducerWindowSize(102400);
......

......
// 设置成：无论怎样每次都等待服务器端的回执
// 但关键是您确定自己的业务需求真的需要这样使用吗？
connectionFactory.setAlwaysSyncSend(true);
......

......
// 使用异步传输
// 上文已经说过，如果发送的是NON_PERSISTENT Message
// 那么默认就是异步方式
connectionFactory.setUseAsyncSend(true);
......

......
// 同样设置消息发送者在累计发送102400byte大小的消息后
// 等待服务端进行回执,以便确定之前发送的消息是否被正确处理
// 确定服务器端是否产生了过量的消息堆积，需要减慢消息生产端的生产速度
connectionFactory.setProducerWindowSize(102400);
......

......
//进行连接
connection = connectionFactory.createQueueConnection();
connection.start();

//建立会话（设置一个带有事务特性的会话）
session = connection.createSession(true, Session.AUTO_ACKNOWLEDGE);
//建立queue（当然如果有了就不会重复建立）
Queue sendQueue = session.createQueue("/test");
//建立消息发送者对象
MessageProducer sender = session.createProducer(sendQueue);

//发送（JMS是支持事务的）
for(int index = 0 ; index < 10 ; index++) {
    TextMessage outMessage = session.createTextMessage();
    outMessage.setText("这是发送的消息内容-------------------" + index);
    // 无论是NON_PERSISTENT message还是PERSISTENT message
    // 都要在commit后才能真正的入队
    if(index % 2 == 0) {
        sender.setDeliveryMode(DeliveryMode.NON_PERSISTENT);
    } else {
        sender.setDeliveryMode(DeliveryMode.PERSISTENT);
    }

    // 没有commit的消息，也是要先发送给服务端的
    sender.send(outMessage);
}

session.commit();
......

......<destinationPolicy><policyMap><policyEntries><policyEntry topic=">" producerFlowControl="false"/></policyEntries></policyMap></destinationPolicy>
......

......<policyEntry queue=">" producerFlowControl="true" memoryLimit="200mb"></policyEntry>
......

......<policyEntry queue=">" producerFlowControl="true" memoryLimit="200mb"><pendingQueuePolicy><vmQueueCursor/></pendingQueuePolicy></policyEntry>
......

......
// 设置为同步
connectionFactory.setDispatchAsync(false);
......

......
// 预取策略对象
ActiveMQPrefetchPolicy prefetchPolicy = connectionFactory.getPrefetchPolicy();
// 设置Queue的预取数量为50
prefetchPolicy.setQueuePrefetch(50);
connectionFactory.setPrefetchPolicy(prefetchPolicy);
//进行连接
connection = connectionFactory.createQueueConnection();
connection.start();
......

......
Properties props = new Properties();
props.setProperty("prefetchPolicy.queuePrefetch", "1000");
props.setProperty("prefetchPolicy.topicPrefetch", "1000");
//设置属性
connectionFactory.setProperties(props);
//进行连接
connection = connectionFactory.createQueueConnection();
connection.start();
......

......
//建立会话（采用commit方式确认一批消息处理完毕）
session = connection.createSession(true, Session.SESSION_TRANSACTED);
//建立Queue（当然如果有了就不会重复建立）
sendQueue = session.createQueue("/test");
//建立消息发送者对象
MessageConsumer consumer = session.createConsumer(sendQueue);
consumer.setMessageListener(new MyMessageListener(session));

......

class MyMessageListener implements MessageListener {
    private int number = 0;

    /**
     * 会话
     */
    private Session session;

    public MyMessageListener(Session session) {
        this.session = session;
    }

    @Override
    public void onMessage(Message message) {
        // 打印这条消息
        System.out.println("Message = " + message);
        // 如果条件成立，就向服务器确认这批消息处理成功
        // 服务器将从队列中删除这些消息
        if(number++ % 3 == 0) {
            try {
                this.session.commit();
            } catch (JMSException e) {
                e.printStackTrace(System.out);
            }
        }
    }
}

@Override
public void onMessage(Message message) {
    // 打印这条消息
    System.out.println("Message = " + message);
    // rollback这条消息
    this.session.rollback();
}

Message = ActiveMQTextMessage {...... redeliveryCounter = 0, text = 这是发送的消息内容-------------------20}
Message = ActiveMQTextMessage {...... redeliveryCounter = 1, text = 这是发送的消息内容-------------------20}
Message = ActiveMQTextMessage {...... redeliveryCounter = 2, text = 这是发送的消息内容-------------------20}
Message = ActiveMQTextMessage {...... redeliveryCounter = 3, text = 这是发送的消息内容-------------------20}
Message = ActiveMQTextMessage {...... redeliveryCounter = 4, text = 这是发送的消息内容-------------------20}

<policyEntry queue=">">  <deadLetterStrategy>  <sharedDeadLetterStrategy processNonPersistent="true" />  </deadLetterStrategy>  </policyEntry>

RedeliveryPolicy redeliveryPolicy = connectionFactory.getRedeliveryPolicy();
// 设置最大重发次数
redeliveryPolicy.setMaximumRedeliveries(3);

public void onMessage(Message message) {
    //====================
    //这里进行您的业务处理
    //====================
    try {
        // 显示调用ack方法
        message.acknowledge();
    } catch (JMSException e) {
        e.printStackTrace();
    }
}

......

//ack优化选项（实际上默认情况下是开启的）
connectionFactory.setOptimizeAcknowledge(true);
//ack信息最大发送周期(毫秒)
connectionFactory.setOptimizeAcknowledgeTimeOut(5000);
connection = connectionFactory.createQueueConnection();
connection.start();
......

• —软件人才免语言低担保 赴美带薪读研！—

《福布斯》联合市场调查公司麦肯锡和合伙人对美国超过2000种工作进行调查，研究这些工作在当下和未来实施自动化，也就是用机器来取代人的可能性。其中，最有可能被取代的是可控制环境中的体力劳动岗位，而最不可能被取代的是管理岗位。一个比较有意思的发现是，让机器人上岗工作远比科幻小说中要复杂得多，即使技术达到了让机器替代人的水平，机器人制造成本、社会影响、世人接受度也是要考虑的问题。

随着工作自动化正快速地走出小说，成为现实的一部分，我们认为，这一变化将带来的影响将不仅仅是在人和机器间做选择二选一那么简单。

我们调查了美国所有行业内超过2000种工作。以下是我们研究中的8个发现，强调了每一个领域进行自动化的潜力，同时，研究还就哪一种职业最不可能会被机器取代，从技术的角度提出了参考指标。

从上图看来，最不可能机器取代的工作是教育行业。上图中，红色部分越多，红色颜色越深，代表被取代的可能性最低。

虽然技术是自动化的一个必要先决条件，但是，要开展一个具有竞争力的商业实践，其他的要素也是必不可少的。其中包括开发和部署自动化所需要的硬件和软件的成本，以及劳动力的供需关系。从技术上来看，用昂贵的机器人来取代时薪10美元的厨师是可行的，但从商业上来看却是完全没有意义，因为成本高昂，但是却没能提供好的回报。

法规和社会议题也是重要的影响因素，在医院，很多病人完成手术醒来时，会希望由一位人类护士而不是机器人来照料自己。

在美国的职场，有近五分之一的劳动时间是关于体力劳动或者在可预测的环境中操作机器的。根据目前技术的发展水平，这些工作中，有四分之三都可以被自动化。制造业和餐饮服务业中的数据尤为突出，这些领域的工作受到自动化影响的可能性最大。

在工厂中，机器人已经在从事一些重复性的劳动，比如，产品组装和包装。而在餐饮业中，一些餐馆已经在尝试使用自助订餐甚至机器人服务员。

数据收集和处理也可以被自动化。在美国的所有职业中，从业者有三分之一的时间都花在搜集和处理数据上。不管是搜集数据还是处理数据，这两种工作都有着极高的可能性会被自动化，而这会影响到一些行业：零售、金融服务和保险。从业者并不一定会从岗位上退下，但是，他们的角色可能会发生非常大的改变。比如，抵押经纪人目前有90%的时间都花在了处理申请表上，以后，他们可能会有更多的时间用来为客户提供建议。

即便是一些高薪水的工作也会受到影响。并不是只有那些低门槛或者低薪资的职业需要搜集和处理数据。调查数据显示，年收入超过20万美元的人，会花30%以上的时间来做这些工作，所以，对于一些公司来说，把这一类工作自动化，是非常有吸引力的。总体看来，在薪资水平和自动化程度上来看，影响变量非常多。

目前为止，在不可预测的环境中，要求移动或者操作的工作对于自动化来说还是非常有挑战性的。一些例子包括在工地上操作吊车，在公共空间收垃圾，或者是在酒店整理床。最后这一项便是不可预测的，因为不同的旅客会把枕头扔到不同的位置，或者把衣服扔在床上，这让其仍人很难完成客房清洁服务。不过，这种情况很快会得到改变，在提升机器人在实际不可预测环境中的表现上，不少研究已经取得了很大的进展。

在今天可实现的技术条件下，最难进行自动化的工作是那些设计管理和培养人才的（自动化潜力为9%），在这些岗位中，专业知识被用于决策、计划和创意（自动化潜力18%），或者是与客户、供应商和其他股东进行沟通的工作（自动化潜力20%）。在这些工作中，经验和年龄通常是一笔无形的资产，具体的工作内容包括，写代码、设计菜单、写促销材料，或者是为消费者提供建议。

在医疗健康中，只有少于30%的注册护士的工作可以被自动化，而对于牙科保健员来说，这一比例降到了13%。在我们所调查的所有行业中，其中最不可能会被自动化的行业就是教育。教师的工作包含了一些深度的专业知识和复杂的人际互动，在这些方面，除了几个特例外，机器的表现还不能跟人相提并论。

机器可能会改变工作，但是不会完全地取代人类。对自动化的技术可行性的最佳分析不是看职位，而是看人类在这一工作上所花费的时间，以及使用现有的技术条件自动化能达到什么程度。

总的来说，我们发现，以现有的技术条件，只有5%的职业可以被完全的自动化。但是，如果从人类工作内容上看，有45% 都是可以被自动化的。此外，在所有的职业中，约60%的岗位中近30%的工作内容是可以被自动化的。

随着人工智能技术的进步，比如机器在自然语言理解的能力上逐渐达到人类的标准，从技术上来说，能够被自动化的工作内容肯定会越来越多。

自动化会从根本上改变公司组织。经理们面临的难题是，找到在组织中自动化可以在哪些地方发生影响，又有哪些地方可以释放价值。他们需要考虑的东西包括：用机器人替代人类劳动力的成本，以及改变工作场所面临的复杂性。最大的收益可能并不是来自人力成本的减少，而是通过更少的错误、更高的产出、更高的质量、更可靠的安全性和更快的速度带来的生产力的提升。

您可能也喜欢的文章：
Forrester：预计2025年美国将有1200万个工作岗位被机器人取代	永远不会被机器人取代的五种科技业工作	VoucherCodesPro：研究称20%的人愿与机器人性爱	2034年英国35%的工作可能被机器人替代——信息图	Travelzoo：机器人进入旅游业工作的深度调研
无觅

继上篇《 Activiti工作流的环境配置》

       前几篇对Activiti工作流进行了介绍，并讲解了其环境配置。本篇将会用一个demo来展示Activiti工作流具体的体现，直接上干货。

一、demo业务分析

       以HelloWorld程序为例。

      首先说一下业务流程，员工张三提交了一个申请，然后由部门经理李四审核，审核通过后再由总经理王五审核，通过则张三申请成功。接下来用Actitivi工作流来实现业务。

二、新建项目

        首先新建一个Activiti项目，目录结构如下。

三、画流程图

        在diagrams下新建一个Activiti Diagram：右击diagrams->new->others->Activiti Diagram

        然后画流程图：

         指派各活动节点的分派人：分别为张三，李四，王五。

四、配置环境

        引jar包，建数据库建表，配置日志文件，参考上篇博文《Activiti工作流的环境配置》

五、新建HelloWorld类

        配置好环境后，新建HelloWorld类，代码如下。

<span style="font-size:18px;">package cn.itcast.a_helloworld;


import java.util.List;

import org.activiti.engine.ProcessEngine;
import org.activiti.engine.ProcessEngines;
import org.activiti.engine.repository.Deployment;
import org.activiti.engine.runtime.ProcessInstance;
import org.activiti.engine.task.Task;
import org.junit.Test;

public class HelloWorld {
	
	ProcessEngine processEngine = ProcessEngines.getDefaultProcessEngine();
	
	/**部署流程定义*/
	@Test
	public void deploymentProcessDefinition(){
		Deployment deployment = processEngine.getRepositoryService()//与流程定义和部署对象相关的Service
			.createDeployment() //创建一个部署对象
			.name("helloworld入门程序")//添加部署的名称
			.addClasspathResource("diagrams/helloword.bpmn")//从classpath的资源中加载，一次只能加载一个文件
			.addClasspathResource("diagrams/helloword.png")//从classpath的资源中加载，一次只能加载一个文件
			.deploy(); //完成部署
		System.out.println("部署ID:"+deployment.getId());  //1
		System.out.println("部署名称"+deployment.getName()); //helloworld入门程序
		
	}
	
	/**启动流程实例**/
	@Test
	public void startProcessInstance(){
		//流程定义的key
		String processDefinitionKey ="helloworld";
		ProcessInstance pi = processEngine.getRuntimeService()//与正在执行	的流程实例和执行对象相关的Service
						.startProcessInstanceByKey(processDefinitionKey);  //使用流程定义的key启动流程实例,key对应helloworld.bpmn文件中id的属性值，使用key值启动，默认是按照最新版本的流程定义启动
		System.out.println("流程实例ID:"+pi.getId());
		System.out.println("流程定义ID:"+pi.getProcessDefinitionId());
	}
	/**查询当前人的个人任务*/
	@Test
	public void findMyPersonalTask(){
		String assignee = "张三";
		 List<Task> list = processEngine.getTaskService()//与正在执行的任务管理相关的Service
						.createTaskQuery()//创建任务查询
						.taskAssignee(assignee)//指定个人任查询，指定办理人
						.list();
		if(list!=null && list.size()>0){
			for(Task task:list){
				System.out.println("任务ID:"+task.getId());
				System.out.println("任务名称:"+task.getName());
				System.out.println("任务的创建时间:"+task.getCreateTime());
				System.out.println("任务的办理人:"+task.getAssignee());
				System.out.println("流程实例ID:"+task.getProcessInstanceId());
				System.out.println("执行对象ID:"+task.getExecutionId());
				System.out.println("流程定义ID:"+task.getProcessDefinitionId());
				System.out.println("############################################");
			}
		}
	}
	/**完成我的任务*/
	@Test
	public void completeMyPersonalTask(){
		//任务ID
		String taskId = "11402";
		processEngine.getTaskService()//与正在执行的任务管理相关的Service
						.complete(taskId);
		System.out.println("完成任务：任务ID:"+taskId);
	}
}</span>

1、部署流程定义

<span style="font-size:18px;">	/**部署流程定义*/
	@Test
	public void deploymentProcessDefinition(){
		Deployment deployment = processEngine.getRepositoryService()//与流程定义和部署对象相关的Service
			.createDeployment() //创建一个部署对象
			.name("helloworld入门程序")//添加部署的名称
			.addClasspathResource("diagrams/helloword.bpmn")//从classpath的资源中加载，一次只能加载一个文件
			.addClasspathResource("diagrams/helloword.png")//从classpath的资源中加载，一次只能加载一个文件
			.deploy(); //完成部署
		System.out.println("部署ID:"+deployment.getId()); //1
		System.out.println("部署名称"+deployment.getName()); //helloworld入门程序
		
</span>

       执行完后，4张表中的数据：

      1）act_re_deployment （部署信息表）

      2）act_re_procdef（流程定义数据表）

      3）act_ge_bytearray（二进制数组表）

       4）act_ge_property（属性数据表）

2、启动流程实例

<span style="font-size:18px;">/**启动流程实例**/
	@Test
	public void startProcessInstance(){
		//流程定义的key
		String processDefinitionKey ="helloworld";
		ProcessInstance pi = processEngine.getRuntimeService()//与正在执行	的流程实例和执行对象相关的Service
						.startProcessInstanceByKey(processDefinitionKey);  //使用流程定义的key启动流程实例,key对应helloworld.bpmn文件中id的属性值，使用key值启动，默认是按照最新版本的流程定义启动
		System.out.println("流程实例ID:"+pi.getId());//流程实例ID   101
		System.out.println("流程定义ID:"+pi.getProcessDefinitionId());//流程定义ID
	}</span>

         1）act_ru_execution（运行时流程执行实例表）

         2）act_ru_task（运行时任务节点表）

         3）act_identitylink（运行时流程人员表）

         4）act_hi_taskinst（历史任务实例表）

         5）act_hi_procinst（历史流程实例表）

         6）act_hi_identitylink（历史流程人员表）

         7）act_hi_actinst（历史节点表）

         8）act_ge_property

         从上图中可以看出变化，next.dbid的VALUE_值由原来的101变为201，REV_由原来的2变为3。

3、查询当前人的个人任务

<span style="font-size:18px;">/**查询当前人的个人任务*/
	@Test
	public void findMyPersonalTask(){
		String assignee = "张三";
		 List<Task> list = processEngine.getTaskService()//与正在执行的任务管理相关的Service
						.createTaskQuery()//创建任务查询
						.taskAssignee(assignee)//指定个人任查询，指定办理人
						.list();
		if(list!=null && list.size()>0){
			for(Task task:list){
				System.out.println("任务ID:"+task.getId());
				System.out.println("任务名称:"+task.getName());
				System.out.println("任务的创建时间:"+task.getCreateTime());
				System.out.println("任务的办理人:"+task.getAssignee());
				System.out.println("流程实例ID:"+task.getProcessInstanceId());
				System.out.println("执行对象ID:"+task.getExecutionId());
				System.out.println("流程定义ID:"+task.getProcessDefinitionId());
				System.out.println("############################################");
			}
		}
	}</span>

4、完成我的任务

<span style="font-size:18px;">    /**完成我的任务*/
    @Test
    public void completeMyPersonalTask(){
        //任务ID
        String taskId = "104";//运行时任务ID
        processEngine.getTaskService()//与正在执行的任务管理相关的Service
                        .complete(taskId);
        System.out.println("完成任务：任务ID:"+taskId);
    }</span>

       1）act_ru_task

       从上表中可以看出完成张三的任务后，张三的任务消失，李四的任务显示在表中。

        2）act_ru_identitylink

      从上表中可以看出多了一条李四的用户数据。

      3）act_hi_actinst

        从上表中可以看出多了一条李四的节点数据。

        同理act_hi_identitylink也会多一条李四的用户数据， ac_hi_taskinst多一条李四的任务数据。

        然后完成李四的任务，到王五同理；完成王五的任务后张三申请成功，同理，但是运行时表的数据会全部清除，act_hi_procinst的结束相关字段会更新。至此，整个申请结束。

        这是Activiti工作流的一个小demo，大家可以参照着实践一下。下面是本demo及更多demo源码下载的地址： http://download.csdn.net/detail/u013037201/9559857

问答网站最核心的内容是提供给优质的内容，如何让内容更加优质，处理分析大量的文本数据也是必不可少的工作。Quora有大量的文本数据，分布在Quora的数百万个问题、答案和评论中。不仅如此，还有大量的元数据来补充我问答，包括”赞”和”踩”，用户对话题的兴趣或擅长与否，问题和话题的关系，话题去重合并，用户的社交和关系和影响力幅射，以及用户在Quora的每一个操作历史。如此丰富的数据集让Quora能够从一个非常特殊的视角去看待如何用自然语言处理(Natural Language Processing NLP)技术去解决一些有趣并且有用的问题。这些问题主要集中在以下方面：

• 随着内容的增长，如何维持并改进我们内容的质量
• 让内容更加结构化，从而让知识的索引更简单
• 让社区保持稳定且健康。

让优质答案优先展示

为了让读者优先看到优质的答案，Quora给答案进行了评分，评分主要基于下面几个客观维度，书写风格，可读性，完整性，可靠性。

Quroa早期对于问答的排序是按照赞成和反对票数量的简单排名函数（百分比，或者差值），称其为基准线。虽然效果还不错，但是也存在一些问题：

• 时间相关：我们在答案收到投票之前无法排名。
• 马太效应：内容一旦收获投票，则更容易收获更多的投票。
• 玩笑答案：玩笑答案往往很热门，但是不见得对问题有任何帮助。
• 可发现性：新加入Quora的专家，可能没有足够多的followers，他们的内容无法被看到，导致她们的回答永远在后面，然后他们就更难获得followers。

Quora的排序方法：

Quora定义一个好的答案要拥有如下5个特性：

• 不能答非所问。
• 给任何对这个问题感兴趣的人提供可以复用的知识。
• 答案必须符合基本原理。
• 示范必须可信，基础事实必须正确。
• 清晰，易读。

上面的截图，我们看到了一个好回答的例子。注意框选区域，他们显示了可以用在预测中的结构化信息，例如，作者的可信度，格式，赞同票，等等。Quora还有很多作者和投票者的历史数据，来推断主题专业度以及可信度。

Quora在回答排序方法中使用的是非个性化supervised item-wise regression方法。使用的是监督学习，所以需要训练数据用来抽取特征，建立模型。不管问题如何被建模，都希望可以客观的验证模型。一个方法是使用A/B测试来验证模型，观察相关的指标。这通常被叫做在线验证。另外一种方法，离线验证，指的是模拟排名，然后用它们和一些已知的好的排名比较。离线验证显著优点是可以快速的迭代型。对于答案排序，选择了任何一个模型，都可以有最佳的表现， Quora专注于离线验证，因为Quora需要做的不是短期的优化用户行为表现，而是提供更高质量的产品。

创建一个好的数据集可能成本高昂，但是对在离线情况下验证排名算法极端重要。Quora使用很多不同的方式来了解答案的真实质量。例如，曾经考虑使用一个答案列表，用赞同票和反对票的比例作为标签。这可以作为构建一个基础信任数据的一个不错的起点。这样的数据有很多，因为Quora上有成百万的答案既有赞同票也有反对票。然而，这种标签的问题跟之前反对票标签会遭遇类似的问题。它会把一些非常流行，但是低质量的答案（例如，玩笑答案）排在前面。

另外一种其他人得到训练数据的方法是进行一个用户调查。调查页面可能会问用户是否觉得某个答案有用。结合用户正在看什么答案，以及他们未来参与等级如何，来推测这个信息。所有这些方法都有它们的长处和缺点，在现实世界的设定下，可能想尝试很多种有创意的方法，然后尝试把它们都结合到一个权威的基础信任数据集。

使用从训练集抽取的一组特征训练我们的模型。特征选取就是用一组函数把我们的例子转换成数值的流程。supervised学习设定下，特征选取是一个模型成功的主要贡献者，也常常是构建一个好的机器学习系统最难的部分。Quroa用对答案质量的直觉测试了大量的特征。尝试过的：基于文本的特征，基于专业度的特征，基于作者投票者历史行为的特征。一开始使用效果明显（高ROI，高投资回报率）的基于文本的特征，但是实验了一阵子，开始尝试更复杂的概念，比如 句法复杂度（syntactic complexity）。很重要的一点，我们期望我们的特征选取做的足够的好，但是文本特征实际上经常产生问题。Quroa最后组合特征，并且如果合理的话重用其他机器学习模型的输出。一个组合模型往往比单一特征更好，常常是提到性能的强大方法。例如，有一个模型尝试去估价一个用户对指定主题的专业度，从这个模型引出的特征结果非常有效。

为了解决通用回归（general regression）问题，Quora实验了几个模型：linear regression、logistic regression、random forests、gradient boosted trees、neural networks。很多都不错，特别是gradient boosted trees以及一些深度学习（deep learning）方法，非常不错。但是，Quroa很在乎的模型可解释性——任何时候，排名看起来不对，都想知道问题出在模型、特征、训练数据、或者还是其他的原因。大家都知道模型越简单，就越好解释。例如，线性回归就是一组特征的权重，但是神经网络可能有很多层，难以解释和可视化。而且从性能考虑，Quroa倾向于简单的模型。

问答作为一个机器学习问题一文中提到，寻找正确的度量是非常重要的。既然选择了point-wise排名方法，就需要关注很多高级度量，有一些是基于排名的，有一些是point-wise的。Quora使用如下的度量方式：

• 基于排名的：NDCG、Mean Reciprocal Rank、Spearman’s Rho, Kendall’s Tau
• point-wise：R2、Mean Squared Error

基于排名的度量给Quora关于算法的信息，同时point-wise的确保评分在尺度上接近训练数据，不同问题之间的答案也可以被比较了。

当用户在Quora加上了一个新答案，希望尽快在问题页面给这个答案排名，以提供一个平滑的用户体验。虽然预测的延时非常低，但仍旧需要为新答案计算一些耗时的特征，这种延时会损害加入答案流程的用户体验。所以，创建了一个单独的模型，仅基于那些容易计算的特征，为新加入的答案提供一个还不错的近似评分，来快速排名。一旦答案被添加后，我们会异步的计算一个更准确的评分。

在上百万个答案上实时排名是一个核心的挑战。问题页面可以包含数百个答案。想象一个系统使用数百个特征，需要上百毫秒去计算。问题页面可能需要10秒钟以上去加载。在这种情况下，答案的评分必须更快的产生，所以，把答案评分缓存起来，以便问题页面可以在合理的时间内加载完成。但是，缓存的问题是，如果任何一个特征值变了，我们就可能需要更新答案的分数。为了节约重新计算全部特征的时间，也需要保存全部的特征值。所有这些数据（答案得分、特征值），都保存在可以支撑大量的数据以及写入的HBase中。

缓存每个答案的得分带来的一个问题是，当一些问题或者用户的特征改变时，我们需要更新大量的答案。考虑一个可能有上万个答案的用户。如果依赖于特征，例如用户的答案数，那么每次他增加一个答案，我们就需要更新他全部答案的评分。答案多的用户，往往添加答案也更频繁，这就更恶化了这个问题。为了缓解这个问题的影响，需要把部分用户和问题的数据组织起来。然后，尝试批处理计算这些答案的分数，减少重复的计算。

以上一切，仍旧无法把更新量降低到一个可以控制的范围，所以，在决策树内部做了其他的优化。如果更新一个特征不会影响到答案的评分，我们就不更新它。以上全部的优化，把预测工作量降低了70%，模型在目前的规模下可以高效的运行。

总体上，模型生成的积分，比基准线准确得多。在全部的度量标准下，相比基准线提高了50%的效果，缩短了和完美排名之间的差距，排名质量看起来很不错。同时这些评分对很多基于好答案定义的应用都很有价值：

• 折叠答案。如果一个答案的积分太低，它可能是坏的内容，应该被折叠。我们现在还会在作者得到反对票之前，就提示他内容质量不够高，可能会被折叠。
• 高质量的通知。如果用户收到一个低质量答案的通知，那是一个非常坏的用户体验。
• 提高首页流的排名效果。

在这些改进的基础上，还有很多需要去做。例如，模型还不能个性化。也可以多花些精力放在用更高的技术来给回答文本建模。可以研究Recurrent Neural Networks，它可以处理词序列（早期实验结果很好）。或者，使用一个可以处理更多数据的模型。总体上，会把精力放在更复杂的自然语言处理（Natural Language Processing (NLP)）方法上，帮助我们理解问题和回答的语义。

自动纠正语法

因为Quora是在世界范围内进行知识的共享和探索，因此能让不同英语水准的人都能够在Quora进行写作。通过使用NLP，可以自动改进一小段话的语法或者可读性，而不改变它的意思。

关于自动语法纠正，我没有找到更多的资料。 Grammarly：在线语法纠正和校对工具是一个可以帮助用户自动校队语法，纠正英语句子的在线工具，你可以把自己的英文文本发送到该平台上，通过他们的庞大的数据库来帮助你检测和纠正文本中的错误。

问题重复检测

看到一个问题的各种花式问法是让人很心烦的，读者必须看很多页面才能找到答案，作者必须回答一个问题很多次。Quora希望能够有唯一的，规范的提问方式。为了达到这个目标，必须能够判断一个新问题是否已经在Quora有过类似的问题了，从而检测到问题重复。由于Quora有数百万个问题，重复问题检测是一个非常困难的挑战，如果还想在用户敲问题的同时，实时给出提示，则是难上加难。

相关问题提示

在问题有了答案之后，我们经常希望找到相关的问题或者后续问题。Quora的用户也是如此——人们喜欢通过相关的问题来发现新的内容。根据一个问题，寻找在Quora上已经存在的相关问题就是又一大NLP挑战。特别是在区分相关问题和重复问题的时候难度更大，因为这两者的区分特别小。

话题的专业背景质量

许多在Quora上回答问题的人都是某个领域的专家。质量系统需要很好的理解这些作者在这些话题上的专业性和权威性，话题的专业背景就是理解时的一个重要依据。通过话题专业背景，可以使作者在同一个话题内的答案，拥有相同的质量评分。比如说，在”机器学习(Machine Learning)”话题下的专业背景就包括：

• 应用统计学博士
• 本科学历
• Quora的ML工程师
• Montreal研究院学习算法负责人

这些背景表明了不同的专业性和权威性。不过仅仅通过话题专业背景来推测专业性就是一个困难的NLP问题。不仅仅因为专业背景字数非常少，往往少于100字，而且系统必须支持各种各样差距很大的话题，比如爵士音乐和火箭工程。

User Trust/Expertise Inference 这是Quora另一件非常重要的事情，Quora需要找出某个领域的专家，然后通过产品引导这些专家在这个领域里贡献更多的优质答案。Quora会考虑用户在某个领域里回答问题的多少，接收到的顶、踩、感谢、分享、收藏及浏览等数据。另外还有一个很重要的是专业度的传播效应，比如在推荐系统领域对某个答案顶了一下，那么这个答案作者在推荐系统领域很可能具备较高的专业度。

话题标定器

Topic是对一个主题内容的聚合，Topic在Quora的信息架构里面承载着极其重要的角色，是知识结构的骨架，Quora管这个叫做Topic Network，如何构建Topic Network本身就是一个非常大的挑战，另外还需要解决的问题包括，如何把Topic下（潜在）优质的问题发掘出来，以及如何把水问题降权和过滤/合并重复问题等。

Quora的话题组成非常的复杂，大到”科学”小到”山顶的网球场”应有尽有。为了给用户展示他们想了解的话题的同时也能展示给他们一些他们专业领域内却又没有被回答过的问题。为了能做到这些，需要给问题打标签。每一个新来的问题打上一个话题库里的已有的标签。这是一个非常困难的NLP问题，因为每一个问题只有一小段文字而已。

Quora花了很大力气来正确引导用户给内容打标签，持续不断坚持这项工作的好处开始逐渐显露出来了，他们发现

• 随着用户群体的扩大，Topic正在呈现出迅速多样化的势头。
• 很多领域都自组织出了相当不错的层级知识结构。

Quora相信这种依靠社群来组织领域知识的方式是可行的。

搜索

Quora的知识库是不断的增长的，因此搜索是很重要的。把NLP技术应用在信息检索领域的目的是为了更好的理解我们用户的问题和搜索词，并给问题，答案，话题以及用户背景排序。与传统的搜索引擎不同，传统的搜索引擎只需要简单的匹配关键字，而Quroa还需要支持用很长询问句作为查询语句。

问答摘要

数百万人都会在Quora上面写篇幅很长又很有深度的答案，这很普遍。但是，有时候读者只想大概的看一下答案，而不去了解所有细节，特别是在移动设备上访问Quora的时候。NLP挑战就是如何自动生成这些答案的摘要。这些摘要必须抓住整个答案的要领。目前Quora还没有问答摘要，但是Quora觉得这会对提升我们的用户体验很有帮助。

自动生成问答维基

尽管有些读者喜欢读一篇文章下的不同答案，更多的人还是希望能快速的找到答案，然后去做别的事情。作为问答摘要的扩展，另一个NLP问题的挑战就是如何为整个问答页创建维基页。比如，能够处理和总结一个问题下面所有的答案所代表的不同视角，并且整理成一个方便阅读的格式。这比仅仅生成问答摘要还要难的多，但是Quora对解决这个问题非常感兴趣。

负面情绪检测

Quora是一个文明互助的社区，并不排斥直白，但是反对侮辱和消极的信息。使用NLP技术快速的检测到那些粗鲁低俗的语言，并且快速的除掉它们。

垃圾信息检测

Quora能帮助用户快速的发布他们的内容，同时这也意味着很多垃圾网站会利用平台发布垃圾信息来给他们的网站导流。因此垃圾信息检测是NLP工作中的一个重要应用: 无论是问题还是答案，我们都会自动识别出他们是不是垃圾信息。尽管支持个人或者公司在Quora上推广产品，但是垃圾信息和自营销是有着微妙却又十分重要的区别的。

问题编辑质量检测

在Quora，允许社区里的任何人改进一个问题的措辞。有时候用户对问题的修改会导致问题的含义发生变化，有时候甚至会有人进行恶意篡改。判断一次修改是否是对一个问题的改善，让问题更清晰或者至少不改变原意也是一个困难的NLP挑战。Quora正在解决这个问题。

将问题推荐给用户

在问题推荐上，Quora主要考虑三个因素：Relevance（关联度）、Quality（质量）和Demand（需求）。Quora核心的数据模型及其之间的关系：

Quora做推荐的一个最核心问题就是Personalized Feed Ranking。Quora是以问题、答案与主题为核心把「知识」串联起来，然后基于用户的顶和踩等动作来划分内容质量，最后再通过人和问题的Follow关系让知识在社区内流动起来。而个人Feed正是这种「流动」的最主要的载体。Quora Feed Ranking的首要目标是确保推送进用户Feed的内容应该是和用户兴趣高度相关的，其次还需要考虑的包括用户之间的Follow关系以及互动，另外还有时间因素，比如一些和热点事件相关的问答，也应该及时地推送进用户Feed。即：Present most interesting stories for a user at a given time

• Interesting = topical relevance + social relevance + timeliness
• Stories = questions + answers

Quora主要使用的是个性化的learning-to-rank方法，相比于时间排序(time-ordered)，相关度排序大大提升了用户参与度。但也同时面临的挑战：

• potentially many candidate stories（太多潜在信息）
• real-time ranking（实时性）
• optimize for relevance（关联优化）

下图是Quora做Feed Ranking最最基础的数据构成，Quora管这个叫做「impression logs」。

围绕这些基础行为，Quora定义的Relevance函数如下：

简单讲就是使用一个「行为加权函数」来预测用户对一个story的感兴趣程度。有两种可选的计算方法，一种是把所有行为弄到一个回归模型里面直接预测最终值，另外一种就是先分别预测每个动作的可能性（比如顶、阅读、分享等）然后再综合起来加权求和。第一种简单，但可解释性稍差，第二种可以更好的利用每个动作信号，但需要给每个动作配一个分类器，计算消耗大。Quora主要使用的三类模型如下：

Quora最主要的特征包括：

• user (e.g. age, country, recent activity)
• story (e.g. popularity, trendiness, quality)
• interactions between the two(e.g. topic or author affinity)

从整体框架来看，Quora的Feed Ranking也没有什么太特别的地方，基本上也是业界的标准打法。Quora比较特别的是它的数据模型相对其他网站更复杂，之间的关系也更多样化。比如从用户角度看，既可以follow其他用户User，又可以follow问题Question，还可以follow主题Topic。Follow用户接收到的信息范围更广也更多样化，惊喜内容很可能就是来自于自己关注的有趣的用户，但也可能最容易制造不相关的内容噪音，这块的最重要工作是用户专业度的评估。

将用户推荐给问题

Ask2Answers是Quora产品里面非常重要的一个功能，本来Quora是可以直接把相关问题推荐给系统认为的合适的回答者的，Quora最开始也是这么做的，但系统自动做这事儿显然不如发动群众人肉邀请回答来得感觉好，Ask2Answers 操作增强了仪式感，让被邀请者有种被人需要的感觉，心理上很满足，另外这也是一种社交动作，社交的精髓之一就是为用户制造「装逼」的便利，回答问题前很随意的「谢邀/泻药」，一切尽在不言中了。

这个功能看似很简单，Quora也是下了功夫的，Quora把A2A这事model成了一个机器学习问题：Given a question and a viewer rank all other users based on how 「well-suited」 they are。其中

「well-suited」= likelihood of viewer sending a request + likelihood of the candidate adding a good answer

既要考虑浏览用户发送邀请的可能性，又要考虑被邀请者受邀回答的可能性。Quora的blog上也有一篇文章详细讲解了他们的做法。

识别问题与时间的关系

Quora主要研究成果如下：

• 识别特定时期内与当时事件紧密相关的单词，其中的主要挑战是处理问题集中的自然语言数据。通过选定恰当的问题集合，并关注特定词性的单词，他们使用标准NLP技术TF-IDF获得了一个令人信服的单词集合。
• 综合运用专门为自然语言数据而设计的统计检验和基于图的聚簇技术，他们可以发现能够强有力地代表特定Quora历史时期的单词语境。这样，关于一个单词为什么对于特定的历史时期而言非常重要，他们就能够自动提取更多的信息。
• 他们还能够识别出这些语境如何随时间演进，而这可以让他们从Quora的讨论中看到更广泛的世界中人、企业和事件的关系。

按季度识别最有代表性的单词

由于他们最感兴趣的内容是提问者所提的问题是关于什么主题的，所以他们使用词性标注来过滤问题文本中的关键词，并且只保留名词。此外，考虑到不同国家的人有不同的背景、文化和兴趣，他们根据提问者的国籍划分了问题集合。选取最有代表性的单词有许多方法，最简单的是根据词频排序，但这种方法无法排除常用词。为此，他们选择了TF-IDF方法。在具体实现上，TF为单词在特定国家特定季度的非匿名问题中出现的次数，IDF为单词在特定国家所有问题中出现的次数，减去该单词在特定国家特定季度的非匿名问题中出现的次数，公式如下：

其中，Q表示特定季度，W表示特定单词。该方法可以提供合理的结果，但为了提高所识别出的单词和当时事件的相关性，他们对识别出的单词进行了进一步的过滤。例如，只保留在特定季度里至少被三个提问者使用过的单词。另外，去掉NLTK中定义的停用词以及在NLTK Brown语料库中出现超过10次的单词。下图是进一步过滤排序后生成的一个“单词云（word cloud）”示例：

在2011年，Quora刚刚在硅谷成立，最具代表性的单词大多数与重大技术和政治事件相关。例如，近场通信（NFC）服务推动了移动支付的广泛应用，人们在预测Groupon、Zynga和Yelp的IPO，等等。

代表性单词的语义语境

对于单词云中的单词的代表性，有的很容易解释，有的并不明显。为此，他们基于单词共现频率设计了一种自动提取单词语境的方法。与生成单词云的过程相比，他们使用了一个更大的单词集合：去掉了停用词，但并没有去掉名词之外的其他单词，也没有限制单个提问者使用某个单词的次数。他们按照如下条件对单词对进行了过滤：

• 最少共同出现了4次；
• 共现次数超期望值，即
• 随机共现的概率小于5%。

其中，N _AB为单词A和B实际的共现次数，N为非匿名问题的数量，N _A（N _B）为出现单词A（B）的问题的数量。使用这些规则，他们构建了一个图，顶点表示单词，边连接满足上述条件的单词对。对于每条边，他们使用下面的公式赋予一个权值：

通过这种方法，他们识别出图的连通部分，并命名为“语义簇（semantic clusters）”。那些包含最有代表性单词的语义簇是他们重点关注的。下图是一个语义簇示例：

美国，2011年第2季度 该语义簇表示，Facebook在2011年6月推出了研究Facebook社交图谱的工具 Graph API Explorer。

单词关系随时间演进

在生成单词语义簇之后，他们进一步研究了单词语境随时间的演进。他们从多个季度中选取了最具代表性的单词，他们称为“关注词（focus word）”。对于每个单词A及每个与A关联的单词B，他们使用前文定义的f（A，B）计算两者在2012年到2015年之间不同季度里的共现频率指标。接下来，他们就使用这些值分析单词之间关联关系随时间的变化情况。下图是一个单词语境演进示例：

可以看出，在2012年总统大选之前，Barack Obama经常和Mitt Romney一起被提及，而在2013年8月前后同Syria相关的问题更显著了。总之，他们使用NLP技术分析问题文本，提取最有代表性的单词，并使用单词云的形式将它们可视化。然后，他们使用语义聚簇方法识别出相关度较高的一组组单词，即语义簇。最后，他们分析了一个单词的语境如何随着时间变化。

参考链接：

• https://engineering.quora.com/Applications-of-NLP-at-Quora
• https://engineering.quora.com/A-Machine-Learning-Approach-to-Ranking-Answers-on-Quora
• https://www.quora.com/What-does-a-good-answer-on-Quora-look-like-What-does-it-mean-to-be-helpful/answer/Quora-Official-Account
• https://engineering.quora.com/Ask-To-Answer-as-a-Machine-Learning-Problem
• http://www.slideshare.net/xamat/machine-learning-for-qa-sites-the-quora-example
• https://data.quora.com/The-Quora-Topic-Network-1
• https://data.quora.com/Mapping-the-Discussion-on-Quora-Over-Time-through-Question-Text

文：吴迪（心理咨询师/两性关系专家/恋爱训练营创办人）

从2008年开始，来自中国 民政部与法院的统计表明，在所有离婚案件与诉讼中，女性提出离婚的比率高达70%-80%。这个数字，颠覆了我们之前对于传统婚姻中女性逆来顺受的认知。北上广等发达地区的都市女性是城市离婚率推高的“主力军”，这些女性有以下特征：学历高，收入高，离婚率排在前三位职业的分别是专业人士，白领，企事业单位负责人。

要去法院诉讼，无非一个想离一个不肯，或者条件谈不拢。婚律师们的反馈是：女性当事人主动提出离婚的越来越多，而男性当事人以消极和被动姿态来面对不和谐婚姻的也越来越多，这样的案件在受案中比例达到60%以上。

女人是感情动物，对婚姻的期望值远远高于男性（且不论这种期望是否现实）

女人比较敏感，更容易意识到夫妻间的裂痕。对那些经济收入不错的女性来说，离婚了自己照样可以过得好，更容易提出离婚。

我的心理咨询室也来过很多闹离婚的夫妻，女人想离，男人不肯的。男人不肯离婚有以下几个原因：

1.  他不理解妻子为什么要离婚？我们没有原则性问题（通常指家暴、出轨、黄赌毒和欠债），过日子不就是这样吗？对女人提出的离婚理由诸如“没有爱情了、婆媳关系不好、没有共同语言、你没有情趣、价值观不同、性生活没有快感、你不够关心我……”他们表示听不懂。

2.  结婚成家是他个人成功的总要组成部分，离婚是人生的失败。

3.  结婚成家花了他和他父母很多钱，一旦离婚，分割财产，经济损失惨重。

4.  哪怕男人平时陪孩子的时间很少，他也认为妻子获得了监护权会让他彻底失去孩子。

5.  应对不和谐的婚姻，可以拼命地投入工作，尽量晚回家不回家。还可以用出轨和嫖娼找慰藉。所以，就不必离婚了，凑合过呗。

6.  离婚了，以后还要再找，麻烦；还要再结一次，费钱。

而我的女性咨客中，更多的还是犹犹豫豫不想或者不敢离婚的，我发现她们来找我，其实就是想让我以心理专家的角度，给她们一个不离婚的理由！那些直接上法院提离婚诉讼的女性，就不需要来跟我要理由了。

我做两性关系的心理咨询13年了，很多婚姻不幸福的女人来跟我哭诉，她们喜欢说这么一句话：“我们也没有什么原则性的问题，就是性格不合经常吵架……（或者是性不合，长期的无性婚姻；或者是三观不合；或者是跟对方的父母不合；或者是不能忍受对方失业、收入降低、没有上进心等等。）

听了她们的叙述，我很疑惑，婚姻已经千疮百孔，却还要说没有原则性问题，那么到底什么才是原则性的问题才会下决心离婚呢？12年、接待过上千的咨客，我总算明白了，她们所谓的原则性问题是：

1。男人出轨，情节特别严重，比如小三打上门来挺着肚子逼宫（即使这样很多大婆也坚决不离，说是不能便宜了狐狸精）。

2。男人在外欠了大额的债，比如高利贷，还要卖房子。

3。男人虐待老人和孩子。

4。男人动手打老婆（我有个咨客被老公打了想离婚，她妈还劝她忍忍呢）。

反正都是有可能要报警的事情。我常常感慨我们中国人对婚姻的依赖度实在是太强了，一定要发生那么可怕的事情，才觉得可以理直气壮地说出来去离婚。

而更多的折磨人的婚姻的问题，是不足以对他人道的，所谓鞋舒不舒服只有脚知道。很多咨客喜欢以这样一句话开头说她们自己的婚姻：“在别人的眼里，我们是很好的一对夫妻……”我每次都打断，不要说在别人眼里，没有意义，说你自己的真实感受。

真实感受1：结婚前他就不喜欢我碰他，比如坐飞机磕睡我把头枕到他肩膀上他都觉得不舒服，结婚后平时外出我拉他手会被甩开。怀孕后就停止了性生活，现在孩子都1岁了。我们睡在一个被窝里，可是他不喜欢我碰到他。我只有30岁，这是要我一直守活寡吗？

真实感受2：他是农村出身，小时候特别苦，养成了非常节俭的习惯，他认为我乱花钱，在他面前我有一万个错。我们家不可以用微波炉，他说有辐射伤害身体；孩子坚决不可以吃麦当劳肯德基，他说有害身体；毛巾用到烂了还是不可以换，他说浪费；我给他买新衣服他会光火，他说浪费……我在外面好好的一个人，一回家就里外不是人。

真实感受3：他原来工作一直都不错，40岁那年在公司里遭遇了政治斗争被排挤出去了，从此一蹶不振。失业后也不再努力去找工作，各种借口，在家炒股票做点理财，可是也没有赚到钱。他才45岁，难道就这样退休了？我不能跟他提找工作的事，提了他就会炸锅。

真实感受4：我婆婆非常强势，她有我家的钥匙，想来就来。她不许我们雇阿姨，我要生孩子了，想用月嫂也不行，她要来带。我们的房子是婚前老公的父母全款买的，房产证上没有我的名字。婆婆想住过来，老公不敢反对，因为，这是她的房子。

很多很多这样不足为外人道的婚姻折磨，说给别人听，得到的千篇一律是劝解：“好啦，忍忍就过去啦，这些都不是原则性的问题……”跟别人说不得，说不通，得不到理解和支持，所以要花钱来跟我这个心理咨询师说。

我告诉她们，你们说的都是原则性问题！ 性不和谐，价值观严重冲突，生活习惯严重不合，无法有情感交流，对方丧失了在社会上谋生立足的能力，父母严重干涉儿女的婚姻生活——这些都是天大的原则问题，分分钟导致离婚。

婚姻都糟糕成那样啦，为什么还不打算离婚？理由很多啦：为了孩子，为了父母，为了别人的眼光，为了男人赚钱比自己多，更害怕离婚后也没有更好的选择。她们中大多数收入比老公低，部分是全职太太；但是也有收入比老公高的，依然很依赖婚姻。所以在咨询的时候常常是这样的：前一分钟她痛哭流涕控诉老公的种种不是；后一分钟说到要不要离婚，她马上为老公辩护 “他对家庭还是很负责任的，钱都给我，对孩子也好，对我父母也不错……”

我说：好，我支持你不离婚。你就不要在家天天抱怨，天天喊离婚了。你说他不挣钱，那么他做家务吧带孩子吧，就用钟点工男保姆的工资来计算他对家庭的贡献吧。他爱孩子吧？好，父亲的爱也不是你能替代的。这样算下来，你心平了吧？既然不肯离婚，就请放低对丈夫的期待。

即使男人触碰到了所谓的原则性问题，出轨（甚至多次出轨），很多妻子也是不敢不肯离婚的。她们来咨询其实是为了让我支持她们不离婚的决定，因为承认自己对丈夫毫无办法对现代女性是一件很丢脸的事情。做心理咨询不是去教育这些女人“你应该自立自强，你应该争取男女平等，你应该……”我支持你的所有决定，只要你能自圆其说。我要提醒你的就是你们夫妻关系以后可能的走向：信任丧失，貌合神离，除了事务性的交谈再也没有知心话可讲，性生活冷淡（因为你不相信他，甚至恨他怨他）；小三可能找上门，甚至大着肚子找上门……你老公有多少财产你清楚吗？有多少是你们夫妻共有的？他不想离婚是外遇不够好还是怕分家产？

很多妻子都是婚姻中的弱者，因为她们婚前就是找“比我强的男人”，而强者就有了出轨的底气，加之中国现在的大环境男人能挣钱就是王道，外遇被看成男人“本事”的一部分，被男人们广泛认同。这些的大环境，非我一个小小心理咨询师能怎么样，我的工作就是帮助那些不敢离婚的怨妇排遣一下不良情绪，而她们的老公是不会到场的。