面试官如何判断面试者的机器学习水平？

显示全部楼层 · 2021-10-4 09:12:25

作为一名新晋菜鸟面试官，最近替部门面了3、40个人(大多来自国内top5学校，包括校招社招)，小小总结下我的相人之术，希望能帮上大家

/* 先插个话，本题的答主中，有我非常膜拜的真大神，也有掉书袋的教条主义者，对后者，我有一言相劝

面试官的水平（而非面试者）决定了面试的上限，所以当面试者水平超过你时，承认被碾压、虚心接受就好，并适时向对方学习，而不是拿那些条条框框的应试题来恶心人

*/
----------------------
面试别人时，我主要遵循『两原则』和『三方面』
『两原则』指：

『三方面』包括：

----------------------
把三方面展开：

选择性提问

兴趣

背书是没用的，这里任何一个点我都可以给你展开问下去

全部手敲

【代码能力】

遇到大神会认真学习一个哈哈

【项目能力】

最后，我会问面试者：『有没有我刚没问到、但你特别想分享的项目经历』。此问题是给面试者一个展现自我的机会，同时也是挖掘出之前遗漏的问题。

以上问题能答完美的，请私信我~

我向你学习哈哈

------------补充---------------

绝不是拿来push面试者制造权威

小玉小玉俸 · 2021-10-4 10:22:26

作为一名新晋菜鸟面试官，最近替部门面了3、40个人(大多来自国内top5学校，包括校招社招)，小小总结下我的相人之术，希望能帮上大家

/* 先插个话，本题的答主中，有我非常膜拜的真大神，也有掉书袋的教条主义者，对后者，我有一言相劝

面试官的水平（而非面试者）决定了面试的上限，所以当面试者水平超过你时，承认被碾压、虚心接受就好，并适时向对方学习，而不是拿那些条条框框的应试题来恶心人

*/
----------------------
面试别人时，我主要遵循『两原则』和『三方面』
『两原则』指：

『三方面』包括：

----------------------
把三方面展开：

选择性提问

背书是没用的，这里任何一个点我都可以给你展开问下去

全部手敲

【代码能力】

遇到大神会认真学习一个哈哈

【项目能力】

最后，我会问面试者：『有没有我刚没问到、但你特别想分享的项目经历』。此问题是给面试者一个展现自我的机会，同时也是挖掘出之前遗漏的问题。

以上问题能答完美的，请私信我~

我向你学习哈哈

------------补充---------------

绝不是拿来push面试者制造权威

ty847 · 2021-10-4 21:45:22

首先这个问题问的很广。机器学习方向很多，有些更偏重于传统的统计模型或者数据挖掘，而有些更倾向于深度学习。同理，相对应的岗位有些偏重理论也有些偏重实践。这些因素叠加造成了机器学习相关的岗位分布广，如数据分析师、算法工程师、机器学习科学家和数据科学家等，很难一概而论。
大概从实习生的时候就开始跟着老板招聘面试机器学习方向的候选人，参与了40个左右求职者的技术面试。其中有在读的研究生(实习生岗位)，也有已经工作了多年或者学术背景深厚的名校博士(相对高级的“科学家”岗位)。
不谈具体岗位的前提下，我想回答以下几个问题: 1.为什么要避免学科性的偏见 2. 如何测试面试者的知识广度 3. 怎样测试面试者的知识深度 4. 为何需要确认基本的编程和数据分析能力 5. 怎么提高机器学习面试成功率
<hr/>1. 避免学科间的偏见与歧视

机器学习作为一个交叉广度大，各学科融合深的学科，各种背景的面试者都有。我建议一定不要预设立场，无论是数学、统计、物理、计算机，或是其他学科的面试者都有独特的知识储备。比如机器学习其实和统计学习有很大部分是重叠的，甚至和优化(如运筹学)、数学(线代等)也有很多相关的地方。而不同领域的人对于同一件事情的描述可能是相似但不相同的，甚至连叫法都不同。举个简单的例子，统计学将变量叫做predictors而机器学习倾向于将其叫做feature(特征)。我听说过很多面试官就因为对方不能完全的使用他能听懂的术语就拒掉了候选人，我觉得这个是愚蠢的。
以我们团队为例，我的老板是统计学博士和教授(偏计量)，而我是纯粹的计算机科学出身。他喜欢用R来建模而我只擅长Python和C++。但正是这种差异性让我们可以更好的合作，他在无监督学习中很喜欢用各种密度分析(density estimation)或者对分布直接进行拟合，而我可以给他介绍很多机器学习方向比较流行的算法，比如Isolation Forests。同理，Python和R都有各自擅长的领域，比如Python做时序分析的难度就远远大于R，因为R有非常成熟的package。
因此，我们不要因为领域不同，叫法不同，编程语言不同，或者模型的解释思路不同就轻易的否定一个面试者。长此以往，我们的思路会越来越窄，而一定程度的包容能拓展思路。
2. 通过广度测试划定面试者的知识面

机器学习的项目一般都牵扯数据处理，建模，评估，可视化，和部署上线等一系列流程，我们希望面试者对于每个步骤都有最基本的了解。因为其范围很广，我们希望首先在短时间内了解一个面试者的知识范围。有很多基本但经典的问题可以用于了解面试者的素质，给出一些例子:

以如何处理缺失数据为例，可能的回答有：1. 分析缺失比例决定是否移除 2. 用均值，众数，回归代替 3. 用0代替等。比如深度学习是否比别的模型好，我们就期待面试者能说“分情况讨论”，若是能提到“没有免费的午餐定理”更是加分。在这个阶段，我们不会深入追问，仅想对面试人的知识范围有一个了解。
这类问题的共性就是无论你是在校学生还是资深科学家都应该有一个基本的水准在，不过没有必要百分之百的回答正确，因为本身很多答案都没有标准答案。大部分时候，这个环节我们对于是否录用这个人就已经有了答案。如果面试者答错或者不知道其中百分之八十的概念，录取的概率就很低了。
3. 根据岗位和求职者背景进行深入挖掘

在经过上一阶段以后，我们已经对求职者的素养有了大概的判断，下一步就需要进行深入了解，一般根据两点进行追问:

面试者的背景

所面试的岗位

进入这个环节其实就已经没有模板了。假设我们现在要为保险公司招聘一个机器学习工程师来自动化&#34;骗保检测&#34;，我们的求职者是一位计算机系刚毕业的硕士生。那我们可能深入询问的话题包括:

这一类问题的特点是随机应变，一般都是在一个方向上深入。比如其他答案提到的L1和L2正则化，我们可能希望面试者在白板上画图介绍为什么L1可以得到稀疏解，以及和嵌入式特征选择有什么联系。这一类问题我们不期待求职者完全答对或者讲得清楚无误，我们同时也想观察其在压力和追问下的心理素质。因为整个过程中肯定会有一些知识盲点，我们会尽量避免尴尬的气氛，所以作为求职者不必过分紧张。同时，通过和面试者一起了解他/她曾做过的项目，可以看出其对于这个专业的兴趣 -- 兴趣是很难演出来的。
在这个环节，如果一个面试者可以有能力进入深入交谈，甚至提到一些我们从来没想过的思路，都是加分的表现。
4. 基本的编程能力和数据挖掘能力

机器学习岗位，不管你是统计出身还是计算机出身，都避不开建模的过程，因此基本的编程能力是必须的。一般对于数学或者统计学出身的面试者，我们会额外给出一个简单的小程序测试。这种小程序可能简单如将读取数据后并保存为矩阵。这倒不是因为我们喜欢没事找事，而是因为机器学习太容易成为纸上谈兵，而从业者缺乏最基本的编程能力。
相似的，我们也希望面试者谈谈从模型中可以得到什么结论。我们曾把Kaggle上泰坦尼克的那个数据集处理过以后，让面试者谈谈幸存率到底和什么有关，如何分析。同样的，我们不追求完美答案，只是希望看到求职者可以解释一些简单的模型结果，从中攫取商业价值。
5. 让面试者有所收获 & 如何准备机器学习面试

面试不该是一场单纯的考试，在参加面试的过程中，也是一个学习过程。抛砖引玉，对于机器学习的岗位面试我有几点小建议:
5.1. 根据岗位，准备一份项目策划书。这个乍听下来有点虚，但我曾无数次使用这个小技巧得到良好的面试反馈和机会。假设你今天面试的岗位是我提到的保险公司的反诈骗组，那么如果你可以写一个如何使用机器学习进行反诈骗的项目策划书。这个过程对于面试者也是一个练习: a. 阅读论文和新闻收集材料的能力 b. 总结分析的能力 c. 总结的能力。
以我曾经面试过的一个人力资源相关的岗位为例，我准备了一份如何用机器学习来进行员工离职预测的策划书(中间省略掉了几页并马赛克处理了敏感的地方)：

面试官如何判断面试者的机器学习水平？-1.jpg

在策划书中，你可以分析项目需求，提出相关解法，并建议后续计划和列出相关文献。这样的行为不仅可以让雇主看到你的诚意，并看到你的的领域知识和独立分析问题能力。
在适当的时机(比如开始面试的时候或者谈到岗位职责的时候)，你拿出准备好的策划书，开始谈你的思路。这种做法我曾做过几次，效果都很惊艳，因为反被动为主动，从被考察变成了讲解你所了解的知识。作为一个面试官，如果被面试者能做到这个程度，我会在内心对录取他比较有信心。
5.2. 真诚并且实事求是
大家都是理工科出身，行家一出手便知有没有。在这种技术性比较强的学科，完全没有必要假装自己了解一个知识点。同理心告诉我们，大部分人都有知识盲区，我们不期待完美的回答。当你真的不知道一个问题的答案时候，真诚的希望对方能讲得更明白或者承认自己不太了解。
如果你假装自己很了解一个不明白的领域，我们一般会问的更深入。你成功的引起了我的注意，那个时候就真的收不了场了。相似的，简历上请真的不要夸大其词的描述自己的经历。我见过很多人只用过Naive Bayes就在简历上号称自己是机器学习专家，我现在还记得他被面试到面红耳赤的样子。在这个浮躁的年代，对于高薪的机器学习岗位，希望大家都能守住最起码的诚信底线。
5.3. 确保自己对基本的概念有所了解
再一次，保证对基本知识的了解(有基本的广度)是对面试者自己和面试官的尊重。什么程度就算基本了解呢？我的感受是：

其中每一条都说来简单，但都是血与泪的过程，请勿操之过急。如何就能保证自己有了足够的基础知识呢？我觉得能基本看懂周志华老师《机器学习》的前十章，并相对熟练的使用Sklearn中基础的API进行建模就可以了。也请勿矫枉过正，如果你面试的岗位不是理论性科学家岗位，不要和数学推导死磕。这也是为什么我说写一个项目策划书很有帮助，在查阅文献和总结的过程中，你对想要面试的领域有了更加深刻的了解，有助于提高信心和知识。
5.4. 享受面试
请不要把技术面试当做一场噩梦，或是一个难关。作为一个冉冉升起的新领域，我们大家都是这么一路摸爬滚打过来的，至少我自己是很理解这一路的不容易。
因为机器学习领域的人才稀缺，一般而言你的面试官的时间都是很宝贵的，即使你最终没有通过面试，请抓住机会从他们身上有所学习的机会。从我的角度来看，你不仅可以借此发现自己知识点上的缺失，也可以听到在特定领域的流行的算法和模型，这些都是从书上很难学到的。如果你为了准备面试还阅读了相关领域的论文和总结，那我想来面试这件事已经远远超过了你是否被录取的意义。
路漫漫其修远兮，吾将上下而求索。与君共勉:)

生物张卫华 · 2021-10-5 07:30:36

这个问题太好了！记得这大概是个三年前的问题，每年都会有新的答案让我持续学习。三年多前我作为最早的机器学习工程师之一加入 Tubi，从零开始设计招聘题目和流程，搭建团队，陆陆续续也面试了大好几百次了。这里的答案大多聊的是常见的机器学习面试题目，我提供一个不一样的角度，从业务负责人的角度聊聊如何根据业务需要设计题目，大家也可以反向思考，查缺补漏。
招1个人 != 招10个人

很多同学的角度都是从面试官的角度来出发的，想着就是招一个人，面几场试。但当你从团队负责人的角度出发，要填满大量的业务需求，来设计面试流程和题目的时候，思考角度就会完全不同。这中间有大量的取舍，甚至一些决策很不优雅，但这都是为了规模化和自动化不得不做的放弃。

面试官如何判断面试者的机器学习水平？-1.jpg

面试题目需要淘汰人，越早越好

招聘是个非常贵的流程，我们举一个湾区常见两轮技术面+现场面试的转化率简单计算，录取一个人要让接近20个人进入面试流程。

steps	conversion rate
hiring manager call	80%
tech screen 1	60%
tech screen 2	60%
onsite	40%
offer	40%

conversion	4.6%

面试官的时间是很贵的，我们更愿意保护面试官的时间，减少面试，也不愿意让更多可能不合适的人进入现场面试的阶段，浪费大家的时间。这里有个 precision 和 recall 的平衡，precision 的重要性远大于 recall。
所以面试题目的设计，特别是技术面的题目，与其说是招到合适的人，不如更精确的说是剔除可能不合适的人，越早越好。什么样的题目适合剔除人呢？一定是有明确答案的题目，这样的题目可以是理论题，可以是数学题，可以是代码题，可以是系统设计题，但一定不能是开放讨论式题目。一定要是如果答案是A就过，如果不是A就淘汰，或者设计成类似分数的系统。
precision 和 recall 是不可能兼得的，很多时候筛去了一些可能合适的候选人我们也很惋惜，但更多的时候犹豫一下让候选人进入现场面试表现不好，反而耽误大家更多的时间。
团队需要 != 最像我

面试官往往都有些幸存者偏差：我都是面试官了，像我这样的是最优秀的，我会的候选人就应该会，我要以我为模版招人。

面试官如何判断面试者的机器学习水平？-2.jpg

https://zhuanlan.zhihu.com/p/30884978

从团队的角度来看，这其实是非常糟糕的思路。每一个团队业务非常广阔，每一个人的专精方向也不一样，多面互补对于一个团队来说是一个更好的状态。
从面试题目的设计上，要分清楚什么是基本要求，什么是加分项。
基本的要求要抽象出是能完成在团队中做机器学习最基础的技能，比如代码、调参、常见优化的方向等等，不需要很深入。更重要是要抛弃“我认为什么是重要的”，而去思考“团队工作日常需要什么技能”。从这个角度来看可能日常需要的技能比你想象的要简单基础的多，那面试就应该更关注这些技能。
在加分的问题中除了深挖，更可以抛出一些自己在实践中难以解决的问题，看看有没有什么妙招，有时候有额外的惊喜。
最大的难点是面试官

面试官其实是整个面试流程中最稀缺的资源。一是面试官的时间很宝贵，面试会占用大量工作的时间。二是每个面试官的工作背景、喜好、评价标准都可能不一样，这个必须靠制度和流程的设计来保障相同。

面试官如何判断面试者的机器学习水平？-3.jpg

实践中我们会经常与各个面试官沟通，讨论题目的评价标准，定期回顾最近的招聘反馈，研究转化率，看一看哪一位同学做的好与不好，确保每一位面试官表现都类似。
题目的设计上也会确保题目不能太偏，每一位面试官都能完成基础知识和深入理解的衡量，同时题目必须有明确的回答标准，什么的答案可以过，什么样的答案是红标，都需要明确的写下来。
Tubi 的面试实践

根据这样的理解，Tubi 的机器学习面试流程设计大概如下（可能会变更）：
技术面一：简单的 Python 代码实现，大概不超过10分钟。一些概率统计，机器学习理论。总体上非常基础，目的是淘汰掉完全不会写代码，或者只懂 Buzzword 的人。
技术面二：给出一个真实的数据集，需要使用常见的机器学习包，比如 sk-learn, pandas, numpy等等，抽取特征，训练模型，衡量模型。现场一个小时，过程中允许 Google API。
现场面试：还有一轮代码，与技术面二类似。剩下的大概两三轮基本上都是机器学习的实际应用，比如让你设计一个推荐系统，设计一个视频广告去重系统，怎么做，比较关注的方向是比如指标的设计、关键系统部件的设计（提出可以用 end-to-end deep learning system solve everything 的都直接淘汰）、迭代的思路等等。这几轮主要是非常资深的工程师/经理/总监/CTO来面试，更多的是考察人的资深程度。
因为全程没有 Leetcode style coding，而是非常关注作为机器学习工程师的日常，绝大多数面试者的反馈都是非常正向的：
入职算法应届生如何成为一个合格有竞争力的算法工程师？Tubi TV是一家什么样的公司？面试因需求而变

总结一下，面试的题目和流程设计其实跟业务的需求是紧密相连的，要疯狂招人的时候是一种设计，如果没有业务压力又是另一种设计。我也想跟每一位候选人谈心谈简历，但一看到密密麻麻的面试安排，就感觉

面试官如何判断面试者的机器学习水平？-4.jpg

所以从面试者的角度出发，理解公司所处的状态也有助于准备面试题目哟！

现金娱乐网炔 · 2021-10-5 15:58:17

看了下 @王喆的回答,很赞, 摘一下他回答中提到的一些面试问题:
面试官如何判断面试者的机器学习水平？ - 王喆的回答 - 知乎 https://www.zhihu.com/question/62482926/answer/529823808

我来试着答一下:

GBDT的原理（理论基础)

(1) M棵树 $f_m(x)$ 加权求和(boosting思想): $f(x) = \sum_{m=1}^Mf_m(x)$
(2)单步求解各回归树(前向分步加法模型) ; 第m步求解: $F_m(x) = f_{m-1}(x) + f_m(x)$
(3) loss为mse时拟合残差, 根据公式很容易得到, 以单样本为例:
$L(y, F_m)=(y-F_m)^2=(y-f_{m-1}-f_m)^2=(r_m-f_m)^2$ ,
残差 $r_m = y-f_{m-1}$ , 相当于把样做如下处理: $(x_i,y_i) \rightarrow(x_i, r_{mi})$ , 拟合rm求最小化loss得到第m步的回归树 $f_m(x)$ ;
(4)更一般化, 推广到任意一阶可导函数, 根据一阶泰勒展开; 对于关于 $f_{m-1}(x)$ 的函数损失 $L(f_{m-1})$ , 当 $f_{m-1} \leftarrow f_{m-1} - \epsilon L'(f)|_{f=f_{m-1}}$ ,
loss变化: $L(f_{m-1}) \leftarrow L(f_{m-1}) - \epsilon *(L'(f)|_{f=f_{m-1}})^2$ , loss必减小
这里, loss关于 $f_{m-1}(x)$ 的负梯度 $r_m=-\epsilon * L'(f)|_{f=f_{m-1}}$ 称为&#34;伪残差&#34;, 所以一般化的GBDT, 每一步可看做实在拟合&#34;伪残差&#34;, 来生成一棵分布loss最小的树 $f_m(x)$ ;
(5)其它都是一些细节了, 比如和adaboost区别, 和xgboost区别, 和随机森林的区别,  比如gbdt能降低偏差(这是显然的, 每一步都在拟合目标和预测值的残差);
2. 决策树节点分裂时如何选择特征，写出Gini index和Information Gain的公式并举例说明（理论基础）
(1)能将有限样本分开的树结构有无穷多种, 决策树核心思想是用&#34;启发式&#34;算法来找最优决策树;
(2) 节点分裂时根据不同启发式算法,  特征选择方式不同;
(3) 对于特征A, 假设有三个值, 将特征空间分为D1, D2, D3三个区域, gini(D, A) = D1/D gini(D1) + D2/D gini(D2) + D3/D gini(D3),  再假设是个二分类问题, 两个标签, gini(D1) = p1(1-p1)+p2(1-p2) (只关注D1所在的行), 想象一下, 每次计算特征的gini时, 按照各特征的值对样本全局排序, 这样比较好计算;
3.分类树和回归树的区别是什么？（理论基础）
(1)启发函数不同啊, CART里分类用gini, 回归用平方差;
(2)结点的值不同啊, 分类存储的是最优分裂特征, 回归存储的是最佳切分点;
(3) 回归树也可以解分类问题啊;
4. 与Random Forest作比较，并以此介绍什么是模型的Bias和Variance（理论基础）
(1) rf:有放回自助采样+列采样, 假设r是相关系数, 根据 $var(\sum_{i=1}^NX_i/n) = \rho \sigma^2 + (1-\rho) \sigma^2/n$ , 有放回自助采样增加了各模型的独立性, 一方面, 各模型训练样本完全独立时, 方差 $var(\sum_{i=1}^NX_i/n) = \sigma^2/n$ , 降低到原来的1/n; 另一方面, 各模型样本完全一样时, $var(\sum_{i=1}^N/n) = \sigma^2$ , 方差不变; 一般的rf采样得到的样本, 独立同分布又不完全一样, 所以方差在sigma^2/n和sigma^2之间;
(2) rf对分类问题加权投票, 回归问题取均值, $E(\sum_{i=1}^NX_i/n) = E(x)$ , 不会降低偏差;
(3)gbdt降低偏差是因为每一步都是基于上一轮残差或&#34;伪残差&#34;(loss关于上一棵树的负梯度)拟合样本, 偏差自然会减小;
(4)偏差太大模型欠拟合, 偏差太小模型过拟合, 方差太小模型泛化性能会交叉, 总之就是在做一个trade-off, 来寻求结构风险最小化;
5. XGBoost的参数调优有哪些经验（工程能力）
(1) 从正则化项来考虑: $\gamma T_m + 1/2 \lambda \sum_j^T w_{jm}$ 调第一项 $\gamma$ , 控制叶节点个数, 调 $\lambda$ , 平滑叶节点权重;
(2) 考虑gain, 我们预期C(分列前)-C(分裂后)的gain应该大于0, 但有时候gain会小于0, 此时是否需要early_stopping? (注意虽然当前收益为负, 有可能对后续各步有正向收益), 所以需要加树的深度来做trade-off, 某次split的gain为负时, 是否达到earlystopping条件? 是否达到设定的最小树深度, 如果没有, 就把这个split节点也加进来;
(3) 从shrinkage公式来考虑, $F_m(x) = f_{m-1}(x) + \epsilon f_m(x)$ , 学习速率可以控制拟合速度, 也就是单步生成的树的权重;
(4) 从随机森林借鉴过来的列采样, 这也算一个参数吧, 可以控制每轮训练样本子集间的相关性(增加非相关性), 降低方差(参考公式: $var(\sum_{i=1}^NX_i/n) = \rho \sigma^2 + (1-\rho) \sigma^2/n$ );
(5) 还有啥? 超参寻优, 参考sklearn的gridsearchcv, randomsearchcv;  做一下k-fold交叉验证, 找一下方差最小的最优参数, 比如迭代次数, 树的深度等
(6) 借鉴一下kaggle, 做一下EDA, 缺失值填充(xgboost的默认处理方式不一定符合你需求,归一化, 相关性分析;
(7) 做一下stacking ?
6. XGBoost的正则化是如何实现的（工程能力）
正则化是个很宽泛的概念, 举几个典型的:
(1) $\gamma T_m + \frac{1}{2}\lambda \sum_j^T w_{jm}^2$ , 第一个参数控制第m步生成树的叶节点个数, 第二个参数是l2正则, 平滑每个结点权重;
(2) eraly_stopping, 某次叶节点分裂时, 如果gain为负, 是否停止增长? 这也算一种正则;
(3) 后剪枝;
(4)学习速率控制优化步长(单棵树的权重);
7.XGBoost的并行化部分是如何实现的（工程能力）
寻找结点分裂:
假设生成f(x)需要m步, 样本特征有d维, 样本个数n个, 则每次寻找最优结点时间复杂度:
$T(O) = O(k*d*n\log n)$ , 其中每轮对feature values排序部分的时间复杂度 $O(n*\log n)$ 是可以优化的部分, 可以预排序存储好, 直接调用, 这样总的时间复杂度下降到: $T(O) = O(k*d)$
8. 为什么预测股票涨跌一般都会出现严重的过拟合现象（业务理解）
这个问题比较任性, 为啥预测股票一定会过拟合? 不太能理解, 如果是问过拟合的原因的话, 无非两个:
(1) 数据问题: 数据量太少
(2) 模型问题: 模型太复杂, 模型学到了噪声

9. 如果选用一种其他的模型替代XGBoost，你会选用什么？（业务理解和知识面）
(1)特定领域用特定模型, 一般传统机器学习的分类问题最好还是用xgboost这种ensemble方法来解.
(2)业务理解,特征工程远比对模型做&#34;优中选优&#34;更有收益, 好特征带来的收益都是百分之几, 模型优化, 带来的收益一般在小数点后1-2位, 也就是百分之0.几的样子

(后续想到什么再补充.)

面试官如何判断面试者的机器学习水平？

浏览过的版块