2024年12月27日 星期五

<淺談Amazon亞馬遜的面試:面試官看的Audience awareness, STAR, 和scale, complexity and ambiguity>

早前,我的BR Mentor J委託我替她團隊的一個成員D做一個Mock Interview。事緣是他目前工作在成都,但家卻在深圳,所以想通過內部轉崗,面試了幾場,卻鎩羽而歸。J認為D對自己過於自信,以至於看不清自己的盲點,希望作為第三方的我可以給D一些中肯的面試評價。

由於我和D只約一個小時,所以沒法進行完整的面試,我們就決定只試一個LP的題目。就拿出亞馬遜最喜歡掛在口邊的Customer Obsession吧:

“Tell me a time when you went above and beyond for a customer. Who is that customer? What did you do?”

約莫十五分鐘的來回交談後,我形成了以下的面試評價,後續三十分鐘我和D,拆解每一句面試評價,解讀當中的意思和技巧,聽得他心服口服。

[December 18, 2024, 2:28 PM] To, Steven: STAR approach in mindset. Background set up okay. Candidate is obsessed with his case but generally lack audience awareness in explaining the case. Too many jargons without substance. I didn’t get why the program is important and what exactly he has done until probed. Didn’t paint the picture of scale and complexity well. Very vague for results. Didn’t listen to and really answer the question. On communications, very fluent English yet sometimes repeating what he says

我們一句一句來看。

面試評價:STAR approach in mindset.

Steven解讀:先揚後抑。我跟D說,你對STAR有所了解,而且在講述case的時候都大致遵循此方向。

 — -

面試評價:Background set up okay.

Steven解讀:可以理解為STAR裏面的Situation講得足夠清楚,面試官知道候選人所處的是甚麼一個情況。

不要小看這句話,要在約莫半分鐘到最多一分鐘把case background講清楚,對於大部份候選人來說不是易事。如果case background 講超過一分鐘,我作為面試官就會質疑你的溝通有效性。

情況就如你聽脫口秀/棟篤笑,或者看Youtube短片/電影,過了一分鐘你都不太清楚創作者想表達甚麼,此時很容易會心生煩厭(annoyed)。

尤其是在亞馬遜,面試官很有可能跟你的背景不同,例如D是在customer service,講的是一個call center的case,而我從未沒有直接管過call center。所以如何讓一個不同行業的人知道你的處境,這是要預先準備且訓練的。

 — -

面試評價:Candidate is obsessed with his case but generally lack audience awareness in explaining the case.

D當時侃侃而談,看得出來他心中是挺proud of自己的case的,這種驕傲或者激清(Passion)是好事,但容易犯一個毛病,就是自己講high了,沒有理會對方聽懂沒有。

事實上,整場面試中D 最缺乏的就是Audience awareness。Audience awareness不是指listening — 我在追問D的時候,他聽懂了我的問題。Audience awareness指的是兩方面:

1) 對方想聽甚麼?
2) 對方知道甚麼? 不知道甚麼?

在此語境,對方,亦即是面試官,是心中有一個checklist的。用考試的角度來說,候選人就需要check the box,提供材料給面試官寫一個不錯的評價。所以溝通的時候,要時刻注意這是否對方想聽的?

而對方已有的knowledge亦是溝通重要的一環。候選人容易犯的毛病是拋出大量的acronyms 縮詞,就是各種三個英文字母的組合。千萬不能假設對方知道是甚麼。在亞馬遜面試(或者任何面試)的第一條戒律,就是Spell out the word

所以別說:
我們的NPS達到了40分。

要說:
我們最終衡量用戶滿意度的指標,亦就是Net Promoter Score (NPS),達到了40分。

這就是更有audience awareness的表現。

 — -

面試評價:I didn’t get why the program is important and what exactly he has done until probed.

Steven解讀:這是另外一個候選人常犯的毛病:等面試官發問再說。

就是case講得過於簡單,以至面試官沒有聽到他的actions具體是甚麼。如果我們仔細看一下STAR的結構以及它的考核點:

Situation是背景。考驗的是候選人精簡把來龍去脈說清楚,看的是溝通能力,以及case的規模、複雜度和模糊性(scale, complexity, ambiguity)

Tasks/Action 是行動。考驗候選人具體如何解難(problem solving)。從面試的篇幅來說,此處應該要佔整個case的一半(50%)或以上,因為這才是跟候選人能力直接相關的部份。

Result 是結果。考試候選人的數據意識,以及是否達成結果。

D的情況就是Situation可能已經說了兩三分鐘,到了Action就草草帶過。這是跟溝通習慣也有關係:D 可能感覺自己在前面說了很多了,那後面就快速一點講。變成虎頭蛇尾。

而站在面試官的角度,我就會懷疑,D到底在這個case的角色是甚麼?他做了甚麼事?會不會是free ride?

 — -

面試評價:Didn’t paint the picture of scale and complexity well.

Steven解讀:此處要引入亞馬遜的Leveling guide。亞馬遜裏面有L1-L12,L12就是尊貴的CEO Andy Jassy,L11 就是SVP,大約十幾二十個?例如亞馬遜廣告的Business Owner Paul Kotas就是SVP。L10是VP,如此類推。

中層面試的最多是L4-L6,其中L4是大學畢業生。L5是3–7年。L6是7–15年不等。

要評價一個候選人是否達到某個Level,我們要看的是三方面:
Scale (規模):做的業務、項目或者團隊是否達到一定規模
Complexity (複雜度):做的業務、項目或者團隊是否牽涉多團隊、多職能、多國家
Ambiguity (模糊性):做的業務、項目或者團隊要達成的目標或者路徑有多清晰

在面試過程中,case setup 的重要性之一就是要找一個能體現一定規模、複雜度和模糊性的case。這當中牽涉到一些講故事的技巧。

D給我說的call center case,並沒有有效說到有多大規模,有多複雜。如何說規模呢?我問D,你做完這一系列行動後,影響了多少內部員工?D說600個call center associates。

說實話,此處的難度是面試官哪知道600個call center associates孰多孰少?

所以更好的方式是,提供絕對數之餘,提供百分比。例如D可以這樣說:

600個call center associates,佔全國的20%。

百分比的好處是對於規模更直觀,因為拉平在0–100的間距。

那複雜度就是要說這項目是跨了N 個團隊,有N個高級老板參與等等

而模糊性可以說是一開始團隊摸不著頭腦該如何做,沒有其他團隊做過之類。

 — -

面試評價:Very vague for results.

Steven解讀:D在講結果時,只是幾句輕輕帶過:The project is very successful. We got good results. The stakeholders are satisfied。

這種說法容易引起面試官的紅色警號,因為細節欠奉。至少要給一個key metric,key metric要有數字,數字要有對標,可以比較。

另外,關於指標,working level的人的第二個毛病,就是拋出太多指標(metrics)。記得D好像說了三四個metrics吧。也許在項目中的確需要看得那麼細,但在十五分鐘的LP面試對談中,面試官care的是候選人有沒有數據意識,而要展示數據意識,給出一個Key metric就足夠了。

 — -

面試評價:Didn’t listen to and really answer the question.

Steven解讀:最後我問D,你還記得我們面試的問題是甚麼嗎?

D抓抓頭,說,不就是關於Customer Obsession嗎?

我說是關於Customer Obsession。但具體我問的是went above and beyond for a customer。你壓根就沒有提到你哪裏做的是above and beyond,只是一股腦兒講自己的case。

過於熟悉面試流程就容易犯這個毛病:聽到題目,立即歸類,然後由類別中,抽出自己的王牌case來面試,卻忽略了問題裏面的細節。

 — -

面試猶如考試,一試定生死。希望大家有所收獲。歡迎Share

2024年12月25日 星期三

淺談Amazon 亞馬遜面試:神奇的LP如何發揮作用

在亞馬遜,面試的題目都是固定好的:五個面試官,每人兩個LP。

LP就是Leadership Principles,是亞馬遜管理工具中很重要的抓手。用中國國內的話來說,就是企業價值觀,或者行為準則。

這兩個聽起來虛無飄渺的形而上,竟然在亞馬遜在龐大的官僚系統中(全球300,000人的協作)發揮著不錯的作用,無論是面試候選人、績效評估、甚至是Doc Review和日常討論,都會見到LP的身影,指導亞馬遜人工作。

我想,這是為甚麼很多駐名的Tech firm都在學習亞馬遜(比如字節跳動和美團是像素級抄襲)。

這套LP一共有16個。最為人熟知的是Customer Obsession(顧客至上)。還有我挺喜歡的Bias for Action(先做再說)。

以下使用LP的對話和場景可以在不同會議上聽到:

「我們是否不夠Customer Obsessed?Customer的Painpoints是甚麼呢?」

「是否可以先Bias for action 試一下?」

「有甚麼辦法可以更Invent & Simplify,讓流程更順更合理?」

LP為不同國家、不同業務、不同職能的人統了一套共同的話語體系。管理者掛在口邊複述,就成為了易於用在管理上的工具,而且是官方政治正確之餘,又好像有一些內涵的。

面試流程:45分鐘聊兩個LP

回到本篇文章的主題 — 面試。亞馬遜一共制定了十六個LP。五個面試官,每人被分配兩個。所以當中會考察到十個LP。

針對每一個LP,亞馬選面試系統設定好每個LP可以問的題目,大約有八到十道吧。在45分鐘的面試過程中,在一開始的寒暄和自我介紹之後,就會進入LP問答環節,約莫三十分鐘。

這是大多外來的面試官(包括我)一開始不適應的地方,因為大家都習慣了在面試中自由發揮問問題,要問固定題目,感覺是複讀機,是機械人。

事實上,這正是亞馬遜想要的:標準化的面試過程。因為有了標準化,才可以規模化,才可以比較。

在面試官以復讀機心態念出題目後,候選人就會作出回答。給一些LP的範例題目讓大家感受:

“Tell me a time when you went above and beyond for a customer”

“Tell me a time when you had a difficult interaction with a customer”

“Give me an example of a time when you asked for customer feedback”

看完問題,第一感受如何?

我第一次接觸的時候,反正就覺得面試題庫裹面的行為面試(Behavioral Question)相若,都是希望通過具體的情況和行為來判斷候選人的能力和性格。

候選人需要在接下來的10–15分鐘,用一個自身的例子來闡述。當中最常使用的是STAR的框架,也就是Situation Task Actions Results。

之後面試官就著情況來追問,例如一些相關概念的解釋,一些情況不清楚的說明,一些actions具體做了甚麼的深入。

一個LP大約聊十五分鐘,就到下一個LP題目的復讀。

面試結束後:Incline/Not Incline

針對每一個LP,面試官需要在Concern到Strength的五分制,選擇對LP的一個評分,分別為:

Concern, Mild Concern, Mixed, Mild Strength, Strength

正如正態分佈,一般的候選人都會落在Mild Concern — Mild Strength 之間,偶爾遇上Strength是個驚喜,遇上Concern是個驚嚇。

為兩個LP打完分後,每個LP都要寫下評價。評價大約50–100字,一般會簡單複述候選人說了甚麼Case,當中都哪些亮點或者紅旗(Red Flag),這是讓其他面試官和Hiring Manager可以對這個LP的考察有所了解。

LP的部份完成後,就是面試總結評價的部份。首先面試官需要決定Incline or Not Incline。裏面有四個選項:

Strongly Incline, Incline, Not Incline, Strongly Not Incline

決定不能含糊,所以只有四個選項,沒有中間選擇。

那如果選上舉棋不定的情況,怎麼辦?大公司都規定好:如果舉棋不定on the fence 的話,那就選擇Not Incline。

選擇Incline/Not Incline後,要寫下詳細評價,大約是100字上下。每個面試官的風格不同,所以記錄會稍有不同。但一般來說,都會包含為甚麼我會Incline/Not Incline候選人,TA的長處短處在哪,面試過程中有沒有發生值得注意的事情,候選人本身的履歷有沒有要Call Out的等。

把面試評價寫完,就正式完成了面試。

一般來說,45分鐘的面試,後續可能要花20–30分鐘寫評價。然後再花30分鐘參加Debrief,所以加起來,一個面試官花在一個候選人上面的時間,就約莫有2個小時。如果一周工作40多小時,假設一周面試兩個人的話,就佔用了TA 10%的工作時間。這不得不說,也算是一定程度的投入。

Sanity check: 無友不如己者

決定Incline / Not Incline時,理論上面試官要問自己一個問題:Does he/she raise the bar?

這是面試的sanity check,亦即現實測試。不同行業的sanity check questions 可以大為不同。

例如,在咨詢,sanity check 問題是:Will you staff this person on your project? 你會不會把這個候選人放到你的團隊上?

由於咨詢是項目制,一般只有幾個人的項目會在一兩個月內度過翻天覆地的革命,所以如果會放候選人在項目上,就證明面試官認可候選人的水平,並且可以與TA get along,

而在風險投資sanity check question 是:Will you personally invest in this project? 投資動輒千萬美元,甚至上億。如果你在說服公司出錢投資,你自己有錢的話,是不是也會投資?用腳投票來證明對於項目的眼光和喜愛是最真實想法的反映。

而在亞馬遜,面試的sanity check問題是:Does this person raise the bar? 所謂bar,就是現在的人的平均水平,所以raise the bar,就是比平均水平要高?

作為一間自詡數據驅動的科技公司,亞馬遜更明確指出是比50%同level的人要好。

亞馬遜這個sanity check的涵義在於不停進步。如果請的人比平均水平高,那麼平均水平(或者該說平均線)就會越來越高。

原來西方公司都深暗孔子聖言:無友不如己者。

雖然學習這句聖言時,心裡想的是邏輯問題:假設每個人都有一個分數,而每一個人都只可找比自己分數更高的人做朋友,意思是X只能找分數的Y,但Y不能接受,只能找分數更高的Z…結果這個世界就沒有了朋友 XD?

(反應好的話,下一篇考慮寫寫面試時的趣事)



2024年12月20日 星期五

淺談Amazon亞馬遜的面試系統-神奇的Bar Raiser

我不得不說,在亞馬遜工作,學到的其中一件事,就是面試系統的建立。在亞馬遜的複試,公司建立了一個類似陪審團制度的Interview Panel,來共同決定每個候選人是Incline/Not Incline,猶如法庭上陪審團宣佈Guilty/Not Guilty

這個面試陪審團的五位面試官裹面有三個角色,分別是Hiring ManagerInterviewersBar Raiser

Hiring Manager就是這個角色的「老闆」,自然是最上心的那個。

Bar Raiser是亞馬遜特別設定的角色,它最特殊的技能是有一票否決權(Veto Right)。

亦即是說,即便HM和三位Interviewers都決定Incline,只要BR不同意,這場面試的決定依然是Not Incline

由於BR的特殊性,這群人在亞馬遜只有2%。在一家有300,000的企業員工中,大約五六千人左右吧。

誰能當BR,來掌握候選人的生死大權?答案是「老」員工。要成為BR,首先要有足夠多的面試經驗,然後就可以申請成為BR In Training,跟著一個師傅BR Mentor考証上崗,要讀書,要實操(15-20個試)。

就像考駕駛執照一樣,要儲一些hours,一般歷時3-6個月。

而我就剛剛成為了BRIT,所以最近瘋狂面試,亦因此有感而發寫下此文。

五位面試官分別面試後,就會寫下面試評價(面試過程本身也非常有趣,值得另文探討)。然後,會有一個30分鐘的Debrief

Interview Debrief有一套約定俗成的流程:

00:00-10:00: 首先頭10分鐘,大家會互相閱讀其他人的面試反饋,正如亞馬遜其他會議一樣,有Silent Reading的文化。

10:00-12:00 然後BR總結本輪面試的情況,大多數情況都是Mixed Loop,也就是部份Incline部份Not InclineBR接下來會總結候選人的長處和短處,尤其是關於長處是否符合崗位要求,短處是否Dealbreaker,是否有辦法規避。

12:00-22:00 然後就是輪流發言1-2分鐘,過程著重BR提及的長短處,讓大家再說說面試中是否看到更多的Data/Observation可以支持或者反對以上論點的。

22:00-25:00 最後,也是最像陪審團的部份:BR就會問面試官是否要Change Vote。本來Incline的面試官聽完一輪討論後,是維持Incline還是轉態變成Not Incline?本來Not Incline的有沒有被說明,變成Incline的?

因此整個Debrief的討論,頗有Twelve Angry Men的意味,Incline的一方嘗試說明Not Incline加入自己的陣營,反之亦然。

Change Vote之後,只有三種可能:

可能一:Hiring Manager Bar Raiser和一部份InterviewersIncline,候選人正式通過。

這是最簡單的情況。而且要通過候選人,不需要全部五票通過,最minimum的是HMBR通過即可。

此時,你問,那其他三個Interviewers的作用是甚麼?

他們就是來提供更多的觀察和評價(More data points),以及提供更多視角來審視候選人的水平、能力和契合度。

亞馬遜有一個部門專門做Interview Science,他們曾經研究過4位面試官和5位面試官的複試,哪個更能預測候選人入職後的表現。看著追蹤候選人入職後幾年的表現,他們發現5人陪審團更有效。

目前來說,我四十多個面試中,沒有遇到過只有HM BR Incline,而另外3Interviewers Not Incline的。因為出現這種情況的話,大概率候選人有一些硬傷,在此情況下,BR很有可能也是Not Incline

可能二:HM Incline BR Not Incline,候選人不通過。

這是常見而且討論最白熱化的Debrief。從HM的角度,既然過了初試,應該都是喜歡這候選人的,但BR此時成為了攔路虎。所以HMIncline的小伙伴,可能會出盡辦法來說明BR Change Vote

當中的交鋒在於不能通過的Dealbreaker是甚麼,是否可以化解?

可能三:HM Not Incline BR Not Incline,候選人不通過。

出現這種情況,一般來說,HM都不是一面,做了甩手掌櫃,交託別人。更離譜的是,有一些明顯的硬傷:比如英文本身不達標;崗位prefer在深圳,但候選人只能在上海。

如果不通過候選人的話,後續還有一個要討論的:是否Recycle

也就是大家關心的:「我申請了某某崗位不通過,還能申請其他崗位嗎?」

一般而言,除非候選人有過份的表現,面試官都會同意要Recycle,放候選人一條生路。

此時30分鐘的Debrief就正式結束。

我開過無數的會議,我必須說,這30分鐘非常高效。關鍵是亞馬遜的文化中,面試官重視面試,因此無論是面試過程,面試紀錄,和Debrief的討論,大家都會在線積極參與,所以書寫的反饋和討論表達的質素都很不錯。加上有BR在場主持,保証底線,絕大部份的Debrief都可以在30分鐘完成,決定了候選人在此崗位的生死。

而我目前作為BR In Training,我的師傅BR Mentor就會加入面試旁觀,如無必要就不出聲。面試後,Mentor會對我主持Debrief的能力評分(真的好像師傅看我開車然後評價),我要通過15-20次這樣的臨場考試。

下一篇可以聊聊面試都面些甚麼,面試官又是如何紀錄面試反饋的。