評分表上的1/N:杯測裁判的影響力到底有多大?

評分表上的1/N:杯測裁判的影響力到底有多大?

評分表上的1/N:杯測裁判的影響力到底有多大?

關於裁判在評分表上的影響力,我一直想認真發一篇文,來終結一些我參加賽事後聽到的裁判都會傳說…這些傳說跟我無關,但是有時候會跟無辜重傷的朋友有關,真的很可憐。

當裁判到產區的特定農戶越來越多的時候,是不是會影響到裁判的公平?若是有些莊園跟裁判互動很高的時候,是不是在評鑑的時候也越好作弊?

根據我的經驗,真的很難。

儘管我現在可以問心無愧說是業者之間有最大量而且廣度最高的阿里山咖啡品飲的人,但是我現在還是很難去分辨這個作品是誰的。尤其是在推往微批次管理之後,你會發現,同樣的狹義『天、地、人』組合下,一樣可以生產出天跟地差別的咖啡。我說狹義,是因為假如你把風土的『天、地、人』更延展到不同時間的咖啡生長、不同採收時段的菌種,那口味的排列組合就會非常複雜。這也是為什麼我在後製這個區塊,很少跟農友互動,反而是微批次管理跟微批次杯測,會是我跟大家溝通的觀點。咖啡就是有這樣的複雜性,所以儘管有時候我在A1BN,來個一款產區最北端壁湖村跟產區最南端的咖啡,你也很難說這是因為緯度造成,當樣本數變多,你也幾乎很難歸納出什麼樣的莊園,就應該有什麼樣的味道。也就是你要我認真說,要我盲測喝出我們挑選過進豆單的卓武山、琥珀社、青葉、鄒築園、野牡丹的水洗SL34,我可能還真的無法。當然你可能會說,我一直都很愛青葉,青葉就是這個基調,但是我告訴你,當我貨量充足的時候,我可以從我豆單裡頭翻出很多類似品。

真的很難喝出這是誰種的。尤其是水洗跟輕度發酵的蜜處理。因為現在產區大家栽植的品種,大概就是那幾家常勝軍賣出來的苗,有著很類似的基礎,然後買家帶回各自的莊園努力,讓這個莊園的『天、地、人』去讓這款咖啡長出該有的個性。但是這樣的個性,還是有一定的雷同性,比方說SL34就是會有一種烏梅調性,Typica相對溫和許多。這當然也說明為什麼有時候阿流賽的分數都會很接近的一個推測。

其實光靠一個裁判多給一分,總分也才多1/N (N=裁判數)而已,影響力是非常小。尤其是裁判團隊很大的狀況之下。假如有十個評審,你的一分會在評分表上稀釋到剩下0.1分(杯測表上的一分,其實不少了喔)。所以假如裁判人數越少,『作弊』的『效果』會更高。當然你可以說:那我們下次拉個二十個裁判來稀釋掉這些風險好了。可以,更多的預算、更多的後勤統合、更多的樣本準備、更多的人事聯繫,有這些更多更多,你要幾個都可以:但是,醒醒吧XD

真的很難喝出是誰種的啦!除非是特殊處理法。而且是那種特色超容易辨識的。但是這樣的商品,他有他的風險。辨識度高,意味著會更有可能出現那種高分越高、低分越低,所以總分被抵銷的風險。高發酵的特殊處理要做到從評分表上第一格到最後一個面面俱到,我跟你說:超難。假如真得有作品這麼厲害,給高分的也不會只是一位。所以客觀上來說,也只是:它就是厲害。

回到上面,多給一個人一分,或者更不要臉兩分,在分數結構表上面其實也在冒很大的風險。因為主審大概都會在賽後撥一點時間公布大家打的成績,讓大家知道自己的評分水準。儘管都是用匿名的出勤編號表示,但是大家左看右看,多少還是知道哪兒個匿名編號分數是誰打的。那種分數打到超出常理的,其實也必須忍受別人異樣的眼光,但是能夠撼動總分的成分卻很少。另外活動方可能也會收到一個相關係數的報告,簡單來說,就是裁判在該場杯測裡頭的準確度。這些都會讓你打消「想把那款應該是你朋友種的咖啡人多拉高幾分」或者是「這款應該是競爭對手的咖啡拉低幾分」的念頭。

簡單說,裁判的相關係數出來,太低,代表自己偏離杯測給分主流意見太多,某方面是很傷自尊跟形象的。這些都是裁判杯測桌上,落分之前會去思考的。分數打得太偏離,分數打得太接近,其實都會影響到相關係數的呈現。

假如裁判把這些都思考過了,還要加上十足運氣。這款你想作弊的咖啡,還要一路從初賽殺到決賽….幹,這時候,真的有殺進去的話,也絕對不會是作弊者的功勞。因為你現在知道:不只繳交作品之間有競爭,連裁判間也是有一種內部競爭(或者是一種心理上的好勝心,畢竟沒人希望變成相關係數太爛、然後下次被除名邀請的那位)。裁判也是有一種無形的同儕壓力的。

另外一個現實面,台灣咖啡產業目前真的是超清純產業,某方面來說,規模還沒有大到說,你幫我『作』到高個三分,我給你三萬。幹,三萬耶!在咖啡產業是大錢耶!先不要說裁判的自尊值不值三萬,但是花的錢真的效果很低。裁判還要在每一輪都辨識出這款咖啡來多給分,很難耶!!真的啦!(這些都只是假設的例子,千萬不要被流傳成『一分一萬耶!』阿)

多打個三分,說不定還是被低分稀釋,或者更慘,被去頭去尾。喔,對了,那是不是去頭去尾就可以避免這個狀況?這是需要有統計的論述的。光這個就有很多論文可以去翻來看。統計最好玩的一件事情,有很多你主觀覺得有道理的事情,事實上在統計上是沒道理的。所以去頭去尾,還是所有分數都納入,不會是你光用『想的』就可以解決的。

我現在做A1bM的時候,真的喝超多阿里山產區的咖啡,但是你要我針對這些咖啡排序對上名字,真的還是超乎我能力之外。更何況還有比賽烘焙後再次讓風味變形,讓品飲者對該款咖啡豆辨識的能力再次失準。

問題:大量跟產區互動的杯測師是不是應該納入?跟少數莊園長期互動的杯測師是不是應該納入?當這些質疑出現的時候,相反的問題其實也可以問一下:跟產區毫無互動的杯測師應該納入名單嗎?對產區商品沒有興趣的杯測師應該納入評審行列嗎?

現實面,農友透過比賽,提升產區與消費著互動,這是一種行銷訴求。很多方面,假如一個裁判都沒在關注產區或投入,在比賽的推廣角色上,也未必適任。這真的就是行銷面的問題了。一個好的比賽絕對不是光靠協會或者主審就可以變好。但是每次評鑑之後,都會聽到辛辛苦苦辦比賽的人受到這些事情的質疑。我想今年也會有,所以在我最關心的賽事開打之前,寫一篇好了。這些都是很可以討論的。假如希望比賽越好,這些觀點更應該拿出來討論,而不是私下流傳,累積出似是而非的觀點。

講了這麼多之後,假如還有人說,那是不是辦比賽的人就不要送件,這樣會不會不公平?好啦,那你還是看不懂我說的。回頭從新多看幾次嘿⋯⋯

以上,也都是我跟農友話家常的時候會聊的事情,整理成文字,發文,我想大家還是可以比較好理解我的想法。

至於杯測評鑑比賽能不能做得更好?肯定可以,但是不是靠流言跟不參與籌備。籌備處需要你,加入討論,絕對會是最好的改變。

mojo官方部落格有更多文章,歡迎延伸閱讀:
https://mojocoffee.com.tw/blog