有些人可能會(huì)覺得“數(shù)據(jù)科學(xué)”和“機(jī)器學(xué)習(xí)”這兩個(gè)術(shù)語(yǔ)看起來(lái)很高大上關(guān)鍵詞排名系統(tǒng)精通火24星，覺得需要很專業(yè)的技能才能在這兩個(gè)領(lǐng)域取得成就。乍一看關(guān)鍵詞排名系統(tǒng)精通火24星，數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的領(lǐng)域可能會(huì)讓人不知所措關(guān)鍵詞排名系統(tǒng)精通火24星，新手眼巴巴望著無(wú)窮無(wú)盡的代碼和技術(shù)術(shù)語(yǔ)，不知道從哪里入門。

Kaggle 是許多人在這一領(lǐng)域探索的起點(diǎn)之一。對(duì)于其他人來(lái)說(shuō)，Kaggle 是他們?cè)跈C(jī)器學(xué)習(xí)行業(yè)參與競(jìng)賽、贏得聲譽(yù)和深入研究的去處。

在本文中，我將帶你了解我如何在 14 歲時(shí)成為一名最年輕的 Kaggle 競(jìng)賽大師。

作者的 Kaggle主頁(yè)

自我介紹

我是 AndyWang，一名高中新生，對(duì)數(shù)學(xué)、人工智能和計(jì)算機(jī)科學(xué)有著濃厚的興趣。我在 Kaggle 上參與競(jìng)賽以學(xué)習(xí)和提高我的技能，并獲得了 2 枚銀牌和 1 枚金牌。

作者照片

早期經(jīng)歷

幾年前我對(duì)數(shù)學(xué)產(chǎn)生了興趣，并開始自學(xué)比我在學(xué)校所學(xué)主題更高級(jí)的內(nèi)容。不久之后我開始研究編程，因?yàn)槲覐男【蛯?duì)計(jì)算機(jī)科學(xué)著迷。我搜索線上教學(xué)內(nèi)容后，找到了幾門教授 Python 和基本編程概念的課程。不久之后我就開始自己編程了，還制作了一些小項(xiàng)目，例如用回溯算法制作一個(gè)數(shù)獨(dú)求解器。

來(lái)自我的數(shù)獨(dú)求解器的代碼片段

彼時(shí)我有點(diǎn)迷惘，不知道自己手中的知識(shí)應(yīng)該用在什么地方。直到有一天，當(dāng)我的朋友向我介紹機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域時(shí)，我才真正意識(shí)到了編程的力量所在。然后我找到了 Kaggle 這個(gè)網(wǎng)站，它擴(kuò)展了我對(duì)當(dāng)前計(jì)算和人工智能技術(shù)的能力邊界的認(rèn)知。

我是如何進(jìn)步和學(xué)習(xí)的

我對(duì)編程和機(jī)器學(xué)習(xí)概念的了解主要來(lái)自互聯(lián)網(wǎng)。有疑問(wèn)時(shí)，互聯(lián)網(wǎng)是你最好的老師。中學(xué)階段沒有學(xué)校會(huì)教授數(shù)據(jù)科學(xué)或神經(jīng)網(wǎng)絡(luò)知識(shí)，如果我想在 Kaggle 上取得成就，只能靠自己了。

數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)對(duì)許多人來(lái)說(shuō)是一項(xiàng)艱巨的任務(wù)。面對(duì)浩如煙海的資源和主題，人們不知道從哪里開始或如何學(xué)習(xí)。因?yàn)榕c術(shù)語(yǔ)“數(shù)據(jù)科學(xué)”和“機(jī)器學(xué)習(xí)”相關(guān)的領(lǐng)域太多，精通每個(gè)類別幾乎是不可能的。ML 和 DS 的力量太驚人了。對(duì)于像我這樣的初學(xué)者來(lái)說(shuō)，你首先需要找到自己感興趣的東西，并充分挖掘它所能實(shí)現(xiàn)的潛力。

機(jī)器學(xué)習(xí)的不同領(lǐng)域

根據(jù)初學(xué)者已經(jīng)掌握的知識(shí)水平，學(xué)習(xí) ML 和 DS 對(duì)許多人來(lái)說(shuō)會(huì)有不同的路徑，以下則是我取得成功的路徑。

我知道數(shù)學(xué)是未來(lái)一切的基礎(chǔ)。線性代數(shù)和微積分是機(jī)器學(xué)習(xí)中使用的兩個(gè)最重要的數(shù)學(xué)概念。幾乎所有的機(jī)器學(xué)習(xí)算法都在某種程度上與這兩個(gè)領(lǐng)域相關(guān)。數(shù)據(jù)以向量和矩陣的形式表示和處理。因此，我們需要了解矩陣的基本運(yùn)算原理。機(jī)器學(xué)習(xí)中微積分最常見的用途之一是梯度下降。這是一種算法，旨在使用函數(shù)的梯度迭代地對(duì)全局最小值采取多個(gè)步驟來(lái)最小化目標(biāo)函數(shù)。統(tǒng)計(jì)學(xué)也是要掌握的。顧名思義，數(shù)據(jù)科學(xué)研究的都是數(shù)據(jù)。盡管計(jì)算機(jī)可以預(yù)測(cè)數(shù)據(jù)中的某些趨勢(shì)，但只有人類才能對(duì)其進(jìn)行分析、計(jì)算某些屬性并最終得出關(guān)于數(shù)據(jù)的結(jié)論。數(shù)據(jù)的預(yù)處理和特征工程在很大程度上依賴于統(tǒng)計(jì)學(xué)。我零零碎碎地學(xué)習(xí)了一些統(tǒng)計(jì)學(xué)知識(shí)，在互聯(lián)網(wǎng)上瀏覽了很多文章，并找到了一些不錯(cuò)的在線課程。在了解了基礎(chǔ)知識(shí)后，我開始著手編寫代碼。憑借面向?qū)ο缶幊蹋∣OP）和 Python 的基本知識(shí)，我找到了一些在線課程，這些課程教會(huì)了我如何使用機(jī)器學(xué)習(xí)中常用的那些庫(kù)。我并不會(huì)簡(jiǎn)單地遵循課程所提供的代碼，復(fù)制粘貼了事，而是確保自己理解課程所寫內(nèi)容背后的數(shù)學(xué)原理。如果你不了解事物的內(nèi)部運(yùn)作方式，就不可能充分利用這些東西來(lái)為你帶來(lái)優(yōu)勢(shì)。我從簡(jiǎn)單的算法（如線性回歸）開始，一點(diǎn)點(diǎn)提升到更復(fù)雜的算法（如梯度提升和神經(jīng)網(wǎng)絡(luò)）。

學(xué)習(xí)要腳踏實(shí)地，步步為營(yíng)，每天學(xué)到的知識(shí)可以輕松積累成非常復(fù)雜的東西。

加入 Kaggle

這時(shí)，我想通過(guò) Kaggle 競(jìng)賽來(lái)構(gòu)建自己的知識(shí)體系。我參加了使用回歸技術(shù)預(yù)測(cè)房?jī)r(jià)的初學(xué)者競(jìng)賽，才發(fā)現(xiàn)我學(xué)到的東西還遠(yuǎn)遠(yuǎn)不夠。我最缺的是經(jīng)驗(yàn)。通過(guò)失敗和嘗試新事物來(lái)學(xué)習(xí)是最佳途徑。我熟悉了 Kaggle 的環(huán)境，瀏覽了很多相關(guān)討論和筆記本來(lái)研究圍繞目標(biāo)問(wèn)題的各種解釋。不久之后，我覺得自己已經(jīng)為第一次真正的比賽做好了準(zhǔn)備。我和我的朋友Andre Ye一起參加了 Mechanism of Action競(jìng)賽。

我們的第一場(chǎng)競(jìng)賽，MoA

當(dāng)時(shí)我們都是比賽的新手。論壇里那些看起來(lái)很專業(yè)的代碼和技術(shù)討論讓我們目瞪口呆。我決定從頭開始，而不是 fork 一個(gè)入門筆記本。在討論帖的幫助下，我得以在很短的時(shí)間內(nèi)就做好了基礎(chǔ)工作。創(chuàng)新是贏得競(jìng)賽的關(guān)鍵要素。我翻閱了關(guān)于這一問(wèn)題的許多論文和文章，然后將它們與論壇上提供的方法相結(jié)合，讓我們的解決方案進(jìn)入了排行榜的前 4%。

后來(lái)，有了更多的經(jīng)驗(yàn)后，我們又參加了兩場(chǎng)比賽，獲得了銀牌和第一枚金牌。這樣的結(jié)果對(duì)我來(lái)說(shuō)真的是一個(gè)驚喜，我非常感謝 Kaggle 社區(qū)指導(dǎo)我實(shí)現(xiàn)這一成就。以下是我在參加比賽時(shí)觀察和學(xué)習(xí)到的一些技巧和竅門。

我的 Kaggle 競(jìng)賽通用管道

在我參加的比賽中我遵循了一個(gè)通用的管道，它不僅可以用來(lái)安排工作，還可以高效率地產(chǎn)生有意義的結(jié)果。

仔細(xì)閱讀數(shù)據(jù)描述和概述。如果可能，再稍稍探索一些領(lǐng)域知識(shí)。在閱讀任何論文、討論或筆記本之前，嘗試自己創(chuàng)建一個(gè)基線。這樣就不會(huì)被其他人的言論禁錮自己的大腦，有助于產(chǎn)生一些全新的想法。建立一個(gè)可行的交叉驗(yàn)證策略并提交到排行榜。確保你的 CV 策略也適用于 LB，這一點(diǎn)很重要。閱讀，閱讀和學(xué)習(xí)關(guān)鍵詞排名系統(tǒng)精通火24星！充分探索與主題相關(guān)的論文，在論壇和筆記本中尋找靈感。開始在模型方面或特性方面調(diào)整你的基線。一次只調(diào)整一件事，這樣你就能知道是什么導(dǎo)致模型獲得改進(jìn)/表現(xiàn)更差。盡可能多地探索新方法，不要在行不通的事情上糾纏太久。集成關(guān)鍵詞排名系統(tǒng)精通火24星！如果其他辦法都不奏效，我發(fā)現(xiàn)集成或堆疊是最穩(wěn)定的改進(jìn)方式。只選擇有良好 CV 分?jǐn)?shù)的提交（并且要清楚它為什么表現(xiàn)出色）。我學(xué)到和運(yùn)用的東西

隨著我參加的比賽越來(lái)越多，一些解決方案的復(fù)雜性讓我大受震撼，這些方案從特征工程到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都有涉及。

來(lái)自 RANZCR 競(jìng)賽的頭名，令人驚嘆的方案

一般來(lái)說(shuō)，機(jī)器學(xué)習(xí)算法只能從包含信息的數(shù)據(jù)中學(xué)習(xí)，并且可以學(xué)得很好。在某些情況下，使用與預(yù)期略有不同的算法可能會(huì)有所幫助。例如，使用主成分分析（PCA）來(lái)減少數(shù)據(jù)的維度，然后將減少的特征連接回原始特征，這種方法幫助我解決了不止一種問(wèn)題。

有了特征工程就有了特征選擇。刪除不重要的特征有助于減少數(shù)據(jù)中的噪聲。在 Mechanism of Action 比賽中，論壇和討論帖中的方法對(duì)我們?cè)O(shè)計(jì)的模型并沒有什么幫助。在這種情況下，你應(yīng)該大膽地去閱讀和深入研究各種論文。由于我處理的案例（多標(biāo)簽分類）并不常見，因此我找不到什么簡(jiǎn)單的教程。我找到了一篇論文，旨在對(duì)比使用問(wèn)題轉(zhuǎn)換方法的多標(biāo)簽特征選擇。

閱讀和研究論文看起來(lái)是很困難的事情，但瀏覽它們并從長(zhǎng)篇技術(shù)術(shù)語(yǔ)中掌握關(guān)鍵詞是一項(xiàng)至關(guān)重要的技能。對(duì)于像我這樣的初學(xué)者來(lái)說(shuō)，試圖理解你遇到的每一篇論文的每一個(gè)細(xì)節(jié)是不可能做到的。只有當(dāng)我找到自己需要和將要使用的論文時(shí)，我才會(huì)嘗試?yán)斫庹撐闹械拿恳粋€(gè)單詞和引用。

在建模過(guò)程中，我學(xué)到的最大的一課就是創(chuàng)造力。不僅要在模型結(jié)構(gòu)中保持創(chuàng)造性，而且要跳出框框，思考模型如何從根本上處理不同類型的數(shù)據(jù)。

將模型調(diào)整為具有非線性拓?fù)浣Y(jié)構(gòu)，或?yàn)楸砀駭?shù)據(jù)構(gòu)建類似 ResNet 的結(jié)構(gòu)化網(wǎng)絡(luò)，不僅在 MoA 競(jìng)賽中獲得了一些驚人的成果，而且在接下來(lái)的 Jane Street Market Prediction 比賽中也獲得了一些出色的結(jié)果，我們?cè)谶@一比賽中的 4.2k 團(tuán)隊(duì)中排名第 16。探索不同類型的自動(dòng)編碼器，例如去噪、變分和稀疏編碼器，可以為你的數(shù)據(jù)帶來(lái)令人驚訝的變化，這不是簡(jiǎn)單的特征工程和選擇可以實(shí)現(xiàn)的。集成。組合不同模型的結(jié)果可以為你的解決方案增加多樣性，從而使其更加穩(wěn)健和穩(wěn)定。無(wú)論最后起作用或者不起作用的是哪些建模技巧，集成始終是我在比賽中的“最后手段”。始終關(guān)注新出現(xiàn)的論文，并探索論壇中提到的內(nèi)容以外的知識(shí)。調(diào)整激活函數(shù)（嘗試swish代替 ReLU）和優(yōu)化器（嘗試AdaBelief代替 Adam 等）之類的小東西可能會(huì)從模型中擠出一些性能。跳出框框思考！使用一維 CNN 對(duì)表格數(shù)據(jù)進(jìn)行特征提取?；蛘呤褂肈eepInsight，利用 CNN 的優(yōu)勢(shì)將表格數(shù)據(jù)轉(zhuǎn)換為圖像。

圖片來(lái)自Kaggle

最后，在一場(chǎng)比賽中奏效的策略不一定能在另一場(chǎng)比賽中改善你的解決方案。在 Jane Street Market Prediction 挑戰(zhàn)賽期間，我發(fā)現(xiàn)特征工程對(duì)結(jié)果根本沒有幫助。相反，我發(fā)現(xiàn)了建模中隱藏的魔力。這里要記住的一般經(jīng)驗(yàn)法則是：

在這樣的情況下，不要糾結(jié)于“以前有效”或“對(duì)他人有效”的事情，你應(yīng)該繼續(xù)前進(jìn)并花更多時(shí)間探索可以帶來(lái)改進(jìn)的新事物。參加 Kaggle 比賽并獲得獎(jiǎng)牌并非易事，但使用正確的學(xué)習(xí)方法和工具可以讓這個(gè)過(guò)程變得容易許多。

查看各種討論帖和閱讀公共筆記本是非常有幫助的。社區(qū)每天都會(huì)有新的想法出現(xiàn)，我通過(guò)論壇中提到的論文和筆記本中所使用的庫(kù)了解了一些最新的、迷人的模型和工具。其中之一是TabNet，這是一種使用順序注意力將特征選擇合并到模型中來(lái)對(duì)表格數(shù)據(jù)進(jìn)行建模的新方法。這個(gè)模型讓我在 MoA 比賽中獲得銀牌。最后，一個(gè)穩(wěn)定而強(qiáng)大的管道是在私有排行榜中獲得出色表現(xiàn)的關(guān)鍵因素。浪費(fèi)時(shí)間過(guò)度擬合以在公共排行榜中獲得額外的.0001 分是沒有意義的。要一直相信你的本地交叉驗(yàn)證分?jǐn)?shù)，因?yàn)橛?xùn)練數(shù)據(jù)量大于公共排行榜的數(shù)據(jù)量。

除了所有提示和技巧外，我成功的最重要因素是我一致的建模管道和穩(wěn)定的 CV。

要做一個(gè)強(qiáng)大、健壯的 CV......

設(shè)置本地交叉驗(yàn)證方案時(shí)。以下是應(yīng)該記住的幾個(gè)要點(diǎn)：

折疊數(shù)>3。折疊數(shù)太小的話，訓(xùn)練分割不足以代表整個(gè)數(shù)據(jù)。確保數(shù)據(jù)沒有泄漏。特別是在時(shí)間序列預(yù)測(cè)等情況下，正常的交叉驗(yàn)證會(huì)引入未來(lái)數(shù)據(jù)的泄漏，應(yīng)使用某種形式的時(shí)間序列拆分。當(dāng)目標(biāo)不平衡時(shí)使用分層折疊。分層 KFold 方法試圖在折疊中平均分割目標(biāo)。確保自己知道為什么事情會(huì)有所改善。這是非常重要的，因?yàn)榻Y(jié)果可能會(huì)受到隨機(jī)種子和其他未知因素的影響。這可能導(dǎo)致看不見的數(shù)據(jù)（私有排行榜）存在重大不確定性。簡(jiǎn)單地復(fù)制粘貼代碼是沒法幫助你學(xué)習(xí)或贏得比賽的。我在 Kaggle 中最重要的座右銘是永遠(yuǎn)不要復(fù)制別人的工作，我可以從他們的想法中得到啟發(fā)，甚至使用他們的建模方法，但我從不提交其他人的工作作為我的解決方案。在接觸新事物時(shí)，我養(yǎng)成了對(duì)于所有我不理解的東西查找資料的習(xí)慣，直到我可以自信地向其他人解釋這個(gè)主題為止。寫在最后……

本文可能無(wú)法幫助你贏得比賽，但我向你保證，它們可以幫助你在 ML 和 DS 的旅程中減少失敗的痛苦。