什么是人們進行思維活動時憑借的主要工具？思維的主要工具是能有效影響抽象思維活動、提高思維效率、延伸思維深度、形象化抽象思維過程的方法和技巧。其中:思維導(dǎo)圖，高等數(shù)學(xué)，空間幾何等都有代表性。思維過程本質(zhì)

什么是人們進行思維活動時憑借的主要工具？

思維的主要工具是能有效影響抽象思維活動、提高思維效率、延伸思維深度、形象化抽象思維過程的方法和技巧。其中:思維導(dǎo)圖，高等數(shù)學(xué)，空間幾何等都有代表性。

思維過程本質(zhì)上是一個信息過程。

任何開放系統(tǒng)都包含著物質(zhì)、信息和能量的交換。然而，物質(zhì)、信息和能量的質(zhì)量和數(shù)量在不同的系統(tǒng)中是不同的。

沒有大數(shù)據(jù)，我們該如何將機器學(xué)習(xí)的想法制成原型？

從研究思路的提出到實驗的具體實現(xiàn)，是工程中的基礎(chǔ)環(huán)節(jié)。但是這個過程往往會受到一些明顯的小瑕疵的影響。在學(xué)術(shù)界，研究生需要辛苦的研究——大量的寫代碼、寫解釋、寫論文。新的工程項目往往需要一個全新的代碼庫，而將過去使用的代碼直接擴展到這些新項目中往往很困難。

基于這種情況，哥倫比亞大學(xué)計算機科學(xué)博士生、OpenAI研究員Dustin Tran從個人角度概述了從研究思路到實驗過程的步驟。其中最關(guān)鍵的一步是提出新的想法，這往往要花很多時間；而且至少對于作者來說，實驗環(huán)節(jié)不僅僅是學(xué)習(xí)，更是解決不可預(yù)知問題的關(guān)鍵。此外，作者還明確表示，這個工作流程只適用于實驗研究，理論研究需要遵循另一個流程，雖然兩者有相通之處。

找到正確的問題

在真正開始一個項目之前，如何使你的想法和土地與環(huán)境一個比較正式的話題很關(guān)鍵。有時它 很簡單——就像導(dǎo)師會給你布置任務(wù)一樣；或處理特定數(shù)據(jù)集或?qū)嶋H問題；或者和你的伴侶談?wù)?，確定工作內(nèi)容。

更常見的是，研究實際上是一系列想法的結(jié)果，這些想法通常是通過日常談話、最近的工作、閱讀專業(yè)和非專業(yè)領(lǐng)域的文獻以及反復(fù)閱讀經(jīng)典論文而產(chǎn)生的。

我發(fā)現(xiàn)一個非常有用的方法——保存一個主文檔，這通常需要大量的工作。

首先，它有一個項目列表來安排所有的研究想法、問題和主題。有時它們可能是更高層次的問題，例如 "強化學(xué)習(xí)的貝葉斯/生成方法和 "解決機器學(xué)習(xí)中的公平問題也可以是一些非常具體的話題，比如 "處理EP 中記憶復(fù)雜性的推理網(wǎng)絡(luò)和 "標度偏差和對稱性的狄利克雷超越分析我經(jīng)常嘗試讓項目列表更簡潔:通過一些鏈接展開子內(nèi)容。

然后，根據(jù)下一步要做的工作，將想法列表分類。這通常為我的后續(xù)研究指明了方向。我也可以判斷它的方向是否和我的研究觀點一致，它的必要性和有效性。隨時修改這些項目的優(yōu)先級。更重要的是，這個列表不僅是關(guān)于后續(xù)的觀點，也是關(guān)于我接下來想研究什么的。從長遠來看，這是對發(fā)現(xiàn)重要問題和提出簡單新穎的解決方案的重要貢獻。我經(jīng)常訪問這個列表，重新安排事情，增加新的想法，刪除不必要的話題。最后，當(dāng)我能夠詳細解釋一個想法時，它就可以成為一篇更正式的論文?？偟膩碚f，我發(fā)現(xiàn)在同一個位置(同一個格式)迭代idea的過程可以讓正式論文寫作中的銜接和實驗過程更加流暢。

管理項目

我們的最新arXiv預(yù)印本庫。

我喜歡在GitHub庫中維護研究項目。不管做了多少研究單位 "我會把它定義為相對獨立的東西。例如，它可能與當(dāng)前的一篇特定論文、一項應(yīng)用數(shù)據(jù)分析或特定主題相關(guān)聯(lián)。

GitHub repository不僅可以用于跟蹤代碼，還可以用于跟蹤一般的研究進度、論文寫作進度或嘗試其他合作項目。但是項目的組織一直是個痛點。我更喜歡下面的結(jié)構(gòu)，它來自戴夫·布雷。見:~ Blei/seminar/2016 _離散_數(shù)據(jù)/筆記/周_ 01.pdf。

把自己和合作者要做的事情列一個清單，這樣就把問題和前進的方向說清楚了。

Doc/包含所有記錄的項目，每個子目錄包含一個會議紀要或文檔提交，main.tex為主文檔，每個章節(jié)是一個不同的文件，比如introduction.tex，將每個章節(jié)分開可以讓很多人同時處理不同的章節(jié)，從而避免合并。有些人喜歡在主要實驗完成后一次性寫一篇完整的論文，但我更喜歡把論文作為當(dāng)前想法的記錄，讓它隨著實驗的進展繼續(xù)前進，就像想法本身一樣。

Etc/是和之前的目錄無關(guān)的其他東西。我通常用它來存儲項目中討論留下的白板內(nèi)容的圖片。有時候，我會在日常工作中獲得一些靈感，我會將它們記錄在Markdown document中，這也是一個處理對我工作的各種評論的目錄，比如我的合作者對我論文內(nèi)容的反饋。

Src/是所有代碼編寫的地方。可運行腳本直接寫在src/上，類和實用程序?qū)懺赾odebase/上。下面我會詳細解釋(還有一個腳本輸出目錄)。

寫代碼

Edward是我現(xiàn)在用來寫所有代碼的工具，我發(fā)現(xiàn)它是快速試驗現(xiàn)代概率模型和算法的最佳框架。

愛德華林克:

在概念層面愛德華 的吸引力在于語言遵循數(shù)學(xué):模型的生成過程被轉(zhuǎn)化為愛德華代碼的每一行；然后我要寫的算法轉(zhuǎn)化成下一行...這種純粹的轉(zhuǎn)換過程，避免了日后試圖將代碼擴展成自然研究問題的麻煩:比如之前使用了不同的方法，或者調(diào)整了梯度估計，或者嘗試了不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，或者在大數(shù)據(jù)集上應(yīng)用了其他方法等等。

在實踐層面上，我總是受益于愛德華 的現(xiàn)有模型示例(在edward/examples或edward/notebooks中)。我把預(yù)置的算法源代碼(在Edward/推論中)作為一個新文件粘貼到我項目中的codebase/目錄下，然后進行調(diào)整。這使得從零開始變得非常簡單，我們也可以避免很多低級的細節(jié)。

寫代碼的時候，我總是按照pep8(我特別喜歡PEP8軟件包:)，然后盡量把每個腳本和腳本共享的類、函數(shù)定義分開；前者放在codebase/中以供導(dǎo)入。從第一步開始就保持代碼質(zhì)量永遠是最好的選擇，這個過程非常重要，因為項目會隨著時間的推移而擴大，其他人也會逐漸加入進來。

Jupyter notebook很多人都在用Jupyter Notepad(鏈接:)作為一種交互的代碼開發(fā)，也是一種簡單的嵌入可視化和LaTeX的。對我來說，我沒有。;我沒有把它集成到我自己的工作流程中。我喜歡將所有代碼寫入Python腳本，然后運行這些腳本。但Jupyter等工具的交互性值得稱贊。

實驗管理

有必要投資一個好的工作站或者云服務(wù)提供商。GPU的這個特性基本上是通用的，我們應(yīng)該有權(quán)利并行運行很多作業(yè)。

當(dāng)我在本地計算機上完成腳本后，我的主要工作流程是:

1.運行rsync將本地計算機的Github庫(包括未授權(quán)的文檔)同步到服務(wù)器 的目錄。

2.到服務(wù)器的ssh。

3.啟動tmux并運行腳本。很多事情很復(fù)雜，tmux可以讓你擺脫這個過程，所以你不 不必等到它結(jié)束后再與服務(wù)器交互。

腳本可行后，我開始用多個超參數(shù)配置鉆探實驗。這里有一個有用的工具tf.flags，它使用命令行參數(shù)來增強Python腳本，并向您的腳本添加如下內(nèi)容:

然后，您可以運行以下終端命令:

這使得提交超級參數(shù)修改的服務(wù)器任務(wù)變得容易。

最后，談到管理實驗期間的任務(wù)輸出，回想一下上一篇文章中的src/ directory的結(jié)構(gòu):

我們描述了每個腳本和代碼庫/。其他三個目錄用于組織實驗輸出:

檢查點/記錄培訓(xùn)中保存的模型參數(shù)。當(dāng)算法每迭代固定次數(shù)時，使用。這有助于維持長時間的實驗——您可以取消一些任務(wù)，稍后恢復(fù)參數(shù)。每個實驗的輸出都會存儲在checkpoints/下的子目錄中，比如2017 05 24 _ 192314 _ batch _ size _ 25 _ LR _ 1e-4/。第一個數(shù)字是日期(YYYYMMDD)，第二個是時間(HMS)，其余都是超級參數(shù)。

記錄/存儲視覺學(xué)習(xí)的記錄。每個實驗都有自己的子目錄，對應(yīng)于checkpoints/。使用Edward的一個優(yōu)點是，您可以簡單地將一個參數(shù)(logdirlog/ subdir)傳遞給日志。跟蹤的默認張量流摘要可通過TensorBoard可視化。

培訓(xùn)后輸出/記錄探索性輸出；比如生成的圖片或者matplotlib圖，每個實驗都有自己對應(yīng)checkpoints/的子目錄。

軟件容器。Virtualenv是管理Python安裝環(huán)境的必備軟件，可以降低安裝Python的難度。如果你需要更強大的工具，Docker容器可以滿足你的需求。

虛擬鏈接:

碼頭集裝箱鏈接:

TensorBoard是可視化和探索模型訓(xùn)練的優(yōu)秀工具。因為TensorBoard有很好的交互性，你會發(fā)現(xiàn)它非常容易使用，因為它意味著你不 不需要配置很多matplotlib函數(shù)來理解訓(xùn)練。我們只需要把它加到代碼的張量上。

Edward默認記錄了大量的摘要，以便可視化訓(xùn)練迭代中函數(shù)值的損失、梯度和參數(shù)的變化。TensorBoard還包含了時間的對比，這也為全裝修TensorFlow代碼庫提供了很好的計算圖。對于僅通過TensorBoard無法診斷的疑難問題，我們可以輸出out/目錄中的內(nèi)容，查看結(jié)果。

調(diào)試錯誤消息。我的調(diào)試工作流程很糟糕。在這方面，我在代碼中嵌入了打印的語句，并通過消除過程來查找錯誤。這個方法很原始。雖然我還沒有 還沒試過，聽說TensorFlow的調(diào)試器很厲害。

增強研究理解

繼續(xù)研究你的模型和算法。通常，學(xué)習(xí)過程會讓你對自己的研究和模型有更好的了解。明白了。這可以讓你回到繪圖板，重新思考你的位置，并尋求進一步改善的方法。如果方法指向成功，可以從簡單的配置逐步擴大規(guī)模，嘗試解決高維問題。

在更高的層次上，工作流本質(zhì)上是將科學(xué)方法應(yīng)用于現(xiàn)實世界。在實驗的每一次迭代中，都不需要拋棄主要思想。另一方面，這一切的理論基礎(chǔ)必須是堅實的。

在這個過程中，實驗并不是孤立的。合作，與其他領(lǐng)域的專家交流，閱讀論文，從短期和長期的角度考慮問題，參加學(xué)術(shù)會議，這些都有助于拓寬你對問題的思考，有助于解決問題。