有誰(shuí)試過(guò)在ipad上看代碼嗎？用iPad閱讀源代碼當(dāng)然所需，Retina屏幕閱讀理解文字太爽。只不過(guò)iPad上沒(méi)有開(kāi)發(fā)工具，只不過(guò)都能夠讓你潛下心思考，就跟讀論文似的。具體大致有兩種：1.PDF首先你

有誰(shuí)試過(guò)在ipad上看代碼嗎？

用iPad閱讀源代碼當(dāng)然所需，Retina屏幕閱讀理解文字太爽。只不過(guò)iPad上沒(méi)有開(kāi)發(fā)工具，只不過(guò)都能夠讓你潛下心思考，就跟讀論文似的。具體大致有兩種：

1.PDF首先你要安裝doxygen，然后把運(yùn)行doxywizard。把輸出系統(tǒng)設(shè)置為latex模式，另外選上LATEX_SOURCE_CODE，等生成完了，到作為輸出目錄里take幫一下忙，就得到了帶目錄、調(diào)用關(guān)系圖（矢量），這些源碼（可跳轉(zhuǎn)到）的PDF。

這個(gè)方案我就不進(jìn)入正題了，程序員有能力自己慢慢出來(lái)。但是一般會(huì)用到opengrok的話，肯定還是PC瀏覽器比較好更方便。

沒(méi)有大數(shù)據(jù)，我們?cè)撊绾螌C(jī)器學(xué)習(xí)的想法制成原型？

從研究思想的提出到實(shí)驗(yàn)的詳細(xì)實(shí)現(xiàn)是工程中的基礎(chǔ)環(huán)節(jié)。只不過(guò)這一過(guò)程常常被一些的確的小瑕疵所影響。在學(xué)術(shù)界，研究生不需要受苦的科研——大量的編寫(xiě)代碼，編寫(xiě)書(shū)籍那就證明和論文創(chuàng)作。新的工程項(xiàng)目偶爾會(huì)是需要全新的代碼庫(kù)，并且大多很容易把過(guò)去應(yīng)用過(guò)的代碼然后伸延到這些新項(xiàng)目當(dāng)中去。

設(shè)計(jì)和實(shí)現(xiàn)此種情況，哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)博士生及OpenAI研究者DustinTran從其個(gè)人角度概要了從研究思想到實(shí)驗(yàn)過(guò)程的步驟。其中最最重要的的步驟是給出新觀點(diǎn)，這來(lái)講要大量時(shí)間；而且最起碼對(duì)作者來(lái)說(shuō)，實(shí)驗(yàn)環(huán)節(jié)不但是怎么學(xué)習(xí)，更是能解決無(wú)法預(yù)知的問(wèn)題的關(guān)鍵所在。另，作者還明確只能證明：這個(gè)工作流程僅范圍問(wèn)題于實(shí)驗(yàn)方面的研究，理論研究則要不違背另外的流程，事實(shí)上這兩者也有一些約定點(diǎn)。

找對(duì)問(wèn)題

在完全開(kāi)始一個(gè)項(xiàng)目之前，該如何讓你的想法「落地之前」曾經(jīng)的更臨時(shí)的議題是太重要的。有時(shí)它很簡(jiǎn)單的——看上去像導(dǎo)師會(huì)給你分配任務(wù)；或者一次性處理一個(gè)某種特定的數(shù)據(jù)集或?qū)嶋H問(wèn)題；又或是和你的合作者參與談話來(lái)確定工作內(nèi)容。

更為常見(jiàn)的是，研究其實(shí)是一系列想法（idea）不斷迭代所再產(chǎn)生的結(jié)果，這些想法大多數(shù)是按照平時(shí)要注意談話、近期工作、閱讀什么專業(yè)內(nèi)和專業(yè)外領(lǐng)域文獻(xiàn)和反復(fù)研讀超經(jīng)典論文所才能產(chǎn)生的。

我發(fā)現(xiàn)到了一種方法相當(dāng)有用嗎——即達(dá)到一個(gè)同一類的主文檔（masterdocument），這正常情況需要很多工作。

簡(jiǎn)單，它有一個(gè)項(xiàng)目列表來(lái)排序所有的研究想法、問(wèn)題和題目。有時(shí)侯它們是可以是比較高層面的問(wèn)題，那像「應(yīng)用于強(qiáng)化學(xué)習(xí)的貝葉斯/生成方法」、「幫忙解決機(jī)器學(xué)習(xí)領(lǐng)域的公平性問(wèn)題」；也也可以是一些很詳細(xì)的議題，諸如「全面處理EP中記憶古怪度的推理網(wǎng)絡(luò)」、「規(guī)模偏置的與中心對(duì)稱的Dirichlet先驗(yàn)的分析」。我偶爾會(huì)努力把項(xiàng)目列表寫(xiě)得更加簡(jiǎn)捷：子內(nèi)容實(shí)際一些鏈接參與展開(kāi)攻擊。

然后，根據(jù)接下來(lái)的事情要做的工作來(lái)對(duì)idea清單并且分類。這通常會(huì)給我的妖軍研究指明方向。我也可以依據(jù)什么其方向是否是和我的研究觀點(diǎn)完全不同、其必要性和有效性即將直接修改這些項(xiàng)目的優(yōu)先級(jí)。更重要的是的是，這個(gè)列表清單不只是是關(guān)於情報(bào)營(yíng)觀點(diǎn)的，更是關(guān)與接下來(lái)的事情我更很樂(lè)意想研究什么內(nèi)容的。從長(zhǎng)遠(yuǎn)的打算角度來(lái)考慮，這這對(duì)能找到最重要問(wèn)題和給出很簡(jiǎn)單新穎的解決方法是有重要貢獻(xiàn)的。我經(jīng)常ftp連接這個(gè)清單，新的安排好事務(wù)，先添加新想法，刪出不必要的議題。終于當(dāng)我也可以詳細(xì)的說(shuō)明一個(gè)idea的時(shí)候，它就也可以曾經(jīng)的一篇比較正式的論文了。一般來(lái)說(shuō)，我突然發(fā)現(xiàn)在同一個(gè)位置（同一個(gè)格式）迭代idea的過(guò)程可以不使開(kāi)始論文寫(xiě)作中的銜接和實(shí)驗(yàn)過(guò)程都變的越來(lái)越流暢。

管理呀一個(gè)項(xiàng)目

我們?yōu)榻诘腶rXiv預(yù)印本壘建的repository

最近喜歡在GitHub存儲(chǔ)庫(kù)中維護(hù)研究項(xiàng)目。反正一個(gè)「單元」的研究是多少，我都會(huì)將其定義成另外一種相對(duì)自我暗示乾坤二卦的東西；諸如，它很可能會(huì)直接連接到一篇某一特定的論文、一個(gè)已被應(yīng)用到的數(shù)據(jù)分析或目前一個(gè)某一特定主題。

GitHub存儲(chǔ)庫(kù)不僅可作用于跟蹤代碼，并且還可主要是用于監(jiān)視就像的研究進(jìn)程、論文寫(xiě)作進(jìn)度或一段時(shí)間其它合作項(xiàng)目。但項(xiàng)目的組織一直以來(lái)都是一個(gè)痛點(diǎn)。我比較好不喜歡以下的結(jié)構(gòu)，該結(jié)構(gòu)充斥Dave Blei，可戊戌變法檔案史料：~blei/seminar/2016_discrete_data/notes/week_01.pdf

為自己和合作者盡量了一個(gè)是需要去做的事的列表，這讓面臨的問(wèn)題和前進(jìn)的方向變得異常必須明確。

doc/包涵所有的記錄事項(xiàng)，每個(gè)子目錄都乾坤二卦一個(gè)會(huì)議紀(jì)要又或者文獻(xiàn)重新提交，main.tex是要注意文檔，每一章節(jié)大都有所不同文件，如introduction.tex，讓每個(gè)章節(jié)在一起可以不讓多人同樣如何處理完全不同的章節(jié)，盡量避免合并。有些人比較喜歡在主要實(shí)驗(yàn)?zāi)芡瓿珊笠淮螌?xiě)出完整論文，但我更就是喜歡把論文才是目前想法的記錄，并且讓它和想法本身一般，緊接著實(shí)驗(yàn)的進(jìn)展不斷地后撤。

etc/是其他與前面的目錄沒(méi)什么關(guān)系的內(nèi)容。我大多數(shù)用它來(lái)存儲(chǔ)項(xiàng)目中商討帶走的白板內(nèi)容的圖片。有時(shí)，我在日常工作中額外了一些靈感，我會(huì)將它們都資料記錄在Markdown文檔中，它都是三個(gè)用于隨意處置對(duì)于工作的各種評(píng)論的目錄，如合作者對(duì)于論文內(nèi)容的反饋。

src/是匯編語(yǔ)言所有代碼的位置?？蓡?dòng)的腳本都是真接寫(xiě)在src/上的，類和實(shí)惠程序?qū)懺诹薱odebase/上。下面我將具體說(shuō)明幫一下忙（另外另一個(gè)是腳本輸出目錄）。

編寫(xiě)代碼

我現(xiàn)在寫(xiě)所有代碼的工具都是Edward，我發(fā)現(xiàn)它是急速實(shí)驗(yàn)古代和現(xiàn)代概率模型和算法的最佳的方法框架。

Edward鏈接：

在概念層面上，Edward的吸引力取決于人語(yǔ)言不能違背數(shù)學(xué)：模型的生成過(guò)程被被轉(zhuǎn)化為4行Edward代碼；緊接著希望寫(xiě)出了什么的算法被被轉(zhuǎn)化為下一行……這種極純的轉(zhuǎn)換過(guò)程免掉了在未來(lái)試圖將代碼拓展為自然研究問(wèn)題時(shí)的麻煩：的或，在之前在用了相同的方法，的或調(diào)整了梯度估值，或一段時(shí)間了有所不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，或者在大數(shù)據(jù)幾乎全部應(yīng)用形式了其他方法等等。

在實(shí)踐層面上，我我總是從Edward的可以做到模型示例（在edward/examples或edward/notebooks）中獲益，我將自定義設(shè)置算法源代碼（在edward/inferences）另外一個(gè)新文件粘貼到我的項(xiàng)目中的codebase/目錄中，后再進(jìn)行調(diào)整。這樣零起步就變的更加簡(jiǎn)單的了，我們也可以不盡量的避免很多低級(jí)細(xì)節(jié)上的缺失。

在編寫(xiě)代碼時(shí)，我一直遵循PEP8（我尤其不喜歡prep8軟件包：），隨后接觸從腳本互相訪問(wèn)的類和函數(shù)定義中分離的過(guò)程每個(gè)腳本；前者被放在codebase/中以備導(dǎo)入。從最先又開(kāi)始維護(hù)代碼質(zhì)量時(shí)總好是的選擇，這個(gè)過(guò)程非常重要，畢竟項(xiàng)目會(huì)隨著時(shí)間不斷地再次膨脹，而其他人也會(huì)漸漸一并加入。

Jupyter記事本。許多人在可以使用Jupyter記事本（鏈接：）用作可可視化代碼開(kāi)發(fā)的方法，它也貼入可視化和LaTeX的很簡(jiǎn)單方法。對(duì)于我來(lái)說(shuō)，我完全沒(méi)有將它整合到自己的工作流中。我喜歡將自己所有的代碼寫(xiě)入文件Python腳本中，后再運(yùn)行腳本。但Jupyter等工具的交互性值得稱贊。

實(shí)驗(yàn)管理

在好的工作站或云服務(wù)商做投資是必要的事。GPU這樣的的特性基本都普片可用，而我們應(yīng)該要有權(quán)限并行不運(yùn)行許多工作。

我在本地計(jì)算機(jī)成功腳本c語(yǔ)言程序之后，我主要注意的工作流是：

1.運(yùn)行rsync離線我本地計(jì)算機(jī)的GithubRepository（包涵未授權(quán)文檔）到服務(wù)器的directory。

到服務(wù)器。

3.正在tmux并運(yùn)行腳本。眾事駁雜，tmux能讓你超脫此進(jìn)程，進(jìn)而不需要靜靜的等待它的結(jié)束才與服務(wù)器再度用戶交互。

在腳本看似可行之后，我正在用多個(gè)超參數(shù)配置苦練實(shí)驗(yàn)。這里有三個(gè)有幫助的工具tf.flags，它可以使用命令行嚴(yán)謹(jǐn)?shù)恼撟C提高一個(gè)Python腳本，得象下面那樣的話為我的腳本增強(qiáng)一些東西：

然后，你這個(gè)可以運(yùn)行下面這樣的終端命令：

這也讓遞交超參數(shù)更改后的服務(wù)器任務(wù)變的很難。

到最后，頓了頓管理實(shí)驗(yàn)時(shí)輸出的任務(wù)，回想再看看前文中src/目錄的結(jié)構(gòu)：

我們?cè)敿?xì)解釋了每個(gè)腳本和codebase/。其他三個(gè)目錄被主要是用于組織實(shí)驗(yàn)輸出：

checkpoints/記錄信息在訓(xùn)練中保存的模型參數(shù)。當(dāng)算法每固定次數(shù)迭代時(shí)，不使用來(lái)保存參數(shù)。這可促進(jìn)血液循環(huán)魔獸維護(hù)長(zhǎng)時(shí)間的實(shí)驗(yàn)——你很有可能會(huì)取消后一些任務(wù)，當(dāng)時(shí)還得可以恢復(fù)參數(shù)。每個(gè)實(shí)驗(yàn)的輸出都會(huì)讀取在checkpoints/中的一個(gè)子目錄下，如20170524_192314_batch_size_25_lr_1e-4/。第一個(gè)數(shù)字是日期（YYYYMMDD），第二個(gè)是時(shí)間（HMS），其余的是超參數(shù)。

log/讀取作用于可視化學(xué)習(xí)的記錄。你每次實(shí)驗(yàn)應(yīng)該有一類自己的和checkpoints/中不對(duì)應(yīng)的子目錄。可以使用Edward的一個(gè)好處只在于，對(duì)此日志，你這個(gè)可以簡(jiǎn)單點(diǎn)地傳達(dá)一個(gè)參數(shù)(logdirlog/subdir)。被探查的默認(rèn)TensorFlow包括題目是可以用TensorBoard可視化。

out/記錄訓(xùn)練結(jié)束了后的探索性輸出；.例如能生成的圖片或matplotlib圖，每個(gè)實(shí)驗(yàn)應(yīng)該有自己的和checkpoints/中填寫(xiě)的子目錄。

軟件容器。virtualenv是管理Python按裝環(huán)境的必備軟件，也可以增加直接安裝Python的困難程度。要是你不需要更強(qiáng)橫的工具，Dockercontainers可以滿足你的需要。

Virtualenv鏈接：

Dockercontainers鏈接：

TensorBoard是可視化和深入模型訓(xùn)練的一種杰出工具。畢竟TensorBoard具備良好的交互性，你就會(huì)發(fā)現(xiàn)它的很不容易損壞，畢竟這意味著不要配置大量matplotlib函數(shù)來(lái)知道一點(diǎn)訓(xùn)練。我們只不需要在代碼的tensor上參加。

Edward系統(tǒng)默認(rèn)記錄信息了大量摘要，以便于可視化訓(xùn)練迭代中損失的函數(shù)值、漸變和參數(shù)的變化。TensorBoard還以及經(jīng)時(shí)間的比較，也為充分修飾的TensorFlow代碼庫(kù)提供了很好的計(jì)算圖。是對(duì)無(wú)法只用TensorBoard并且確診的傷腦筋問(wèn)題，我們可以不在太out/目錄中輸出內(nèi)容并系統(tǒng)檢查這些結(jié)果。

調(diào)試出現(xiàn)了錯(cuò)誤信息。我的調(diào)試工作流的很糟糕。對(duì)于，我在代碼中導(dǎo)進(jìn)可以打印語(yǔ)句并消去過(guò)程來(lái)尋找錯(cuò)誤。這種方法太遠(yuǎn)古時(shí)期。確實(shí)還就沒(méi)接觸過(guò)，但我好像聽(tīng)說(shuō)TensorFlow的debugger功能相當(dāng)強(qiáng)大無(wú)比。

進(jìn)階研究再理解

不?？鐚I(yè)考研你的模型與算法，大多數(shù)，學(xué)習(xí)過(guò)程只會(huì)你對(duì)自己的研究和模型有更好的了解。這是可以讓你回到制圖板上，需要重新審視自己所處地點(diǎn)，跪求一系列提升到的方法。假如方法對(duì)準(zhǔn)完成，我們這個(gè)可以從簡(jiǎn)單的配置慢慢的擴(kuò)大規(guī)模，借著解決的辦法高維度的問(wèn)題。

從更高層級(jí)上看，工作流在本質(zhì)上就是讓科學(xué)方法應(yīng)用形式到虛無(wú)飄渺世界中。在實(shí)驗(yàn)過(guò)程中的每當(dāng)?shù)?，拋棄主要注意想法是不必要的。但再者，這一切的理論基礎(chǔ)需要穩(wěn)固。

在這個(gè)過(guò)程中，實(shí)驗(yàn)并并非孤立排擠的。合作、與其他領(lǐng)域的專家溝通和交流、閱讀什么論文、基于短期和常期角度決定問(wèn)題、參加學(xué)術(shù)會(huì)議都可促進(jìn)血液循環(huán)拓寬你看待事情問(wèn)題的思路并能幫助能解決問(wèn)題。