如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？聲明：本文區(qū)分于神經(jīng)網(wǎng)絡(luò)初學(xué)者。神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)要比絕大多數(shù)程序更難了，畢竟大多數(shù)bug不會可能導(dǎo)致運行錯誤，只會造成松動的收斂。也許是肯定會有許多但卻含糊其辭的錯誤`信息：

如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？

聲明：本文區(qū)分于神經(jīng)網(wǎng)絡(luò)初學(xué)者。

神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)要比絕大多數(shù)程序更難了，畢竟大多數(shù)bug不會可能導(dǎo)致運行錯誤，只會造成松動的收斂。也許是肯定會有許多但卻含糊其辭的錯誤`信息：

性能錯誤：你的神經(jīng)網(wǎng)絡(luò)沒有訓(xùn)練好（PerformanceError:yourneuralnetdid nottrainnicely.）。

要是你比較有經(jīng)驗，就應(yīng)該要知道這表示代碼還不需要大改。

一、處理NaN？多數(shù)情況下，NaN錯誤在前100次迭代中出現(xiàn)，原因很簡單：你的學(xué)習(xí)率過低了。當(dāng)去學(xué)習(xí)率非常高的時候，都會在前100次迭代的時候再次出現(xiàn)NaN錯誤。用因子為3來減低學(xué)習(xí)率，待到前100次迭代并沒有又出現(xiàn)NaN錯誤。這件事否則的話比較有效，你就有了一個的很好的學(xué)習(xí)率才是開端。據(jù)我的經(jīng)驗，好是的學(xué)習(xí)率是你換取NaN出現(xiàn)錯誤的范圍的一到十分之一。

如果不是你在100次迭代之后接觸了NaN錯誤，又有兩種常見原因。

假如你建議使用的是RNN，確保全你在用了梯度下降，并對梯度在用L2正則化。RNN似乎在訓(xùn)練早期會產(chǎn)生梯度，10%或更少的批次有學(xué)習(xí)峰值，此時的梯度幅值是也很高的。沒有對梯度削減石油，這些峰值會才能產(chǎn)生NaN。

如果沒有寫的是可以自定義的網(wǎng)絡(luò)層，這樣很可能會因為乘以50而演變成NaN。另一個眾所皆知會有一種Nan出現(xiàn)錯誤的層是Softmax層。Softmax可以計算包括分子分母的exp(x)你的操作，它也可以用無限小乘以5無限大，會再產(chǎn)生NaN。必須保證你在用了很穩(wěn)定的Softmax實現(xiàn)。

二、神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)？一但你沒有了NaN錯誤，那就你的神經(jīng)網(wǎng)絡(luò)就可以在上千次迭代中穩(wěn)健運行，但是不可能在前幾百次迭代后會減少訓(xùn)練損失。當(dāng)你第一次構(gòu)建體系代碼庫的時候，最好是別建議使用2000次迭代。這并也不是畢竟所有的網(wǎng)絡(luò)這個可以從少于2000次迭始學(xué)習(xí)。只不過，從開頭正在編碼網(wǎng)絡(luò)很可能又出現(xiàn)bug，在都沒有達(dá)到高迭代次數(shù)之前，你會想不能過早參與調(diào)試?，F(xiàn)在的目的是一次次地漲大問題范圍，等到你換取了一個在2000次迭代以下訓(xùn)練出來的網(wǎng)絡(luò)。她的幸運地是，有兩種來減低復(fù)雜性。

將訓(xùn)練什么集大小增大到10個實例。在幾百次的迭代中，在這10個實例上，神經(jīng)網(wǎng)絡(luò)通常會出現(xiàn)運動過多數(shù)據(jù)擬合的情況。許多編碼出錯應(yīng)該不會造成過擬合的出現(xiàn)。如果你的網(wǎng)絡(luò)在10個實例的訓(xùn)練集上沒有會出現(xiàn)過度曲線擬合，那就確保你使用的數(shù)據(jù)掛著了正確的標(biāo)簽。將批次大小大小改變到1來全面檢查批次計算錯誤。在代碼中直接添加再打印語句確保全輸出來與你只希望的一致。通常情況下，你可以不通過上面詳細(xì)介紹的只不過是蠻力來看出錯誤。一但網(wǎng)絡(luò)這個可以在10個實例上訓(xùn)練，你這個可以試著讓它在100個實例上訓(xùn)練。如果這種運行正常嗎，但效果并非非常好，你可以不試試看下面的方法。

解決的辦法你感興趣的最簡單的問題。如果不是你想翻譯句子，是需要這個可以確立一個因為特定的事件語言的語言模型。如果沒有你完成了，那你試著在具體3個詞語的情況下預(yù)測英譯中不出來的第一個詞。如果你想可以檢測圖像中的物體，這樣的話在訓(xùn)練訓(xùn)練進(jìn)入虛空網(wǎng)絡(luò)之前，你也可以對圖像中物體數(shù)目并且分類。在網(wǎng)絡(luò)能解決的傷腦筋問題和使用大約的時間讓代碼我得到比較好的數(shù)據(jù)之間必須權(quán)衡。這會兒現(xiàn)在就要發(fā)揮出來你的創(chuàng)造能力了。

將神經(jīng)網(wǎng)絡(luò)應(yīng)用于其他新場景的技巧是合理使用上面介紹的兩個步驟。這是一種協(xié)調(diào)機(jī)制，另外效果比較不錯。簡單的方法，你是因為這個神經(jīng)網(wǎng)絡(luò)至多可以不記好幾個例子。然后再這個神經(jīng)網(wǎng)絡(luò)是可以相對化到更簡單點問題的驗證分散。你漸漸在拿到加足馬力進(jìn)展時提升難度。這完全沒有高手第二次可以使用的Karpathy風(fēng)格這樣很有意思，但起碼它起作用。有時你會遇到頭疼的問題，你會發(fā)覺它在2000次迭代中絕對不會一直怎么學(xué)習(xí)了。那很棒！但它的迭代次數(shù)大多會是這個問題之前古怪度下迭代次數(shù)的10倍。如果沒有你發(fā)現(xiàn)到是那種情況，一段時間搜索不算高水平的古怪度。

三、調(diào)整超參數(shù)現(xiàn)在你的網(wǎng)絡(luò)可以怎么學(xué)習(xí)東西了，你肯定會自鳴得意。你還很可能發(fā)現(xiàn)你訓(xùn)練的網(wǎng)絡(luò)根本不還能夠解決的辦法大多數(shù)復(fù)雜的問題。超參數(shù)調(diào)整應(yīng)該是解決問題的方法的關(guān)鍵。有些人真接可以下載一個CNN的包然后在他們的數(shù)據(jù)集上啟動，接著我告訴你說在用超參數(shù)調(diào)整并沒有什么給予什么不同。這是畢竟它們建議使用早必然的架構(gòu)來能解決巳經(jīng)現(xiàn)存問題。如果沒有你什么問題啊必須新的架構(gòu)呢，實際超參數(shù)調(diào)整來能得到良好素質(zhì)的設(shè)置是需要的了。你最好以保證是對你什么問題啊泛讀了超參數(shù)教程，當(dāng)然了我肯定會在下面列出一些基本思想。

可視化：最好別怕在訓(xùn)練過程中花時間編寫選項卡可視化工具。要是你的可視化方法效果不行，那么判斷換另一種方法。

權(quán)重初始化操作：一般情況下，會增大的初始化權(quán)重是個不錯的選擇，但是太大又會會造成NaN。

必須保證權(quán)重看起來“健康”。要打聽一下這是什么意思，我個人建議在IPython的notebook中一欄超過網(wǎng)絡(luò)的權(quán)重值?；ㄐr間來仔細(xì)觀察在諸如ImageNet或PennTreeBank這些標(biāo)準(zhǔn)的數(shù)據(jù)集上訓(xùn)練的完全成熟的網(wǎng)絡(luò)中成分的權(quán)重的直方圖應(yīng)該要是什么樣的。

神經(jīng)網(wǎng)絡(luò)的w.r.t.輸入不是增加的，特別是在在用SGD而并非其他方法訓(xùn)練的時候，是因為SGD不是尺度變?yōu)榈姆椒?。花時間用與儲存其他方面的來擴(kuò)大然后輸入數(shù)據(jù)和輸出來標(biāo)簽。

在訓(xùn)練過程中減低去學(xué)習(xí)速率甚至總會給你給予提升。最好就是的能量損失策略通常是：在k次迭代后，每n次迭代就用學(xué)率除以21.5，kgtn。

不使用超參數(shù)配置文件，確實把超參數(shù)放到代碼中也行，但假如你想試一下完全不同的值這樣會都很麻煩的話。我把參數(shù)裝在一個JSON文件中，不使用一條命令導(dǎo)出，準(zhǔn)確的格式不重要的是。最好不要絕不可能重構(gòu)代碼，只不過重新加載超參數(shù)都很麻煩！重新架構(gòu)會分解重組bug，它們城就會延長訓(xùn)練周期，但是可以在你能得到一個你喜歡的網(wǎng)絡(luò)前避免。

更多優(yōu)質(zhì)內(nèi)容，請緩慢參與鎂客網(wǎng)~~

大數(shù)據(jù)主要涉及的內(nèi)容有哪些？可以從事哪些崗位？

你記得大學(xué)本科畢業(yè)的第一份工作，我們公司的業(yè)務(wù)那就是做BI產(chǎn)品研發(fā)。哪時候互聯(lián)網(wǎng)就沒今天那樣激狂，也沒有大數(shù)據(jù)、移動互聯(lián)網(wǎng)的概念。記住有一次和同事去華師后門買書，同事買了一本javascript,我買了一個ajax。那時，我們產(chǎn)品的客戶端是用Delphi的新的，當(dāng)然買書就是是為另外一點新知識，工作中基本是用不了。在公司的第三年，公司要轉(zhuǎn)做web的BI展示界面，我?guī)凸居胹vg做了兩個展示組件，心里肯定美滋滋的。

伴隨著時間的推移、電商的發(fā)展，大數(shù)據(jù)、云計算似乎成了每個互聯(lián)網(wǎng)公司對外宣傳的標(biāo)準(zhǔn)說法。如果不講點這些概念，顯然給人覺得不完整些逼格。我記得10年在公司的三次培訓(xùn)上，有個同事問，云計算有沒你搞出的，就是因為我姓云。聽見這個問題，我又哭又笑皆無。

大數(shù)據(jù)這個概念喊了這些年來了，很多人應(yīng)該不明白大數(shù)據(jù)指的是什么？就是為了解釋好這個問題，我還去拿來去搜索了大數(shù)據(jù)的概念。老老實實說百科的解釋，連我從事行業(yè)了這些年互聯(lián)網(wǎng)的人，也沒搞懂。

“大數(shù)據(jù)（big data），IT行業(yè)術(shù)語，是指難以在肯定會時間范圍內(nèi)用查看軟件工具接受捕捉、管理和處理的數(shù)據(jù)真包含于，是要新處理模式才能具備更強(qiáng)的決策力、深刻洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和豐富化的信息資產(chǎn)?！?/p>

什么是大數(shù)據(jù)？

大數(shù)據(jù)說的含蓄點，那就是句子修辭一套技術(shù)手段，把數(shù)據(jù)變的信息和知識的過程。數(shù)據(jù)而言是沒有價值的東西，我們要把數(shù)據(jù)加工成信息或則知識，才能被人類再理解。舉個例子：公司一周的考勤數(shù)據(jù)是意義不大的東西，但我們實際一月考勤數(shù)據(jù)的分析和都很，我們發(fā)現(xiàn)到張三這個員工還老遲到一分鐘。這樣，張三總是早退這個信息就對公司的管理有幫助了，領(lǐng)導(dǎo)要去所了解下，你是不是張三家有什么事？也可以張三最近直接出現(xiàn)別的狀況？

大數(shù)據(jù)的“大”又要如何表述呢？正所謂“大”，一層含義指數(shù)據(jù)的體量大，在數(shù)據(jù)庫時代數(shù)據(jù)以GB為單位，但在互聯(lián)網(wǎng)時代以TB為單位，數(shù)據(jù)的體量升了一個數(shù)量級。另一層含義指數(shù)據(jù)形式的多樣化。在比較傳統(tǒng)BI應(yīng)用中，數(shù)據(jù)大都是存儲在關(guān)系型數(shù)據(jù)庫中，但在互聯(lián)網(wǎng)時代，數(shù)據(jù)的形式變得異常多元化了，的或:文本、視頻及數(shù)據(jù)庫。清楚了大數(shù)據(jù)的概念，我們過來看，大數(shù)據(jù)包含哪些內(nèi)容。

大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)從技術(shù)的角度再去看，真包含兩大分支：數(shù)據(jù)分析和數(shù)據(jù)挖掘。數(shù)據(jù)分析是對歷史數(shù)據(jù)的分析，為管理可以提供輔助決策信息。數(shù)據(jù)挖掘是想研究趨勢和未來的問題，比較多應(yīng)用到在預(yù)測方面。從業(yè)務(wù)的時效性要求再去看，分成三類：實時在線分析系統(tǒng)和離線分析系統(tǒng)。的或:網(wǎng)站的實時用戶區(qū)域分佈狀況應(yīng)該是智能分析應(yīng)用；2019年全國各省GDP排名分析是離綫總結(jié)應(yīng)用。

從大數(shù)據(jù)項目的過程看，大數(shù)據(jù)包涵：數(shù)據(jù)采集、數(shù)據(jù)收集、數(shù)據(jù)轉(zhuǎn)化與存儲、數(shù)據(jù)建模分析、上層應(yīng)用展示等。大數(shù)據(jù)的難點，本質(zhì)海量數(shù)據(jù)的分析，這又不屬于到海量數(shù)據(jù)存儲及分析架構(gòu)等問題。

明確的Hadoop的技術(shù)體系來講，flume單獨抽取和轉(zhuǎn)化成存儲文件在服務(wù)器各處的日志及數(shù)據(jù)，存儲文件在以hdfs文件系統(tǒng)的或hive也可以hbase等數(shù)據(jù)倉庫中，再利用hadoop架構(gòu)的規(guī)范，匯編語言mapreduce作業(yè)，再把分析結(jié)果展示更多給用戶。不過，這里面設(shè)計什么到數(shù)據(jù)分析的各種算法。

大數(shù)據(jù)相關(guān)的工作崗位

下面介紹下，大數(shù)據(jù)相關(guān)的核心崗位：

業(yè)務(wù)專家或者顧問：為大數(shù)據(jù)可以提供研發(fā)方向和可以確定研究主題，并為技術(shù)人員能提供業(yè)務(wù)支持。

數(shù)據(jù)分析師：畜牧獸醫(yī)相關(guān)專業(yè)數(shù)據(jù)收集、整理、分析并依據(jù)數(shù)據(jù)表現(xiàn)出評估和預(yù)測的專業(yè)人員。

數(shù)據(jù)挖掘工程師：從海量數(shù)據(jù)中才發(fā)現(xiàn)規(guī)律，必須比較好的算法和數(shù)學(xué)基礎(chǔ)。

可視化工程師：能提供美觀、以便于人們表述的分析的結(jié)果展示界面。

維護(hù)工程師：負(fù)責(zé)服務(wù)器環(huán)境的配置、壘建和運維。

每個公司采用的大數(shù)據(jù)技術(shù)線路有所不同，工作崗位會有了差距。比較感興趣朋友，可以自己去知道一點下，超過的幾種大數(shù)據(jù)方案。

伴隨著5G網(wǎng)絡(luò)的建設(shè)，接入網(wǎng)絡(luò)的iot設(shè)備會越來越多，互聯(lián)網(wǎng)所學(xué)習(xí)積累的數(shù)據(jù)，可能會成級數(shù)提升。在未來幾年，大數(shù)據(jù)行業(yè)始終是朝陽行業(yè)，需要的大數(shù)據(jù)人才會越來越多，我希望本文對有意愿加入到大數(shù)據(jù)行業(yè)的朋友，有所啟發(fā)和幫助，也希望大家能對大數(shù)據(jù)的概念，有更清晰的認(rèn)識。謝謝啊！