侵權投訴

關於Dropout、BN及數據預處理方案

電子設計 2021-05-31 17:37 次閲讀

一、隨機失活(Dropout)

具體做法:在訓練的時候,隨機失活的實現方法是讓神經元以超參數o4YBAF-cdnmAWpDBAAACU_DoSa0457.png的概率被激活或者被設置為 0。如下圖所示:

pIYBAF-cdnuAKYslAABDQ5yQB94073.jpg

Dropout 可以看作是 Bagging 的極限形式,每個模型都在當一種情況中訓練,同時模型的每個參數都經過與其他模型共享參數,從而高度正則化。在訓練過程中,隨機失活也可以被認為是對完整的神經網絡抽樣出一些子集,每次基於輸入數據只更新子網絡的參數(然而,數量巨大的子網絡們並不是相互獨立的,因為它們都共享參數)。在測試過程中不使用隨機失活,可以理解為是對數量巨大的子網絡們做了模型集成(model ensemble),以此來計算出一個平均的預測。

關於 Dropout 的 Motivation:一個是類似於性別在生物進化中的角色:物種為了生存往往會傾向於適應這種環境,環境突變則會導致物種難以做出及時反應,性別的出現可以繁衍出適應新環境的變種,有效的阻止過擬合,即避免環境改變時物種可能面臨的滅絕。還有一個就是正則化的思想,減少神經元之間複雜的共適應關係,減少權重使得網絡對丟失特定神經元連接的魯棒性提高。

這裏強烈推薦看下論文原文。雖然是英文的,但是對於更深刻的理解還是有很大幫助的!

二、圖像數據的預處理

為什麼要預處理:簡單的從二維來理解,首先,圖像數據是高度相關的,假設其分佈如下圖 a 所示(簡化為 2 維)。由於初始化的時候,我們的參數一般都是 0 均值的,因此開始的擬合 o4YBAF-cdn2AUm5PAAAISG9lNi8513.png,基本過原點附近(因為 b 接近於零),如圖 b 紅色虛線。因此,網絡需要經過多次學習才能逐步達到如紫色實線的擬合,即收斂的比較慢。如果我們對輸入數據先作減均值操作,如圖 c,顯然可以加快學習。更進一步的,我們對數據再進行去相關操作,使得數據更加容易區分,這樣又會加快訓練,如圖 d。

pIYBAF-cdoCAGQkwAAAU0Fjltps385.jpg

下面介紹下一些基礎預處理方法:

歸一化處理

均值減法(Mean subtraction):它對數據中每個獨立特徵減去平均值,從幾何上可以理解為在每個維度上都將數據雲的中心都遷移到原點。(就是每個特徵數據減去其相應特徵的平均值)

歸一化(Normalization);先對數據做零中心化(zero-centered)處理,然後每個維度都除以其標準差。

pIYBAF-cdoKAHx1cAAAs6MzWcJQ190.jpg

(中間零中心化,右邊歸一化)

PCA 和白化(Whitening)

白化(Whitening):白化操作的輸入是特徵基準上的數據,然後對每個維度除以其特徵值來對數值範圍進行歸一化。該變換的幾何解釋是:如果數據服從多變量的高斯分佈,那麼經過白化後,數據的分佈將會是一個均值為零,且協方差相等的矩陣

特徵向量是按照特徵值的大小排列的。我們可以利用這個性質來對數據降維,只要使用前面的小部分特徵向量,丟棄掉那些包含的數據沒有方差的維度。這個操作也被稱為主成分分析( Principal Component Analysis)簡稱 PCA)降維

o4YBAF-cdoSAM91NAAAqrWV9zyE177.jpg

(中間是經過 PCA 操作的數據,右邊是白化)

需要注意的是:

對比與上面的中心化,與 pca 有點類似,但是不同的是,pca 把數據變換到了數據協方差矩陣的基準軸上(協方差矩陣變成對角陣),也就是説他是軸對稱的,但簡單的零中心化,它不是軸對稱的;還有 PCA 是一種降維的預處理,而零中心化並不是。

常見錯誤:任何預處理策略(比如數據均值)都只能在訓練集數據上進行計算,算法訓練完畢後再應用到驗證集或者測試集上。例如,如果先計算整個數據集圖像的平均值然後每張圖片都減去平均值,最後將整個數據集分成訓練 / 驗證 / 測試集,那麼這個做法是錯誤的。應該怎麼做呢?應該先分成訓練 / 驗證 / 測試集,只是從訓練集中求圖片平均值,然後各個集(訓練 / 驗證 / 測試集)中的圖像再減去這個平均值。

三、Batch Normalization

pIYBAF-cdoeAaDEsAACN5x16PK0221.png

原論文中,作者為了計算的穩定性,加了兩個參數將數據又還原回去了,這兩個參數也是需要訓練的。説白了,就是對每一層的數據都預處理一次。方便直觀感受,上張圖:

o4YBAF-cdomALAtFAABipDQJan0158.jpg

這個方法可以進一步加速收斂,因此學習率可以適當增大,加快訓練速度;過擬合現象可以得倒一定程度的緩解,所以可以不用 Dropout 或用較低的 Dropout,而且可以減小 L2 正則化係數,訓練速度又再一次得到了提升。即 Batch Normalization 可以降低我們對正則化的依賴程度。

還有要注意的是,Batch Normalization 和 pca 加白化有點類似,結果都是可以零均值加上單位方差,可以使得數據弱相關,但是在深度神經網絡中,我們一般不要 pca 加白化,原因就是白化需要計算整個訓練集的協方差矩陣、求逆等操作,計算量很大,此外,反向傳播時,白化操作不一定可導。最後,再次強烈直接看 BN 的相關論文,有很多細節值得一看!

編輯:hfy

收藏 人收藏
分享:

評論

相關推薦

基於人工神經網絡的駕駛動態辨識模型

駕駛傾向性是衡量駕駛員駕駛過程中情緒偏妤的動夵指標,是碰撞報警烝統中考慮的關鍵參教。在分析駕駛傾向性....
發表於 06-01 11:27 12次 閲讀
基於人工神經網絡的駕駛動態辨識模型

基於FPGA的神經網絡硬件實現方法

基於FPGA的神經網絡硬件實現方法説明。
發表於 06-01 09:35 6次 閲讀
基於FPGA的神經網絡硬件實現方法

基於進化計算的神經網絡設計與實現

基於進化計算的神經網絡設計與實現説明。
發表於 06-01 09:25 6次 閲讀
基於進化計算的神經網絡設計與實現

基於神經網絡的優化計算實驗

掌握連續Hopfield神經網絡的結構和運行機制,理解連續Hopfield神經網絡用於優化計算的基本....
發表於 05-31 17:02 5次 閲讀
基於神經網絡的優化計算實驗

神經網絡控制簡介

神經網絡控制基礎知識簡介。
發表於 05-31 16:37 5次 閲讀
神經網絡控制簡介

神經網絡自適應控制及其發展應用

文章系統地闡述了神經網絡自適應控制的本質、優勢與研究進展,介紹了神經網絡自適應控制的不同結構模型及其....
發表於 05-31 16:35 6次 閲讀
神經網絡自適應控制及其發展應用

一種適用於模式識別的新型神經網絡

提出了一種適用於模式識別的新型神經網絡模型——局部有監督特徵映射網絡,描述了該網絡的拓撲結構和學習算....
發表於 05-31 16:29 6次 閲讀
一種適用於模式識別的新型神經網絡

自組織神經網絡及其運用

自組織神經網絡及其運用説明。
發表於 05-31 16:25 5次 閲讀
自組織神經網絡及其運用

自構造RBF神經網絡及其參數優化

自構造RBF神經網絡及其參數優化説明。
發表於 05-31 15:25 4次 閲讀
自構造RBF神經網絡及其參數優化

基於組合信號源的非線性採樣系統辨識方法

為解決對非線性採樣系統的狀態空間 Hammerstein模型難以辨識的問題,提岀了基於組合信號源的辨....
發表於 05-31 14:32 13次 閲讀
基於組合信號源的非線性採樣系統辨識方法

入門自然語言處理的基本任務——文本匹配

2020年初,新冠疫情席捲全球。除了“待在家,不亂跑”,我想還能從哪為抗擊疫情出點微薄之力呢? 碰巧....
的頭像 深度學習自然語言處理 發表於 05-31 11:51 137次 閲讀
入門自然語言處理的基本任務——文本匹配

基於DSCNN-BiLSTM的網絡入侵檢測方法

針對傳統的入侵檢測方法無法有效提取網絡流量數據特徵的問題,提岀了一種基於 DSCNN- BILSTM....
發表於 05-31 11:20 7次 閲讀
基於DSCNN-BiLSTM的網絡入侵檢測方法

基於分層注意力的社交網絡信息級聯預測

信息級聯預測( Information Cascade prediction)是社交網絡分析領域的一....
發表於 05-29 14:52 88次 閲讀
基於分層注意力的社交網絡信息級聯預測

基於多尺度殘差網絡的邊緣檢測技術

面向對象的邊緣檢測技術是智能視覺處理領堿的關鍵基礎技術,然而目前基於卷積神經網絡的邊緣檢測結果存在分....
發表於 05-29 14:27 11次 閲讀
基於多尺度殘差網絡的邊緣檢測技術

基於空譜聯合特徵的高光譜圖像分類方法

針對高光譜圖像特徵利用不足的問題,提出了一種新的基於空譜聯合特徵的高光譜圖像分類方法。該方法首先利用....
發表於 05-28 16:53 6次 閲讀
基於空譜聯合特徵的高光譜圖像分類方法

基於SSD和深層神經網絡的目標檢測方法

為了提高計算機視覺中目標檢測的一種基本模型SSD在多任務場景中的準確率和效率,基於深度學習的相關理論....
發表於 05-28 14:55 7次 閲讀
基於SSD和深層神經網絡的目標檢測方法

基於YOLOv3的嵌入式設備視頻目標檢測算法

深度神經網絡在目標檢測領域具有優異的檢測性能,但其結構複雜、計算量大,難以在嵌入式設備上進行髙性能的....
發表於 05-28 14:05 16次 閲讀
基於YOLOv3的嵌入式設備視頻目標檢測算法

基於FPGA的SIMD卷積神經網絡加速器

當前,卷積神經網絡已在圖像分類、目標檢測等計算機視覺領域被廣泛應用。然而,在前向推斷階段許多實際應用....
發表於 05-28 14:00 14次 閲讀
基於FPGA的SIMD卷積神經網絡加速器

基於多列卷積神經網絡的人羣計數算法

為解決單幅圖像中的人羣遮擋和尺度變化問題,提出一種基於多列卷積神經網絡的人羣計數算法。利用具有不同尺....
發表於 05-28 11:08 12次 閲讀
基於多列卷積神經網絡的人羣計數算法

首屆RISC-V中國峯會即將舉行 彙集最新技術和學術成果

本次峯會由上海科技大學和中國科學院軟件研究所聯合主辦,中國RISC-V產業聯盟(CRVIC)、中國開....
發表於 05-28 09:16 599次 閲讀
首屆RISC-V中國峯會即將舉行 彙集最新技術和學術成果

基於多尺度CNN的交通道路標識識別模型

基於多縱卷積神經網絡的交通標誌識別算法識別率較高,但識別和訓練時間較長,實用性較差。為此,構造一種基....
發表於 05-27 16:34 9次 閲讀
基於多尺度CNN的交通道路標識識別模型

基於循環神經網絡模型的航班客座率預測

準確預測航班客座率有利於處理航班機票超售、座位虛耗等冋題,然而傳統時間序列預測方法只關注航班近期每日....
發表於 05-27 16:24 82次 閲讀
基於循環神經網絡模型的航班客座率預測

一種基於多任務學習的人臉屬性識別方法

針對傳統深度卷積神經網絡模型複雜、識別速度慢的問題,提岀一種基於多任務學習的人臉屬性識別方法。通過輕....
發表於 05-27 16:18 111次 閲讀
一種基於多任務學習的人臉屬性識別方法

神經網絡的基本原理

神經網絡的基本原理説明。
發表於 05-27 15:26 7次 閲讀
神經網絡的基本原理

神經網絡加速器簡述

神經網絡加速器基本概念。
發表於 05-27 15:22 8次 閲讀
神經網絡加速器簡述

一種高精度的肝臟圖像自動分割算法

在利用卷積神經網絡分割肝臟邊界較模糊的影像數據時容易丟失位置信息,導致分割精度較低。針對該問題,提出....
發表於 05-27 15:17 6次 閲讀
一種高精度的肝臟圖像自動分割算法

人工神經網絡控制

神經網絡控制,即基於神經網絡控制或簡稱神經控制,是指在控制系統中採用神經網絡這一工具對難以精確描述的....
發表於 05-27 15:02 14次 閲讀
人工神經網絡控制

基於改進YOLOv的靜態手勢實時識別方法

針對基於人工建模方式的手勢識別方法準確率低、速度慢的問題,提岀一種基於改進YOLOⅴ3的靜態手勢實時....
發表於 05-27 14:52 10次 閲讀
基於改進YOLOv的靜態手勢實時識別方法

基於改進CNN網絡與集成學習的人臉識別算法

針對複雜卷積神經網絡(CNN)在中小型人臉數據庫中的識別結果容易出現過擬合現象,提出一種基於改進CN....
發表於 05-27 14:36 12次 閲讀
基於改進CNN網絡與集成學習的人臉識別算法

基於全卷積神經網絡的單像素邊緣提取算法

為實現複雜背景圖像中髙精度邊緣的準確提取,提出一種改進的單像素邊緣提取算法。在改進的全卷積神經網絡中....
發表於 05-27 14:30 6次 閲讀
基於全卷積神經網絡的單像素邊緣提取算法

Matlab的模式識別和計算智力使用技巧

Matlab的模式識別和計算智力使用技巧 説明。
發表於 05-27 09:21 6次 閲讀
Matlab的模式識別和計算智力使用技巧

基於行為主體定位的視頻快速檢測方法

現有視頻行為檢測方法在生成候選區域時採用滑窗操作,處理長視頻速度較慢。針對該問題,通過對靜態行為主體....
發表於 05-26 16:53 11次 閲讀
基於行為主體定位的視頻快速檢測方法

基於機器學習的隱藏恐怖分子預測算法

當今世界恐怖襲擊事件頻繁發生,通過對嫌疑人進行預測分析,有利於儘早發現新生或者隱藏的恐怖分子並對其進....
發表於 05-26 16:18 90次 閲讀
基於機器學習的隱藏恐怖分子預測算法

基於集成深度算法的網絡入侵檢測方法

基於卷積神經網絡(CN)的入侵檢測方法在實際應用中模型訓練時間過長、超參數較多、數據需求量大。為降低....
發表於 05-26 15:53 18次 閲讀
基於集成深度算法的網絡入侵檢測方法

基於結構感知的雙編碼器解碼器模型

在軟件開發過程中,性能良好的代碼註釋工具能夠提高開發效率並降低維護成本。部分研究者將代碼註釋自動生成....
發表於 05-26 15:38 9次 閲讀
基於結構感知的雙編碼器解碼器模型

藉助局部實體特徵的事件觸發詞抽取方法

於神經網絡的觸發詞抽取模型利用實體信息判別觸發詞,但大量無關實體會影響觸發詞抽取效果。提出一種藉助局....
發表於 05-26 15:24 8次 閲讀
藉助局部實體特徵的事件觸發詞抽取方法

基於CNN的無線電調頻廣播同頻干擾檢測算法

針對無線電干擾中較為突出的同頻干擾問題,將深度學習應用於干擾信號檢測,提出一種無線電調頻廣播同頻干擾....
發表於 05-25 16:53 16次 閲讀
基於CNN的無線電調頻廣播同頻干擾檢測算法

基於神經網絡與隱含狄利克雷分配的文本分類

傳統隱含狄利克雷分配(LDA)主題模型在文本分類計算時利用 Gibbs sg擬合已知條件分佈下的未知....
發表於 05-25 15:20 12次 閲讀
基於神經網絡與隱含狄利克雷分配的文本分類

神經網絡模型剪枝後泛化能力的驗證方案

針對神經網絡模型在剪枝操作中υrˆ opout率下調造成的過擬合冋題,提岀一種剪枝模型泛化能力的驗證....
發表於 05-25 14:48 8次 閲讀
神經網絡模型剪枝後泛化能力的驗證方案

基於深度殘差神經網絡的遠程監督關係抽取模型

基於卷積神經網絡的遠程監督關係抽取方法提取的特徵單一,且標準交叉熵損失函數未能較好處理數據集中正負樣....
發表於 05-24 17:06 9次 閲讀
基於深度殘差神經網絡的遠程監督關係抽取模型

人類大腦與人工智能究竟會誰勝誰負?

IDG君寫在前面: 1973年,英國的詹姆斯·萊特希爾爵士在調查研究了美國的AI熱之後,在議會發表了....
的頭像 IDG資本 發表於 05-24 16:54 314次 閲讀
人類大腦與人工智能究竟會誰勝誰負?

基於空間特徵的遙感圖像場景分類方法

為充分利用遙感圖像的場景信息,提高場景分類的正確率,提出一種基於空間特徵重標定網絡的場景分類方法。採....
發表於 05-24 16:37 11次 閲讀
基於空間特徵的遙感圖像場景分類方法

基於神經網絡的大數據腳本攻擊智能檢測

通過類圖像處理與向量化方法對訪問流量語料庫大數據進行詞向量化處理,實現面向大數據跨站腳本攻擊的智能檢....
發表於 05-24 16:34 13次 閲讀
基於神經網絡的大數據腳本攻擊智能檢測

基於脈衝神經網絡的遷移學習算法

使用脈衝序列進行數據處理的脈衝神經網絡具有優異的低功耗特性,但由於學習算法不成熟,多層網絡練存在收斂....
發表於 05-24 16:03 16次 閲讀
基於脈衝神經網絡的遷移學習算法

基於密集註意力網絡的圖像自動分割算法

視網膜血管的結構信息對眼科疾病的診斷具有重要的指導意義,對視網膜血管圖像進行髙效正確的分割成為臨牀的....
發表於 05-24 15:45 12次 閲讀
基於密集註意力網絡的圖像自動分割算法

基於神經網絡和代碼相似度的漏洞檢測

靜態漏洞檢測通常只針對文本進行檢測,執行效率高但是易產生誤報。針對該問題,結合神經網絡技術提出一種基....
發表於 05-24 15:13 13次 閲讀
基於神經網絡和代碼相似度的漏洞檢測

未來或許深度學習江湖統一真的不是夢

你能想象某一天打開深度學習的詞條,發現: 深度學習的江湖已經能夠被統一了嗎? 幾何學上的對稱性可以玩....
的頭像 新機器視覺 發表於 05-23 15:13 264次 閲讀
未來或許深度學習江湖統一真的不是夢

在人工智能的時代,是不是該輪到自動化瑟瑟發抖了?

在機器時代,有“機器吃人”的憤怒控訴;在自動化的時代,輪到機械化慨嘆過去的好時光了。在人工智能的時代....
的頭像 工控論壇 發表於 05-23 15:05 290次 閲讀
在人工智能的時代,是不是該輪到自動化瑟瑟發抖了?

為什麼卷積神經網絡可以做到不變性特徵提取?

圖像特徵 傳統的圖像特徵提取(特徵工程)主要是基於各種先驗模型,通過提取圖像關鍵點、生成描述子特徵數....
的頭像 新機器視覺 發表於 05-20 10:49 168次 閲讀
為什麼卷積神經網絡可以做到不變性特徵提取?

清華「計圖」現在支持國產芯片了!

清華自研的深度學習框架計圖(Jittor)在動態圖推理速度上又一次完勝PyTorch。 最近,計圖團....
的頭像 旺材芯片 發表於 05-20 09:43 175次 閲讀
清華「計圖」現在支持國產芯片了!

小波神經網絡在汽車電控汽油機故障診斷中的應用是什麼?

本文對小波神經網絡提出了兩個方面的改進並將其應用於汽車電控汽油機故障診斷中。...
發表於 05-19 07:10 0次 閲讀
小波神經網絡在汽車電控汽油機故障診斷中的應用是什麼?

電網諧波的傳統檢測方法有哪幾種?

電網諧波的傳統檢測方法有哪幾種? 基於神經網絡的有源電力濾波器應用研究 ...
發表於 05-13 07:03 0次 閲讀
電網諧波的傳統檢測方法有哪幾種?

基於三層前饋BP神經網絡的圖像壓縮算法解析

本文介紹了基於三層前饋BP神經網絡的圖像壓縮算法,提出了基於FPGA的實現驗證方案,詳細討論了實現該壓縮網絡組成的重要模...
發表於 05-06 07:01 0次 閲讀
基於三層前饋BP神經網絡的圖像壓縮算法解析

基於FPGA的神經網絡的性能評估及侷限性

FPGA實現神經網絡關鍵問題分析 基於FPGA的ANN實現方法 基於FPGA的神經網絡的性能評估及侷限性 ...
發表於 04-30 06:58 0次 閲讀
基於FPGA的神經網絡的性能評估及侷限性

Matlab神經網絡工具箱是什麼? 它在同步中的應用有哪些?

Matlab神經網絡工具箱是什麼? Matlab神經網絡工具箱在同步中的應用有哪些? ...
發表於 04-26 06:42 0次 閲讀
Matlab神經網絡工具箱是什麼? 它在同步中的應用有哪些?

怎麼用ZISC036芯片實現一個模式識別系統?

硬件神經網絡技術ZISC的工作原理 如何用VLSI設計硬件神經網絡? ZISC技術及其在模式識別中的應用 ...
發表於 04-12 06:55 0次 閲讀
怎麼用ZISC036芯片實現一個模式識別系統?

如何利用MonteCarlo分析解決電路容差問題?

容差模擬電路的軟故障診斷的小波方法 基於小波和量子神經網絡的故障診斷原理 ...
發表於 04-12 06:40 0次 閲讀
如何利用MonteCarlo分析解決電路容差問題?

如何採用神經網絡技術,對鎳鉻-鎳硅熱電偶進行了非線性校正?

請問如何採用基於虛擬儀器編程語言CVI編成的BP神經網絡訓練儀對K型鎳鉻-鎳硅熱電偶的非線性進行校正? ...
發表於 04-08 06:55 0次 閲讀
如何採用神經網絡技術,對鎳鉻-鎳硅熱電偶進行了非線性校正?

CMSIS-NN神經網絡內核可以讓微控制器效率提升5倍是真的嗎?

全新CMSIS-NN神經網絡內核讓微控制器效率提升5倍...
發表於 03-15 06:55 202次 閲讀
CMSIS-NN神經網絡內核可以讓微控制器效率提升5倍是真的嗎?

什麼是LSTM神經網絡

簡單理解LSTM神經網絡
發表於 01-28 07:16 101次 閲讀
什麼是LSTM神經網絡