467
1、簡(jiǎn)介
基于監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法需要大量數(shù)據(jù)作為輸入，模型完全由數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)質(zhì)量是算法模型有效的必要條件。如何高效的采集到數(shù)據(jù)，以及正確的標(biāo)注及分析是極其重要的，如果第一步有問(wèn)題，后續(xù)的所有工作都是徒勞。
本文將介紹 AFCI 數(shù)據(jù)采集板，AFCI 上位機(jī)數(shù)據(jù)采集工具，和簡(jiǎn)單分析數(shù)據(jù)質(zhì)量的一些方法，以及需要注意的一些事項(xiàng)。
2、數(shù)據(jù)采集與清洗
2.1. 打開(kāi)串口
單擊①找到相應(yīng)的串口號(hào)，并通過(guò)②選擇合適的波特率，點(diǎn)擊③打開(kāi)串口。
3、數(shù)據(jù)預(yù)處理
采集好的數(shù)據(jù)文件格式為 csv，數(shù)據(jù)預(yù)處理模塊會(huì)根據(jù)一定的規(guī)則將這些 csv 文件重新整理成固定的格式，供后續(xù)模型訓(xùn)練使用。
4、模型訓(xùn)練和驗(yàn)證
4.1. 訓(xùn)練模型
在創(chuàng)建好數(shù)據(jù)集后，可以使用訓(xùn)練模塊進(jìn)行訓(xùn)練。
5、通訊協(xié)議
在 Note 界面下，可以查閱工具串口通訊協(xié)議和 Release 信息。
6、總結(jié)
數(shù)據(jù)采集和標(biāo)注是做好神經(jīng)網(wǎng)絡(luò)的第一步，需要格外仔細(xì)，不然其中如果有臟數(shù)據(jù)混入，通過(guò)肉眼是十分困難加以清理的，臟數(shù)據(jù)過(guò)多會(huì)導(dǎo)致模型泛化能力變差。
數(shù)據(jù)清理的一個(gè)辦法是用模型對(duì)所有數(shù)據(jù)進(jìn)行驗(yàn)證，然后挑選出驗(yàn)證結(jié)果失敗的數(shù)據(jù)，Plot 出來(lái)后通過(guò)肉眼分辨剔除，其工作量是非常巨大和繁瑣的，最好的辦法是在數(shù)據(jù)收集的過(guò)程中就保證數(shù)據(jù)的有效性。
對(duì)于數(shù)據(jù)流的處理上位機(jī)必須和固件保持一致，如果有問(wèn)題，需要將兩邊的數(shù)據(jù)處理流dump 出來(lái)進(jìn)行比較和調(diào)試。
另外，訓(xùn)練過(guò)程中使用 GPU 將明顯提升訓(xùn)練速度，可以參考上位機(jī)的 Readme 安裝cuda 庫(kù)。
