基于多Agent強化學習的無線傳感器網(wǎng)絡(luò)多路徑路由協(xié)議研究.pdf

1、無線傳感器網(wǎng)絡(luò)是面向具體應用的網(wǎng)絡(luò)，在一些應用場合下，重要性不同的數(shù)據(jù)在傳輸時所要保證的服務質(zhì)量（Quality of Service，QoS）不同，這就對網(wǎng)絡(luò)的路由協(xié)議設(shè)計提出了更高的要求。在一些多路徑路由協(xié)議中，優(yōu)先級較高的重要數(shù)據(jù)可以通過最短路徑發(fā)送以減少數(shù)據(jù)在傳輸過程中的延時，然而，由于所處環(huán)境以及拓撲結(jié)構(gòu)的動態(tài)特性，網(wǎng)絡(luò)中可能同時存在多條路徑質(zhì)量各不相同的最短路徑。因此，如何從這多條最短路徑中選擇當前網(wǎng)絡(luò)狀況下性能最優(yōu)的一條進

2、行數(shù)據(jù)傳輸以滿足數(shù)據(jù)的QoS需求是一個重要的研究課題。
　　本文首先將無線傳感器網(wǎng)絡(luò)看作一個多Agent系統(tǒng)，將節(jié)點看作具有獨立學習能力的Agent，提出一種基于多Agent強化學習的多路徑路由協(xié)議。在該協(xié)議中，節(jié)點根據(jù)所傳輸數(shù)據(jù)的優(yōu)先級進行路徑選擇，若為低優(yōu)先級數(shù)據(jù)，則隨機從路由表中選擇一條路徑;若為高優(yōu)先級數(shù)據(jù)，則將鄰居節(jié)點的緩沖隊列長度以及節(jié)點間的鏈路質(zhì)量作為路徑選擇的依據(jù)。論文采用多Agent強化學習理論，將高優(yōu)先級數(shù)據(jù)的

3、路由選擇過程建模為一個Markov決策過程，通過鄰居節(jié)點之間的局部信息交互，建立了一種基于分布式值函數(shù)的Q-學習機制。然后，在OMNeT++環(huán)境下進行了仿真實驗，對所提出的協(xié)議進行驗證。結(jié)果表明，該協(xié)議能夠有效減少高優(yōu)先級數(shù)據(jù)的傳輸延時，提高其傳輸成功率，并且能夠在一定程度上平衡網(wǎng)絡(luò)負載。
　　在所提出的協(xié)議基礎(chǔ)上，本文進一步考慮節(jié)點學習時狀態(tài)空間過大的問題，借鑒狀態(tài)聚類思想，對鄰居節(jié)點的隊列長度進行大小排序，以其排序作為系統(tǒng)決策