基于強化學習的SDN數(shù)據(jù)中心網(wǎng)絡擁塞控制方法的研究.pdf

1、隨著云計算、大數(shù)據(jù)、Map Reduce、虛擬機遷移的發(fā)展，數(shù)據(jù)中心內(nèi)部通信業(yè)務急劇增加、網(wǎng)絡流量顯著增長，數(shù)據(jù)中心網(wǎng)絡的帶寬很難滿足密集型應用的帶寬需求，面臨著網(wǎng)絡擁塞的風險。傳統(tǒng)的計算機網(wǎng)絡是分布式的復雜結構，擁塞算法的設計極為困難，很難滿足當前需求，軟件定義網(wǎng)絡的出現(xiàn)和發(fā)展使數(shù)據(jù)中心網(wǎng)絡擁塞控制的問題得到了新的解決辦法。SDN(Software Defined Network，軟件定義網(wǎng)絡)的核心思想是控制層和數(shù)據(jù)層分離，使得控制

2、層的控制器可以對全網(wǎng)進行集中管理，為擁塞控制算法的設計提供了便利，越來越多的科研人員開始研究SDN數(shù)據(jù)中心網(wǎng)絡的擁塞控制。
　　在網(wǎng)絡智能化發(fā)展的大背景下，SDN作為未來網(wǎng)絡架構方式更應該表現(xiàn)其智能性，SDN數(shù)據(jù)中心網(wǎng)絡擁塞控制應該具有很強的自適應能力和較高的控制效率。強化學習是機器學習的一個分支，是一種無模型的學習算法，在強化學習的模型中，智能體可以與環(huán)境交互進行學習，做出很好的決策。
　　本文將Q-Learning算法引

3、入SDN架構的數(shù)據(jù)中心網(wǎng)絡，實現(xiàn)基于流的擁塞控制，提出了一種基于Q-Learning的離策略擁塞控制算法。該算法采用為每一條流分配速率的方式進行擁塞控制，通過Q函數(shù)的設計，將尋找最優(yōu)擁塞控制決策的問題轉化為求解最優(yōu)Q矩陣的問題，最優(yōu)的Q矩陣就是智能體學習到的知識，即擁塞控制策略。
　　Q-Learning算法是一種離策略算法，自適應能力差，針對這一問題，本文將SARSA算法引入SDN架構的數(shù)據(jù)中心網(wǎng)絡，實現(xiàn)基于流的擁塞控制，提出一

4、種基于SARSA的在策略擁塞控制算法，這種擁塞控制策略也是采用分配速率的方法，但是SARSA算法每個狀態(tài)的行為決策都會根據(jù)實際情況變化，對于數(shù)據(jù)中心網(wǎng)絡狀態(tài)的變化具有很強的自適應能力。
　　本文的最后對基于Q-Learning的離策略擁塞控制算法和基于SARSA的在策略擁塞控制算法進行了測試，結果表明基于Q-Learning的離策略擁塞控制方法和基于SARSA的在策略擁塞控制方法，都能有效的實現(xiàn)擁塞控制，并且基于SARSA的在策略