Multi-Agent Reinforcement Learning Through Weighted Experience Sharing.pdf

1、強化學習允許通過獎勵和懲罰完成agents編程，而不用指定如何實現(xiàn)這個目標。Multi-agent強化學習是multi-agent環(huán)境中強化學習概念的一個延伸。從一個單獨的agent的觀點，multi-agent系統(tǒng)不同于single-agent系統(tǒng)最重要的因素在于環(huán)境的變化可以被其他agents決定。
　　 當每個agent學習，加強，并行的改變其行為，每個獨立的agent面臨著在一個動態(tài)的環(huán)境中學習的困難。加之該領域內在不確

2、定因素和其他agent有意的采用不確定的方式影響該環(huán)境。因此所有multi-agent系統(tǒng)可以視為具有動態(tài)的環(huán)境，收斂保障，例如Bellman-style single-agent的收斂技術已經不再適用。
　　 在multi-agent系統(tǒng)領域的研究專注于有效的協(xié)調各個自治的agent來完成任務同時也達到較高的系統(tǒng)性能。Multi-agent協(xié)調的挑戰(zhàn)包括單個目的控制，各個提供不完整信息的agent的局部觀點，各agent私有的

3、目的和解決程序，異步通訊，動態(tài)環(huán)境和不確定性。協(xié)商機制包括兩種:第一種，團隊合作機制，這種機制中各agent協(xié)調合作完成一個整體目標;第二種每個agent自私的試圖完成各自的目的機制，一個極端的情況是每個agent都是對手，都試圖完成各自的目標甚至影響損害其他agent。
　　 本文提出了一個新的基于加權經驗共享的multi-agent強化學習觀念。在這個新的觀念中，每個agent都從其他agent的經驗中獲得好處然后添加到自己