多個(gè)體網(wǎng)絡(luò)分布式無梯度優(yōu)化算法研究.pdf

1、多個(gè)體網(wǎng)絡(luò)是由多個(gè)具有自主工作能力的個(gè)體通過局部信息耦合而形成的大規(guī)模網(wǎng)絡(luò)化系統(tǒng)，其魯棒性較強(qiáng)，網(wǎng)絡(luò)中任何一個(gè)個(gè)體出現(xiàn)故障并不影響整個(gè)網(wǎng)絡(luò)的正常運(yùn)行，并具有節(jié)約成本等優(yōu)點(diǎn)。所以多個(gè)體網(wǎng)絡(luò)在研究人工智能、生物學(xué)、自動(dòng)化、大數(shù)據(jù)等方面具有廣泛的應(yīng)用。以往的多個(gè)體網(wǎng)絡(luò)分布式優(yōu)化算法是在目標(biāo)函數(shù)是凸函數(shù)的情況下利用次梯度方法解決該類問題的，但是對(duì)于目標(biāo)函數(shù)非凸的時(shí)候，也就是次梯度不存在或其次梯度計(jì)算比較復(fù)雜繁瑣的情形下，次梯度算法將不再適用。本

2、文主要研究目標(biāo)函數(shù)非凸時(shí)，或其次梯度不存在時(shí)通過應(yīng)用無梯度算法來計(jì)算多個(gè)體網(wǎng)絡(luò)分布式優(yōu)化問題。此外，隨著通信技術(shù)的發(fā)展，數(shù)字通信已慢慢取代模擬通信而被廣泛應(yīng)用到各個(gè)領(lǐng)域，例如多個(gè)體網(wǎng)絡(luò)的一致性、分布式估計(jì)等。由于網(wǎng)絡(luò)帶寬有限，數(shù)字通信技術(shù)一般通過量化編碼將模擬信息轉(zhuǎn)化為數(shù)字信息，然后經(jīng)由數(shù)字信號(hào)通道進(jìn)行通訊。因此，信息量化這一現(xiàn)實(shí)問題是不可忽略的。通常情況下，人們將信息量化分為概率量化和確定性量化，而概率量化相對(duì)于確定性量化具有量化誤差

3、期望為零的優(yōu)點(diǎn)。但隨機(jī)因素的引入，使網(wǎng)絡(luò)中個(gè)體僅能達(dá)到概率意義下的收斂。本文正是在目標(biāo)函數(shù)非凸次梯度不存在或次梯度計(jì)算過程過于復(fù)雜時(shí)，以及信息傳遞過程中存在限制問題進(jìn)行研究討論?，F(xiàn)將本文主要內(nèi)容分為以下幾個(gè)部分:
　　一、在個(gè)體狀態(tài)具有約束集限制的前提下，針對(duì)目標(biāo)函數(shù)非凸或者其次梯度計(jì)算過于繁瑣時(shí)，提出分布式隨機(jī)投影無梯度優(yōu)化算法來求解這類問題的最優(yōu)解。首先，假定整個(gè)網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)可分解成所有個(gè)體的目標(biāo)函數(shù)之和，并且網(wǎng)絡(luò)中的每

4、個(gè)個(gè)體僅知道其自身目標(biāo)函數(shù)及其自身的狀態(tài)約束集。然后，通過運(yùn)用無梯度優(yōu)化算法解決因個(gè)體目標(biāo)函數(shù)非凸而引起的次梯度無法計(jì)算或者次梯度計(jì)算比較復(fù)雜繁瑣的問題，并結(jié)合隨機(jī)投影算法解決了約束集未知或約束集投影運(yùn)算受限的問題。最后，證明了在有約束集的情形下，在提出算法的作用下，所有個(gè)體狀態(tài)幾乎必然收斂到優(yōu)化集內(nèi)，且網(wǎng)絡(luò)目標(biāo)函數(shù)能夠達(dá)到最優(yōu)。
　　二、在網(wǎng)絡(luò)拓?fù)涔潭l件下，考慮概率量化對(duì)多個(gè)體網(wǎng)絡(luò)分布式優(yōu)化算法收斂性的影響。由于現(xiàn)實(shí)生活中的數(shù)

5、字信道通常具有有限的帶寬，這樣必定限制了數(shù)據(jù)信息的傳遞與交流。而數(shù)字信道已逐步取代模擬信道進(jìn)行通信。因此，有學(xué)者提出了量化的概念:通過量化編碼的方法將模擬信道轉(zhuǎn)化為數(shù)字信道。本文在假定個(gè)體間的量化方式是概率量化的前提下，網(wǎng)絡(luò)中每個(gè)個(gè)體僅知道其自身的目標(biāo)函數(shù)，而且僅與其鄰居個(gè)體進(jìn)行信息量化通訊的情況下，通過應(yīng)用概率量化分布式無梯度優(yōu)化算法使得所有個(gè)體幾乎一致收斂且整個(gè)網(wǎng)絡(luò)目標(biāo)函數(shù)達(dá)到最優(yōu)。并進(jìn)一步探究概率量化后對(duì)網(wǎng)絡(luò)優(yōu)化性能的影響。證明了