外文翻譯---多元回歸模型的經(jīng)驗(yàn)似然比檢驗(yàn)

1、<p><b>　　Ⅲ.外文翻譯</b></p><p>　　多元回歸模型的經(jīng)驗(yàn)似然比檢驗(yàn)</p><p>　　作者：吳鑑洪，朱力行</p><p><b>　　國籍：中國</b></p><p>　　出處：高等教育新聞和施普林格出版社，2007年</p><p>

2、　　摘 要：本文提供了一些檢驗(yàn)工具，檢驗(yàn)多元回歸模型，其中包括古典回歸模型和時(shí)間序列自回歸模型。在統(tǒng)計(jì)推理中，對(duì)于構(gòu)建檢驗(yàn)和置信領(lǐng)域，經(jīng)驗(yàn)似然比法是一個(gè)眾所周知的強(qiáng)大的工具。然而，對(duì)于模型檢驗(yàn)，基于檢驗(yàn)的單純的經(jīng)驗(yàn)似然（簡稱EL）并沒有Wilks現(xiàn)象。因此，我們利用誤差修正來構(gòu)建基于EL的score 檢驗(yàn)，然后得到一個(gè)非參數(shù)版本的Wilks定理。此外，利用EL和score 檢驗(yàn)方法自身的有點(diǎn)，基于EL的score 檢驗(yàn)有如下優(yōu)良的特征

3、：他們自我尺度不變并且可以檢測備擇以的速度上收斂于零，這對(duì)于缺乏擬合度的檢測來說也許是最快的速率；他們包括權(quán)函數(shù)這為我們提供了靈活地選擇分?jǐn)?shù)改善功效的性能，尤其是方向性備擇。此外，當(dāng)備擇不具備方向性，我們建立漸進(jìn)的自由分布最大最小值檢驗(yàn)來檢驗(yàn)這一大類的備擇。最后，我們進(jìn)行了模擬研究，并進(jìn)行了實(shí)際數(shù)據(jù)分析。</p><p>　　關(guān)鍵詞：自回歸；誤差修正；經(jīng)驗(yàn)似然比檢驗(yàn)；最大最小值檢驗(yàn)；多元回歸</p>

4、<p><b>　　1、引言</b></p><p><b>　　假設(shè)有一個(gè)響應(yīng)向量</b></p><p><b>　　取決于一個(gè)協(xié)變向量</b></p><p>　　其中，T代表轉(zhuǎn)置。當(dāng)預(yù)期值Y存在，我們可以將Y分解成一個(gè)X的向量函數(shù)</p><p>　　和一個(gè)

5、與X互不相關(guān)的干擾變量</p><p><b>　　，如。</b></p><p>　　當(dāng)一個(gè)響應(yīng)向量是未知的，平均值函數(shù)X可以根據(jù)平均散布誤差標(biāo)準(zhǔn)來確定最優(yōu)的Y值。大多數(shù)的文獻(xiàn)都是致力于對(duì)回歸函數(shù)的模型建立和統(tǒng)計(jì)分析。一種比較流行的方法就是假設(shè)這個(gè)內(nèi)含的模型是屬于參數(shù)模型體系，用簡明的方式來表示反應(yīng)向量和協(xié)變向量的關(guān)系。因?yàn)榇嬖谥芏嗟母偁幠Ｐ?，所以為了防止得出錯(cuò)誤

6、的結(jié)論，模型的檢驗(yàn)是非常重要的。</p><p>　　對(duì)于模型的檢驗(yàn)，大多數(shù)文獻(xiàn)資料都是針對(duì)一維反應(yīng)向量的情況下的研究。本文將對(duì)其中一些成果進(jìn)行回顧。對(duì)模型進(jìn)行檢驗(yàn)判斷的技術(shù)主要有兩種，一種是局部平滑法，另一種是整體平滑法。針對(duì)于前者，Hardle、Mammen [1]（、Eubank和Hart [2]提出了基于參數(shù)與非參數(shù)之間的對(duì)比來檢測存在可能性情況的測試方法。參考文獻(xiàn)[3]對(duì)此做了比較全面的分析。Aert,

7、 C laeskens 和Hart [4]構(gòu)造了以正交級(jí)數(shù)為基礎(chǔ)的測試，涉及對(duì)雙變量回歸嵌套模型的選擇。</p><p>　　Horowitz 和Spokoiny [5]提出了一種自適應(yīng)性檢驗(yàn)。但是，這個(gè)檢驗(yàn)需要對(duì)平均數(shù)進(jìn)行非參數(shù)性的估算并受到維數(shù)的影響。為了避免嚴(yán)重的維數(shù)問題，因此提出了一種基于殘余標(biāo)記的實(shí)證檢驗(yàn)，它是全面平滑法的一種，見參考文獻(xiàn)[6-12]。這種檢驗(yàn)不需要非參數(shù)平滑，但與高頻數(shù)的方法相比靈敏度

8、要低。另外，F(xiàn)an 和 Huang [13]提出了一種適應(yīng)性的Neyman檢驗(yàn)方法</p><p>　　在現(xiàn)實(shí)中，一個(gè)協(xié)變向量可以同時(shí)決定多個(gè)響應(yīng)向量是非常尋常的事。比如，在經(jīng)濟(jì)和金融里，多元時(shí)間序列變的越來越有用，吸引了大量的學(xué)者進(jìn)行研究：詳情見參考文獻(xiàn)[14]。這種方法論經(jīng)過一些修改能幫助所有一維響應(yīng)向量來解決多元回歸模型。然而，對(duì)于現(xiàn)有的方法論的直接擴(kuò)展都不能構(gòu)成有力的檢驗(yàn)。我們應(yīng)該特別關(guān)注響應(yīng)向量各個(gè)組成

9、要素之間的關(guān)系，這在理論和實(shí)踐上都是非常重要的。</p><p>　　在本論文中，我們創(chuàng)建了經(jīng)驗(yàn)似然比檢驗(yàn)，并且研究多元回歸模型的漸近行為，其中包括傳統(tǒng)回歸和時(shí)間序列的自回歸。在文獻(xiàn)中，基于可能性的實(shí)證檢驗(yàn)往往具有一些參數(shù)可能性的特點(diǎn)，比如Bartlett的可修正性原則和Wilks’定理。參考文獻(xiàn)[18]列出了簡要的觀點(diǎn)。我們?cè)噲D利用實(shí)證可能性法和計(jì)分檢驗(yàn)法的優(yōu)勢為回歸模型和自回歸模型創(chuàng)建以實(shí)證可能性為基礎(chǔ)的計(jì)分

10、檢驗(yàn)法。我們要注意的是單純的基于實(shí)證可能性的測試并不是Wilks’現(xiàn)象。但是通過偏差修正的測試就是Wilks’現(xiàn)象。此外，測試的結(jié)果往往有以下這些特征：在零假說的前提下，他們是漸近卡方，在一個(gè)參數(shù)比率下能發(fā)現(xiàn)所有可能性情況都趨向于零；他們是自我規(guī)模不變的，在有限的差異的情況下是不需要進(jìn)行估計(jì)的；他們還包含了加權(quán)函數(shù)，能夠靈活選擇分?jǐn)?shù)來加強(qiáng)動(dòng)力性能，特別是在方向性的選擇上。</p><p>　　本論文的結(jié)構(gòu)如下：第

11、2部分是構(gòu)建實(shí)證可能性比率和在零假說的情況下的漸近行為測驗(yàn)，并討論了可能存在的其他選擇。第3部分是經(jīng)驗(yàn)似然比檢驗(yàn)在時(shí)間序列自回歸模型中的使用情況。第4部分是一些模擬實(shí)驗(yàn)和應(yīng)用的實(shí)際數(shù)據(jù)的匯報(bào)。在附錄中還提供了相關(guān)技術(shù)證明。</p><p>　　2、檢驗(yàn)統(tǒng)計(jì)量及其漸近性質(zhì)</p><p>　　2.1檢驗(yàn)統(tǒng)計(jì)的建立</p><p>　　假設(shè)這是一個(gè)取自人口的樣本滿足：&

12、lt;/p><p>　　其中是一類維變量，是一維響應(yīng)向量，是一個(gè)維矢量值函數(shù)的定義在維歐氏空間和誤差向量滿足。在本文中，我們主要集中在模型檢驗(yàn)。具體來說，空的假設(shè)是，</p><p>　　μ(·) = m(θ, ·) 對(duì)于一些θ而言,</p><p><b>　　和替代是</b></p><p>　　:

13、μ(·) = m(θ, ·) 對(duì)于任何θ，</p><p><b>　　那么</b></p><p>　　是一個(gè)已知函數(shù)滿足維的參數(shù)</p><p><b>　　和</b></p><p>　　其中 是參數(shù) 的維度 . 注意 公式 (1)的零假設(shè)條件下,</p>&

14、lt;p><b>　　從而得到方程</b></p><p>　　對(duì)于任何對(duì)于任何k維矢量函數(shù)</p><p>　　的 X, 假定參數(shù)存在, 那些 “?” 代表 分量相乘。 作為的檢驗(yàn)過程一部分, 對(duì)未知參數(shù)的估計(jì)是不可避免的。作為我們的重點(diǎn)是對(duì)模型的檢驗(yàn)，而非參數(shù)估計(jì)，最常用的非線性最小二乘估計(jì)量是用在檢驗(yàn)統(tǒng)計(jì)的建立上。</p><p>

15、<b>　　讓</b></p><p>　　在零模型下為參數(shù)θ的近似值。對(duì)于每一個(gè) ( , ·) 和 ( , ·),其相應(yīng)的導(dǎo)數(shù) (在 上 ) 為( , ·) 和 ( , ·). 我們定義</p><p><b>　　并且</b></p><p><b>　　.</b

16、></p><p>　　首先，我們給出下面的一些假設(shè)條件： </p><p>　　(A1) 在零假設(shè)條件下, 的單位根n的一致估計(jì)量。 對(duì)于任意單位根n 估計(jì)量 ,</p><p><b>　　as ,</b></p><p>　　“ch” 代表造一個(gè)內(nèi)集合的壁包（見（2）下面關(guān)于的定義）。</p>

17、;<p>　　是正定的，對(duì)于任意 θ ∈ B, 那么 B 是的鄰域。</p><p>　　(A2) ω(θ, ·) 和m(θ, ·) ar在的鄰域都是連續(xù)可微的 </p><p><b>　　, ,</b></p><p><b>　　那么</b></p><p&g

18、t;　　其中導(dǎo)數(shù)擁有有限的三階可導(dǎo)。</p><p><b>　　(A3)</b></p><p><b>　　和</b></p><p>　　其中(·) 和 > 0 ( j = 1, . . . , k).</p><p>　　(A4) 存在以下的期望,對(duì)于所有的 j,</

19、p><p><b>　　,</b></p><p><b>　　,</b></p><p><b>　　.</b></p><p>　　備注 2.1 通過條件(A1)可以推出公式（3）解的存在。其他的都是比較合適的，就象Zhu, Wu 和 Xu 他們討論的一樣。</p>

20、<p><b>　　讓</b></p><p>　　， i=1,…,n, (2)</p><p><b>　　那么</b></p><p><b>　　.</b></p><p>　　基于權(quán)向量, 經(jīng)驗(yàn)似然函數(shù)可以如下定義：</p>

21、;<p><b>　　服從</b></p><p><b>　　, , .</b></p><p>　　引入拉格朗日多項(xiàng)式， 通過以下的公式得到最理想的權(quán)重，</p><p>　　那么 λ (一個(gè)k維 向量) 有相面的公式?jīng)Q定</p><p><b>　　(3)</b&

22、gt;</p><p>　　那么, t 統(tǒng)計(jì)量 對(duì) 公式（1）的的零假設(shè)檢驗(yàn)的經(jīng)驗(yàn)對(duì)殊似然比統(tǒng)計(jì)量是</p><p><b>　　.</b></p><p>　　定理 2.1 在滿足零模型（1）和 假設(shè) (A1)–(A4)的條件下，當(dāng)時(shí)統(tǒng)計(jì)量收斂于 。 那么 是自由度為k的卡方分布</p><p><b>　

23、　2.2 功效研究</b></p><p>　　在這一部分，我們研究經(jīng)驗(yàn)似然比檢驗(yàn)的功效狀態(tài)?？紤]一個(gè)n階模型序列</p><p><b>　　(4)</b></p><p>　　其中 i = 1, 2, . . . ,對(duì)于任意k維 X 的矢量函數(shù)和常數(shù)序列. 我們有如下結(jié)果.</p><p>　　定理 2.

24、2 在公式（4） 和 假設(shè)條件(A1)–(A4)的情況下, 如果期望滿足</p><p><b>　　, ,</b></p><p>　　并也我們有如果 → r (非零常數(shù)), 并且</p><p><b>　　如果 .</b></p><p><b>　　,</b><

25、;/p><p>　　那么 是一個(gè)無偏移的隨機(jī)變量 擁有k的自由度 和</p><p><b>　　, </b></p><p>　　從這個(gè)結(jié)果，可以看出經(jīng)驗(yàn)似然比檢驗(yàn)對(duì)于整體備擇和局部備擇來說是一致的，并以的速度拒絕原假設(shè)。它也可以檢測備擇以的速度無限趨近于0，對(duì)于缺乏擬合度的檢驗(yàn)來說也許是最快速的速率。因此，這種基于EL 的sco

26、re 檢驗(yàn)對(duì)備擇來說是非常敏感的。對(duì)于接受備擇假設(shè)的冪的計(jì)算在比值為處拒絕原假設(shè)，我們可以從卡方分布上確定漸進(jìn)p值。的漸進(jìn)功效函數(shù)是，是k維的標(biāo)準(zhǔn)正態(tài)分布函數(shù)，其中是分布的分位數(shù)。根據(jù)文獻(xiàn)[19]中引理6.2.1，是單調(diào)函數(shù)。所以我們應(yīng)當(dāng)選擇這樣的權(quán)函數(shù)ω，它能使足夠大從而可以得到最佳的檢驗(yàn)。所以，對(duì)于定向備擇，我們可以利用合理的權(quán)來得到一個(gè)強(qiáng)大的檢驗(yàn)。在實(shí)踐過程中，為了簡便起見，我們可以選擇偏離作為權(quán)以及相應(yīng)得到的檢驗(yàn)也是有效的，這在

27、模擬過成中證明是正確的。當(dāng)備擇不是定向的，一個(gè)單一的權(quán)函數(shù)是沒有用的，因?yàn)槿绻麢?quán)沒有適當(dāng)選定，我們可能失去許多的功效。通常，我們可以得到這樣的信息，一些模型可能含有或者近似備擇假設(shè)。在這種情況下，當(dāng)我們建立模型解決這類問題時(shí)，應(yīng)當(dāng)把可能的偏差用于計(jì)算。另外，如果在備擇上沒有置信是有效的，那么，飽和的備擇是適用的，然后omnibus 檢驗(yàn)是用來解決這類問題的</p><p>　　考慮模型的序列：其中 ，</p

28、><p>　　： （5）</p><p>　　其中 是未知參數(shù)， 是已知可能存在的偏差， 相應(yīng)的零假設(shè)模型</p><p><b>　　.</b></p><p>　　接下來我們?yōu)樽鳛?的函數(shù)定義一個(gè)最大最小值檢驗(yàn)，其中 是一個(gè)標(biāo)準(zhǔn)范式</p><p><b

29、>　　.</b></p><p>　　結(jié)合公式 (4), 我們認(rèn)為權(quán)向量 屬于 , j = 1, . . . , d.</p><p><b>　　得到</b></p><p><b>　　,</b></p><p>　　其中

30、</p><p>　　λ 是 一個(gè) kd維拉格朗日多項(xiàng)式。 結(jié)合定理2.2的證明，在公式（5）的條件下，如果 n → ∞， 當(dāng) → r 其中，，那么</p><p><b>　　當(dāng)</b></p><p><b>　　，</b></p><p><b>　　其中</b><

31、;/p><p><b>　　，，</b></p><p><b>　　那么</b></p><p><b>　　，</b></p><p>　　表示 在 上的在正態(tài)分布。所以,，當(dāng)n → 1, 有</p><p>　　同樣，我們利用存在的最大最小值的理論能得

32、到對(duì)的理想的檢驗(yàn)結(jié)果。見 e.g.,定理30.2文獻(xiàn) [20].</p><p>　　定理 2.3 對(duì)于給定的意義水平，0 < α < 1, and γ = 1/2, 檢驗(yàn)</p><p>　　對(duì)于是一個(gè)最大最小值的α檢驗(yàn) 相對(duì)于 ，其中</p><p>　　λ 滿足下面的方程：</p><p>　　其中 是模型 (5)

33、并且 滿足</p><p>　　對(duì)于任意的用戶指定值 a > 0， 是卡方隨機(jī)變量的(1 ? α) 分位數(shù)，擁有kd的自由度。由P()得到線性最大最小值的功效，其中a是非中心參數(shù)。</p><p>　　3、相依數(shù)據(jù)經(jīng)驗(yàn)似比檢驗(yàn)</p><p>　　{Xt, t=0, 1, 2 …}是由一些自回歸模型所產(chǎn)生的靜態(tài)和動(dòng)態(tài)的K維時(shí)間序列。為了化簡它，我們考慮將多

34、元自回歸模型表示為：</p><p><b>　　其中 : </b></p><p>　　是由未知參數(shù)確定的。是的域。我們將的平均值函數(shù)表示為。</p><p>　　對(duì)于參數(shù) (是一個(gè)在空值下的真值)的估算，可以使用非線性的最小乘估計(jì)量，用符號(hào)表示。</p><p>　　在這個(gè)部分，我們將對(duì)第2部分的結(jié)果擴(kuò)展到從

35、屬型數(shù)據(jù)的情況。具體來說就是運(yùn)用基于經(jīng)驗(yàn)似然比檢驗(yàn)的計(jì)分檢驗(yàn)來檢驗(yàn)多元時(shí)間序列模型的充分性?？梢杂眉訖?quán)公式</p><p><b>　　表示，</b></p><p>　　同時(shí) 和的導(dǎo)數(shù)是和。我們確定公式為</p><p><b>　　。</b></p><p><b>　　通過：<

36、/b></p><p>　　首先，在得出結(jié)果之前我們先確定一些常規(guī)假設(shè)。</p><p>　?。ˋ5）時(shí)間序列既是靜態(tài)的也是動(dòng)態(tài)的。</p><p>　　（A6）在零模型下，是的n次根的一致估計(jì)量。并且對(duì)于任何一個(gè)的n次根的估計(jì)量，當(dāng)n 時(shí)，趨向于 1。其中“ch”表示集合的凸包（的定義在下面的（7）和（8））。矩陣為正數(shù)，且，其中是的開鄰域。</p&g

37、t;<p>　?。ˋ7）和在的鄰域內(nèi)關(guān)于?都是連續(xù)可微的。</p><p><b>　　其中： .</b></p><p>　　導(dǎo)數(shù)有確定的第三勢差。</p><p><b>　?。ˋ8）</b></p><p>　　可以用于的函數(shù)，其中 > 0 (對(duì)于所有的).<

38、/p><p>　?。ˋ9）下面的期望值存在</p><p><b>　　其中：</b></p><p><b>　　然后將。</b></p><p>　　放入。在基于K維向量下，實(shí)證可能性函數(shù)可以表示為，在的條件下。</p><p>　　通過引進(jìn)拉格朗日乘子，最優(yōu)的權(quán)重為，<

39、;/p><p>　　其中? (K維向量)由決定。然后，在（6）的零假設(shè)的情況下，檢驗(yàn)中的實(shí)證對(duì)數(shù)可能性比率為。</p><p>　　定理 3.1 在（6）H0和(A5)-(A9)的假設(shè)前提下，當(dāng)n>0?時(shí)，趨向于，其中是在自由度為K的情況下的卡方分布。接著，在可選擇的情況下，我們研究了對(duì)進(jìn)行經(jīng)驗(yàn)似然比檢驗(yàn)后的動(dòng)力行為。由n作為變量的序列模型為</p><p>　

40、　，其中是常量序列，一些由度量的K維向量函數(shù)是可變的，表示為：</p><p>　　然后我們就得到了以下的結(jié)果。</p><p>　　定理 3.2 在（10）和(A5)-(A9)的假設(shè)條件下，假設(shè)預(yù)期值為</p><p>　　當(dāng)? r（非零常數(shù)），概率。當(dāng)，</p><p>　　其中是一個(gè)在K自由度下的非中心卡方隨機(jī)變量</p>

41、<p><b>　　),</b></p><p><b>　　=.</b></p><p>　　將最大化可以選出最優(yōu)的加權(quán)函數(shù)，這與第2部分的傳統(tǒng)情況基本相似。因此，省略相同的討論?？紤]下面的序列模型，當(dāng)1 < t <， </p><p>　　公3，其中是未知參數(shù)，</p><p

42、>　　是可能性偏差。在零模型下相當(dāng)于 </p><p>　　接下來我們導(dǎo)出一個(gè)H0對(duì)的極大值檢驗(yàn)，其中|為基準(zhǔn)，且</p><p><b>　　.</b></p><p>　　與（10）一樣，我們認(rèn)為加權(quán)殘值從屬于,j=1,……d。將</p><p><b>　　帶入，其中: </b&

43、gt;</p><p>　　?是維拉格朗日乘子。根據(jù)定理3.2的證明，在（11）的情況下，?，當(dāng)，，這時(shí)<。當(dāng)，時(shí)</p><p><b>　　其中</b></p><p><b>　　且： </b></p><p>　　且表示:的正態(tài)分布。因此，當(dāng)，我們就得出</p>&

44、lt;p><b>　　。</b></p><p>　　與傳統(tǒng)的回歸相似，極大值檢驗(yàn)同樣有很多可選擇的情況。</p><p>　　定理 3.3 在已知的的顯著性水平下，檢驗(yàn)</p><p>　　是對(duì)的情況下α的極大值檢驗(yàn)，其中</p><p><b>　　滿足： </b></p&g