回歸模型中變量選擇的若干問題研究.pdf

1、在多元線性回歸建模中，自變量的選擇至關(guān)重要，一般從預(yù)測的準(zhǔn)確性和模型的可解釋性兩個方面進(jìn)行約束自變量個數(shù)的選擇.數(shù)目眾多的自變量可以反映更多響應(yīng)變量的信息，從而達(dá)到更高的預(yù)測準(zhǔn)確性，然而太多的自變量將導(dǎo)致模型可解釋性減弱，應(yīng)用價值大打折扣;自變量的太少的話，不足以反映響應(yīng)變量的信息，因而預(yù)測準(zhǔn)確性顯著降低.
　　變量選擇問題的研究中，大多是在普通最小二乘法的基礎(chǔ)上，附加關(guān)于待估計(jì)參數(shù)的約束條件，也就是增加懲罰函數(shù)，轉(zhuǎn)化為懲罰最小二

2、乘法.由于約束條件的壓縮作用，會使得部分待估計(jì)參數(shù)變?yōu)?，從而實(shí)現(xiàn)變量選擇的目的.此類方法中的常用經(jīng)典算法有LASSO算法、適應(yīng)性LASSO算法、SCAD算法以及彈性網(wǎng)算法.
　　本文考慮待估計(jì)參數(shù)受到隨機(jī)因素的影響前提下，建立了新的懲罰函數(shù)及懲罰最小二乘估計(jì)方法，并對該方法進(jìn)行評價，具體內(nèi)容如下:
　　首先，系統(tǒng)介紹了變量選擇方法的發(fā)展過程、通過添加懲罰函數(shù)來實(shí)現(xiàn)變量選擇的基本思想;詳細(xì)分析了LASSO算法、適應(yīng)性LASS

3、O算法、SCAD算法以及彈性網(wǎng)算法的建立過程和各自的優(yōu)缺點(diǎn):由于LASSO算法中懲罰函數(shù)的特性，導(dǎo)致在變量選擇時選取的自變量個數(shù)偏多，同時存在多重共線時LASSO算法效果很差，于是適應(yīng)性LASSO算法在LASSO的基礎(chǔ)上進(jìn)行改進(jìn)，使得估計(jì)所得系數(shù)更加稀疏，選擇更少的自變量;SCAD算法效果更加更明顯，不僅可以選擇更少的自變量，同時所得估計(jì)量滿足稀疏性、無偏性、連續(xù)性以及Oracle等一系列優(yōu)良性質(zhì);彈性網(wǎng)方法是將LASSO與經(jīng)典的嶺回歸

4、法結(jié)合而建立的新的變量選擇方法，該方法主要優(yōu)勢在于處理自變量中出現(xiàn)組效應(yīng)時的情形.
　　其次，考慮到Gamma分布和Weibull分布是兩類重要的壽命分布類，具有廣泛的應(yīng)用，于是分別假定參數(shù)受到的隨機(jī)影響因素服從Gamma分布和Weibull分布，建立了新的懲罰函數(shù)以及懲罰最小二乘估計(jì)方法.文中通過層次極大似然估計(jì)法構(gòu)造新的懲罰函數(shù)，討論了懲罰函數(shù)性質(zhì)，給出了參數(shù)估計(jì)的方法并證明新建立的懲罰最小二乘量滿足Oracle性質(zhì).