什麼是自動迴歸模型？
自動迴歸模型是機器學習 (ML) 模型的一種類型，其透過測量先前依序的輸入來自動預測序列中的下一個組成。自動迴歸是時間序列分析中使用的統計技術，其假設時間序列的目前值是過去值的其中一個函數。自動迴歸模型使用類似的數學技術來確定序列中元素之間的概率相關性。其接著使用衍生的知識來猜測未知序列中的下一個元素。例如，在訓練期間，自動迴歸模型處理了數個英語句子，並確定「is」總是接在「there」的後面。 其再生成一個「there is」一起出現的新序列。
生成式 AI 如何應用自動迴歸模型？
生成式人工智慧（生成式 AI）是一種先進的資料科學技術，能從大量訓練資料中學習以創造全新且獨特的內容。下列各節說明自動迴歸模型如何啟動生成式 AI 應用程式。
自然語言處理 (NLP)
自動迴歸模型是大型語言模型 (LLM) 的一個重要元件。大型語言模型是由生成式預訓練轉換器 (GPT) 驅動，生成式預訓練轉換器是一種源自轉換器架構的深度神經網路。轉換器由編碼器和解碼器組成，分別能理解自然語言和生成自然語言。生成式預訓練轉換器僅使用解碼器進行自動迴歸語言建模。這使生成式預訓練轉換器能夠理解自然語言，並以人類理解的方式回應。生成式預訓練轉換器驅動的大型語言模型透過考慮其訓練過的文字語料庫的概率分佈，來預測下一個單詞。
閱讀有關自然語言處理 (NLP) 的內容
影像合成
自動迴歸讓深度學習模型透過分析有限的資訊來生成影像。PixelRNN 和 PixelCNN 等影像處理神經網路使用自動迴歸模型，透過檢視現有的像素資訊來預測視覺資料。您可以使用自動迴歸技術銳化、放大和重建影像，同時保持品質。
時間序列預測
自動迴歸模型有助於預測時間序列事件的可能性。例如，深度學習模型利用自動迴歸技術，根據歷史資料值來預測股票價格、天氣和交通狀況。
資料增強
ML 工程師以專業資料集訓練 AI 模型以提高效能。在某些情況下，資料不足以充分訓練模型。工程師使用自動迴歸模型來生成全新真實的深度學習訓練資料。他們使用生成的資料增強現有有限的訓練資料集。
自動迴歸模型如何運作？
自迴歸模型運用各種不同的線性迴歸分析，從給定的變量範圍中預測下一個序列。在迴歸分析中會提供統計模型幾個獨立變數，它會使用這些變數來預測因變數的值。
線性迴歸
您可以把線性迴歸想像成畫一條最能代表分佈在平面圖上眾多平均值的直線。模型會從直線中產生一個對應於歷史值條件分佈的新資料點。
考慮 y（因變數）和 x（自變數）之間的線圖方程的最簡單形式；y=c*x+m，其中 c 和 m 是對於所有可能的 x 和 y 值都保持不變的常數。所以舉例來說，假設 (x,y) 的輸入資料集為 (1,5)、(2,8) 和 (3,11)。要確定線性迴歸方法，您將使用以下步驟：
- 畫一條直線，並測量 1 和 5 之間的相互關聯性。
- 針對新值 (2,8) 和 (3,11) 改變直線的方向，直到所有值都擬合為止。
- 將線性迴歸方程式確定為 y=3*x+2。
- 當 x 為 4 時，推斷或預測 y 為 14。
自動迴歸
自動迴歸模型應用的線性迴歸是使用取自先前步驟輸出的滯後變數。與線性迴歸不同，自動迴歸模型除了先前預測的結果之外，不使用其他自變數。試想下列公式。
以概率術語表示，自動迴歸模型將自變數分佈在 n 個可能的步驟上，並假設前面的變數會有條件地影響下一個變數的結果。
我們也可以用下面的方程表達自動迴歸模型。
在這裡，y 是多個先前結果的階次乘以其各自係數 ϕ 所得出的預測結果。係數代表影響預測變數對新結果之重要性的權重或參數。此公式還考慮到可能影響預測的隨機雜訊，意指它並非理想模型，可以再更進一步改善。
滯後
資料科學家加入更多滯後值以提高自動迴歸模型的準確性。具體做法為增加資料時間序列中代表階梯數的 t 值。階梯數越多，模型可擷取更多過去的預測作為輸入。例如，您可以擴展自動迴歸模型，將納入的預測溫度從 7 天擴展至過去 14 天，以獲得更準確的結果。也就是說，增加自動迴歸模型的滯後階次未必就一定能提高準確度。如果係數幾近於零，則特定預測變數對於模型的影響便微乎極微。此外，無限擴展序列會導致模型愈趨複雜，需要更多運算資源才能運行。
什麼是自相關？
自相關是一種統計方法，用於評估自動迴歸模型的輸出受到其延遲變數的影響程度。資料科學家使用自相關描述模型的輸出和延遲輸入之間的關係。相關性愈高，模型的預測愈準確。以下是關於自相關的注意事項：
- 正相關代表輸出與先前值呈現的趨勢一致。例如，由於幾天前的股價已上漲，因此該模型預測今天的股價將上漲。
- 負相關代表輸出變數與之前的結果相反。例如，自動迴歸系統觀察到過去幾天為下雨天，但預測明天會是晴天。
- 零相關性可能表示輸入和輸出之間缺少特定模式。
資料工程師使用自相關來判斷模型中應包含多少個步驟，以優化運算資源和回應準確度。在部分應用程式中，使用近期的變數時，自動迴歸模型可能會顯示高度的自相關性，但對於較久遠的輸入則呈現較弱的自相關性。例如，工程師發現自動迴歸天氣預測器對過去 30 天以上的預測不太敏感。因此，他們修改了模型，僅包括過去 30 天的延遲結果。這讓模型使用較少的運算資源而獲得更準確的結果。
自動迴歸和其他類型的迴歸分析技術之間的差異？
除了自動迴歸之外，也已引入數種迴歸技術來分析變數及其相依性。以下各節說明差異。
線性迴歸與自動迴歸的比較
這兩種迴歸方法都假設過去的變數與未來值共享一種線性關係。線性迴歸根據相同時間範圍內的多個獨立變數來預測結果。同時，自動迴歸僅使用一種變數類型，但將其擴展到多點以預測未來的結果。例如，您可以使用線性迴歸，根據天氣、交通量和步行速度來預測通勤時間。或是自動迴歸模型使用您過去的通勤時間來估算今天的抵達時間。
多項式迴歸與自動迴歸的比較
多項式迴歸是一種擷取非線性變數關係的統計方法。部分變數無法用直線以線性表示，需要額外的多項式項數才更能反映之間的關係。例如，工程師使用多項式迴歸，根據員工的教育水平來分析員工收入。同時，自動迴歸適合用於來根據員工之前的工資預測員工的未來收入。
邏輯迴歸與自動迴歸的比較
邏輯迴歸讓統計模型可用預測概率術語表示特定事件的可能性。其以百分比表示預測結果，而不是以一系列數字表示。例如，商業分析師使用邏輯迴歸模型預測下一個月有 85% 的機率供應成本會增加。反之，自動迴歸模型基於其前幾個月的歷史預測，預測可能的庫存價格。
嶺迴歸與自動迴歸的比較
嶺迴歸是一種線性迴歸的變體，其可限制模型的係數。資料科學家可以調整懲罰因數，補償建模結果中的影響係數。在嶺迴歸模型中，可將參數係數抑制到接近零。在迴歸演算法容易過度擬合時，這很有幫助。過度擬合是模型可以利用訓練資料，而不是不熟悉的真實世界資料進行一般化的情況。同時，自動迴歸模型沒有係數懲罰機制。
Lasso 回歸與自動迴歸的比較
Lasso 迴歸與嶺迴歸相似，其可以使用懲罰數限制變數係數。但是，Lasso 迴歸可以將係數抑制為零。這讓資料科學家可透過忽略非關鍵參數來簡化複雜的模型。同時，自動迴歸模型不會使用係數來調節其預測。
AWS 如何協助使用自動回歸模型？
有了 Amazon Web Services (AWS)，軟體團隊可更有效地建置、訓練、部署和擴展生成式 AI 應用程式的自動回歸模型。憑藉企業級安全性和受管基礎架構，AWS 簡化企業的生成式模型開發，並縮短上市時間。例如，您可以使用以下服務：
- Amazon Bedrock 是一項受管服務，提供可使用自己的資料來自訂和創新的基礎模型。
- Amazon SageMaker為任何使用案例建置、訓練和部署 ML 模型。
- AWS Trainium 和 AWS Inferentia 可利用高效能、低成本的運算能力在雲端上訓練、託管和擴展生成式 AI 應用程式。
立即建立帳戶，開始在 AWS 使用自動回歸模型。
