什麼是日誌分析？
應用程式、伺服器、雲端基礎設施、IoT 與行動裝置、DevOps、微型服務架構——最大的商業與 IT 趨勢改善營運且提升客戶體驗，為我們提供前所未有的幫助。不過，這些趨勢也為機器產生的資料帶來爆炸性的成長，其中包含日誌與指標，像是使用者交易、客戶行為、感應器活動、機器行為與安全威脅。這份資料很複雜，但也是最有價值的資料，因為其中包含用於 IT、安全與商業的營運智慧。
日誌分析涉及搜尋、分析和視覺化您的 IT 系統和技術基礎設施產生的機器資料，以獲得營運洞察資料。機器資料的種類和數量均不斷快速增長，而傳統的資料分析工具根本無法對此進行處理。
為什麼日誌分析很重要？
日誌資料不斷增長。如果沒有一個全面且注重成本的解決方案，成本將繼續不受控制地增長。人因資料和機器產生的資料正在以驚人的速度增長，其中人為產生的資料的增長率通常是商業資料的 10 倍。機器資料預計將會增長更多。
日誌分析的發展歷程？
自從我們開始建立電腦產生的記錄以來，我們一直在嘗試批量分析這些記錄。這些記錄由裝置、應用程式、網路 (等等) 發出，然後按時間順序排列成日誌。很多時候，這些日誌並未完整記錄，也沒有在各應用程式或裝置一致記錄，因此很有必要進行日誌分析。
日誌分析市場的前景如何？
日誌資料很少消失——它只是以不同的方式儲存及存取。隨著數量不斷增長，我們需要更複雜的方法來儲存及理解這些資料。機器學習可用於在不斷增長的資料堆積中尋找模式，除此之外，其還可協助執行安全分析、詐騙偵測、異常偵測等任務。
日誌分析有哪些優勢？
日誌分析可以回答重要的營運分析問題，如以下清單所示。想像一下，如果您可以即時回答以下這些問題：
- 我的基礎設施是否正常運作？
- 什麼是延遲和錯誤率？
- 導致應用程式問題的原因是什麼？
- 是否有任何可疑的身分驗證活動？
- 此 IP 地址存取了哪些資料？
- 是否有詐騙執行個體？
- 我的使用者對哪些內容/產品有興趣？
- 使用最多或最少的功能有哪些？
- 哪個使用者最活躍以及為什麼？
如需更深入地了解日誌分析的好處，請查看本篇 Omdia 文章。
日誌分析有哪些挑戰？
日誌分析工具面臨的一些主要挑戰包括：
-
資料種類和資料磁碟區正在迅速增加
- 安全性和成本是關鍵要求
- 無法輕鬆向舊式機構新增即時和預測結果
誰在使用日誌分析？
日誌分析的主要使用者是 DevOps 工程師、站點可靠性人員和企業架構師。
日誌分析有什麼作用？
即時應用程式和基礎設施監控
擷取和集中來自您的應用程式和 IT 孤島的所有日誌和指標，以深入了解您的應用程式和基礎設施堆疊並確保正常執行時間。您需要編制資料索引，以用於即時分析，從而讓您可以即時視覺化效能指標。
根本原因分析
快速識別環境 (伺服器、程式碼) 中的問題，以縮短平均識別時間 (MTTI) 和平均解決時間 (MTTR)。藉助視覺化工具，您可搜尋數百萬個事件並跨應用程式和基礎設施進行關聯，以快速診斷問題的根本原因，進而提高正常執行時間。
點擊流分析
即時了解 Web 內容的效能以及使用者與應用程式和網站的互動，包括使用者行為、花費的時間、熱門內容等。您可輕鬆地彙總和分析您的點擊流日誌，進而更深入地了解您的客戶。
安全情報和事件管理 (SIEM)
集中和分析整個環境 (包括應用程式、網路和作業系統) 中產生的事件，以識別網路中的任何惡意或可疑活動。您可在擷取資料後立即編制資料的索引，讓您立即分析和視覺化多個來源的資料，更快速地找出威脅並進行防範。
如何建立日誌分析策略
您的日誌分析策略需要解決資料擷取、轉換和擴充、索引和分區策略、基礎設施規劃，以及最後的資料生命週期和資料存檔。以下是要採取的一般步驟：
-
首先，您需要識別資料移動或資料擷取。基本上，您必須找出擷取途徑。
-
其次，您需要設定日誌行或字串的資料轉換。日誌分析多次使用 JSON——必須適當地轉換資料並在需要時進行擴充。
-
第三，你必須想出一個索引和分區策略。正確建立索引不可或缺。
-
第四，您還必須進行一些基礎設施規劃，以確定執行個體類型以及您需要的執行個體數量。
-
最後，為了控制日誌大小和成本，您需要一個針對資料生命週期和存檔的整體策略。
我應在哪裡存放我的日誌資料？
Amazon OpenSearch Service 為您的日誌資料提供各種儲存方案。您可以選擇符合您查詢需求的儲存方案 (熱儲存、UltraWarm 儲存和冷儲存)。
適用於日誌分析的 AWS 產品有哪些？
輕鬆部署和管理
Amazon OpenSearch Service 讓您能夠輕鬆設定和部署叢集，同時消除與管理任務 (例如硬體佈建、軟體安裝和修補、故障復原、備份及監控) 相關的複雜性，進而能夠降低營運開銷並專注於核心業務需求。
實現規模和可靠性
Amazon OpenSearch Service 在單一網域中擁有多達 3 PB 的執行個體儲存體，讓您可以輕鬆地新增或移除執行個體，且無須任何停機時間。該服務還提供內建的靜態和傳輸中加密、使用者身分驗證及 VPC 支援，讓您能夠確保資料安全無虞。
輕鬆與其他 AWS 服務整合
Amazon OpenSearch Service 提供與其他 AWS 服務的內建整合，例如 Kinesis Data Firehose、Managed Streaming for Kafka、IoT、CloudWatch Logs、KMS、Cognito 和 IAM，因此您可以安全地擷取、分析和視覺化來自所有來源的資料。
降低成本
使用 Amazon OpenSearch Service 時，您只需按實際用量付費。沒有預付費也沒有使用量要求。藉助全年無休的監控以及 AWS Support，您不需要 Elasticsearch 專家團隊來擴展、保護和監控您的基礎設施，進而助力降低總營運成本。
使用 AWS 的日誌分析如何運作？
藉助 AWS，您可以建置不同的解決方案，以有效地合併、監控和分析您的日誌資料。利用這些解決方案，您可精簡檢視應用程式、系統和 AWS 日誌資訊，以實現即時營運智慧。
使用 Amazon OpenSearch Service 的集中式日誌記錄
此解決方案採用 Amazon OpenSearch Service 技術，可結合其他 AWS 服務，為您提供高度可用的統包環境，以開始記錄和分析 AWS 環境和應用程式。 Amazon OpenSearch Service 入門»
下圖展示了集中式日誌架構。要進一步了解，請參閱集中式日誌記錄解決方案簡介。
使用 Amazon Kinesis 進行即時監控
該解決方案將 Amazon Kinesis 與 AWS CloudTrail 和 Amazon CloudWatch 搭配使用，讓您能夠建置無伺服器解決方案，以即時監控您的應用程式。 Amazon Kinesis 入門»
下圖展示了即時應用程式監控架構。要進一步了解，請遵循此實作教學。
客戶如何實作日誌分析？
即時應用程式和基礎設施監控
擷取和集中來自您的應用程式和 IT 孤島的所有日誌和指標，以深入了解您的應用程式和基礎設施堆疊並確保正常執行時間。Amazon OpenSearch Service 可編制資料索引，以用於即時分析，並可讓您使用 Kibana 儀表板即時視覺化效能指標。
Expedia Group 是全球其中一間領先業界的旅遊公司，使用 Amazon OpenSearch Service 進行應用程式監控。Amazon OpenSearch Service 讓 Expedia 能夠以符合經濟效益的方式監控大量 Docker 日誌、即時識別並排除問題、輕鬆擴展以容納額外的日誌來源，以及降低營運開銷。 進一步了解 »
根本原因分析
快速識別環境 (伺服器、程式碼) 中的問題，以縮短平均識別時間 (MTTI) 和平均解決時間 (MTTR)。藉助內建的 Kibana，Amazon OpenSearch Service 可讓您搜尋數百萬個事件並跨應用程式和基礎設施進行關聯，以快速診斷問題的根本原因，進而提高正常執行時間。
Autodesk 是 3D 設計和工程軟體的供應商龍頭，使用 AWS 服務 (包括 Amazon OpenSearch Service、Amazon Kinesis Data Firehose 和 Amazon Kinesis Data Analytics) 來建置經濟實惠的統一日誌記錄解決方案，以更快地發現和修正應用程式問題及改善客戶體驗。 進一步了解 »
點擊流分析
即時了解 Web 內容的效能以及使用者與應用程式和網站的互動，包括使用者行為、花費的時間、熱門內容等。使用 Amazon OpenSearch Service 和 Amazon Kinesis Data Firehose 或 Amazon Managed Streaming for Kafka，您即可輕鬆地彙總和分析您的點擊流日誌，進而更深入地了解您的客戶。
Hearst Corporation 是一家大型媒體公司，使用 Amazon OpenSearch Service、Amazon Kinesis Streams 和 Amazon Kinesis Firehose 建立點擊流分析平台，每天可傳輸和處理 30 TB 的資料。使用此平台，Hearst 能夠在幾分鐘內將包含網站點擊率到彙總資料的完整資料串流提供給編輯人員。 進一步了解 »
安全情報和事件管理 (SIEM)
集中和分析整個環境 (包括應用程式、網路和作業系統) 中產生的事件，以識別網路中的任何惡意或可疑活動。Amazon OpenSearch Service 可在擷取資料後立即編制資料的索引，讓您立即分析多個來源的資料，更快速地找出威脅並進行防範。
AWS 日誌分析後續步驟
查看這些推薦資源：
- 開始免費試用 Amazon OpenSearch Service
- 參加有關如何建置日誌分析解決方案的研討會
- 您還可以使用 Amazon OpenSearch Service 的免費方案免費開始。 透過 AWS 免費方案，在 t2 和 t3 small.search 執行個體上每月最多可使用 750 小時。
