什麼是 NLP?
自然語言處理 (NLP) 是一種機器學習技術,讓電腦能夠解譯、操縱及理解人類語言。如今,組織擁有來自各種通訊管道的大量語音和文字資料,例如電子郵件、簡訊、社交媒體新聞摘要、影片、音訊等。他們使用 NLP 軟體來自動處理此資料,分析訊息中的意圖或情緒,並即時回應人類通訊。
為什麼 NLP 很重要?
自然語言處理 (NLP) 對於完整且高效地分析文字和語音資料至關重要。它可透過日常對話中典型的方言、俚語和語法不規則性的差異來運作。
公司將其用於多項自動化任務,例如:
• 處理、分析和封存大型文件
• 分析客戶意見回饋或呼叫中心記錄
• 執行聊天機器人以實現自動化客戶服務
• 回答誰-什麼-何時-在哪裡問題
• 分類和擷取文字
此外,您還可以將 NLP 整合至面向客戶的應用程式中,以便更高效地與客戶溝通。例如,聊天機器人可分析和排序客戶查詢,自動回應常見問題,並將複雜的查詢重新引導至客戶支援。這種自動化有助於降低成本,節省客服人員花費在冗餘查詢上的時間,並改善客戶滿意度。
什麼是企業的 NLP 使用案例?
企業使用自然語言處理 (NLP) 軟體和工具來高效且準確地簡化、自動化和精簡操作。下面列出了一些範例使用案例。
敏感資料編輯
保險、法律和醫療保健領域的企業會處理、分類和擷取大量敏感文件,例如醫療記錄、財務資料和私人資料。公司並非手動審查,而是使用 NLP 技術來修訂個人身分資訊並保護敏感資料。例如,Chisel AI 可協助保險業者使用 Amazon Comprehend,從非結構化文件中擷取保單編號、到期日期和其他個人客戶屬性。
客戶參與
NLP 技術讓聊天和語音機器人在與客戶交談時更像人類。企業使用聊天機器人來擴展客戶服務能力和品質,同時將營運成本降至最低。 PubNub 可建置聊天機器人軟體,使用 Amazon Comprehend 為其全球客戶介紹當地語系化聊天功能。 T-Mobile 使用 NLP 識別客戶簡訊中的特定關鍵字,並提供個人化建議。 奧克拉荷馬州立大學部署答疑聊天機器人解決方案,使用機器學習技術來解決學生的問題
商業分析
行銷人員使用 Amazon Comprehend 和 Amazon Lex 之類的 NLP 工具,來了解客戶對公司產品或服務的感受。透過掃描特定片語,他們可在書面意見回饋中衡量客戶的情緒和情感。例如,Success KPI 提供各種自然語言處理解決方案,協助企業專注於情緒分析中的目標領域,並協助聯絡中心從通話分析中獲得可行的洞察。
NLP 如何運作?
自然語言處理 (NLP) 結合運算語言學、機器學習和深度學習,來處理人類語言。
運算語言學
運算語言學是透過電腦和軟體工具,來理解和建構人類語言模型的科學。研究人員使用運算語言學方法 (如語法和語義分析) 來建立架構,以協助機器理解對話的人類語言。語言翻譯器、文字轉換語音合成器和語音識別軟體等工具,都以運算語言學為基礎。
機器學習
機器學習是一種使用範例資料來訓練電腦以改善其效率的技術。人類語言具有諷刺、隱喻、句子結構變化等多項特徵,以及需要人類多年學習的語法和用法例外狀況。程式設計人員使用機器學習方法,教授 NLP 應用程式從一開始就識別並準確理解這些特徵。
深度學習
深度學習是一個特定的機器學習領域,教授電腦像人類一樣學習和思考。它涉及由資料處理節點組成的神經網路,類似於人類大腦。透過深度學習,電腦可識別輸入資料中的複雜模式,對其進行分類並建立關聯性。
NLP 實作步驟
一般而言,NLP 實作會從雲端資料倉儲、調查、電子郵件或內部商業程序應用程式等來源,收集和準備非結構化文字或語音資料。
預先處理
NLP 軟體使用預先處理技術,如 Token 化、詞幹分析、詞形還原和停用字移除,以便為各種應用程式準備資料。
下面介紹這些技術:
- Token 化將句子分解為個別單字或片語單位。
- 詞幹分析和詞形還原可將單字簡化為其根形式。例如,這些程序會將 "starting" 轉變為 "start"。
- 停用字移除可確保移除不會為句子新增重要意義的單字,如 "for" 和 "with"。
培訓
研究人員使用預先處理的資料和機器學習來訓練 NLP 模型,以便根據提供的文字資訊來執行特定應用程式。訓練 NLP 演算法需要為軟體提供大型資料範例,以提高此演算法的準確度。
部署與推論
機器學習專家隨後會部署模型,或將其整合至現有的生產環境。NLP 模型會接收輸入,並預測模型設計的特定使用案例輸出。您可以在即時資料上執行 NLP 應用程式,以取得所需的輸出。
什麼是 NLP 任務?
自然語言處理 (NLP) 技術或 NLP 任務,將人類文字或語音分解為電腦程式可輕鬆理解的較小部分。NLP 中常見的文字處理和分析功能如下。
詞性標記
這是 NLP 軟體根據上下文用法 (如名詞、動詞、形容詞或副詞),在句子中標記個別單字的程序。它可協助電腦理解單字如何形成彼此有意義的關係。
字義去除混淆
某些單字在不同場景中使用時可能具有不同的含義。例如,「bat」這個單字在以下句子中表示不同的事物:
- A bat is a nocturnal creature. (蝙蝠是夜行性生物。)
- Baseball players use a bat to hit the ball. (棒球運動員使用球拍擊球。)
透過字義去除混淆,NLP 軟體可訓練其語言模型或引用字典定義,來識別單字的預期含義。
語音識別
語音識別可將語音資料轉換為文字。該程序涉及將單字分解為更小的部分,並理解重音、口音、語調和日常對話中的語法使用不當。 語音識別的關鍵應用程式是轉錄,這可使用語音轉換文字服務 (例如 Amazon Transcribe) 來完成。
機器翻譯
機器翻譯軟體使用自然語言處理功能,將文字或語音從一種語言轉換為另一種語言,同時保留情境的準確性。 支援機器翻譯的 AWS 服務是 Amazon Translate。
命名實體辨識
此程序可識別人員、地點、事件、公司等的唯一名稱。NLP 軟體使用命名實體辨識,來確定句子中不同實體之間的關係。
考慮以下範例:「Jane 前往法國度假,她喜歡吃當地美食。」
NLP 軟體將選擇「Jane」 和「法國」作為句子中的特殊實體。這可透過指代消解進一步識別,判斷是否使用不同的字詞來描述同一實體。在上面的範例中,「Jane」 和「她」都指向同一個人。
情緒分析
情緒分析是一種以人工智慧為基礎的方法,用於解譯文字資料所傳達的情緒。NLP 軟體可分析文字中顯示不滿、幸福、懷疑、後悔和其他隱藏情緒的字詞或片語。
自然語言處理採用哪些方法?
我們在下面給出了一些常見的自然語言處理 (NLP) 方法。
受監督 NLP
受監督 NLP 方法使用一組標記或已知的輸入和輸出來訓練軟體。該程式首先會處理大量已知資料,並學習如何從任何未知輸入產生正確的輸出。例如,公司訓練 NLP 工具,根據特定標籤對文件進行分類。
無監督 NLP
無監督 NLP 使用統計語言模型,來預測非標記輸入饋送時發生的模式。例如,文字訊息中的自動完成功能會透過監控使用者的回應,來建議對句子有意義的相關字詞。
自然語言理解
自然語言理解 (NLU) 是 NLP 的一個子集,專注於分析句子背後的含義。NLU 可讓軟體在不同的句子中尋找相似的含義,或處理具有不同含義的字詞。
自然語言產生
自然語言產生 (NLG) 專注於根據特定的關鍵字或主題,產生像人類一樣的對話文字。例如,具有 NLG 功能的智慧聊天機器人能夠以客戶支援人員類似的方式來與客戶交談。
AWS 如何協助您處理 NLP 任務?
AWS 針對各專業層級客戶提供最廣泛、最完整的人工智慧和機器學習 (AI/ML) 服務組合。這些服務連線至一組全面的資料來源。
針對缺乏 ML 技能、需要加速上市,或想要為現有程序或應用程式新增智慧的客戶,AWS 提供一系列以 ML 為基礎的語言服務。藉助這些服務,公司能夠透過語音、轉錄、翻譯、文字分析和聊天機器人功能的預先訓練 API 輕鬆地為其 AI 應用程式融入智慧。
以下是以 AWS ML 為基礎的語言服務清單:
- Amazon Comprehend 協助發現文字中的洞見和關係
- Amazon Transcribe 執行自動語音辨識
- Amazon Translate 可流利地翻譯文字
- Amazon Polly 將文字轉化為聽起來自然的語音
- Amazon Lex 協助建立聊天機器人以與客戶互動
- Amazon Kendra 對企業系統進行智慧搜尋,以快速找到所需的內容
對於希望在整個業務中建立標準自然語言處理 (NLP) 解決方案的客戶,請考慮採用 Amazon SageMaker。 SageMaker 可透過全受管基礎設施、工具和工作流程,輕鬆準備資料,以及建置、訓練和部署機器學習模型,包括適用於商業分析師的無程式碼服務。
藉助 Amazon SageMaker 上的 Hugging Face,可以部署和微調來自 NLP 模型開放原始碼供應商 Hugging Face 的預先訓練模型 (稱為轉換器)。這可將設定和使用這些 NLP 模型所需的時間從幾週縮短為幾分鐘。
立即建立 AWS 帳戶,開始使用 NLP。