• Transformer 模型是一種神經網路架構，主要用於自然語言處理 (NLP, Natural Language Procession)
• 最初由 Google 研究團隊在 2017 年提出，主要特點在沒有使用傳統的循環神經網路 (RNN)、卷積神經網路 (CNN)
• Transformer 採用自注意力機制 (Self-Attention) 來建立序列信息，因此能更好的處理長序列輸入，並能夠平行運算、加速訓練速度
• Transformer 模型包含兩個主要組件，每個組件都由多層組成，每個層包含多頭自注意力機制與前饋神經網路
• 編碼器
• 解碼器
• Transformer 在自然語言處理 NLP 的優勢，在於能有效處理長序列輸入 (較長的使用者輸入)，因為能平行運算所以訓練效率、預測效果都較好，在文本生成、語言理解、機器翻譯的效果較佳

Transformer 模型應用

Source: Nvidia

• RNN: Recurrent Neural Networks
• RNN 是一種序列模型，能夠自然的處理輸入的時間關係
• RNN 的計算是順序執行的，不利於平行計算
• RNN 容易產生梯度消失跟無法收斂的問題

• CNN: Convolutional Neural Networks
• CNN 模型主要應用在圖像處理領域
• CNN 對於序列輸入處理，需要先將序列轉換為圖片，或是固定長度的向量表示
• CNN 在自然語言處理 NLP 上表現並不理想

Convolutional Neural Networks (CNN)

Source: Analytics Vidhya

Tesla 自動駕駛採用了那些 AI 模型

• Tesla 的自動駕駛主要就是使用了 CNN、RNN 兩種深度學習模型
• CNN 用於處理視覺訊息，從相機、雷達等傳感器獲取的原始數據提取特徵，識別道路、車道、交通號誌、其他車輛等，以進行行車、障礙物檢測等任務
• RNN 模型則用於處理車輛傳感器蒐集到的序列數據，例如車速、加速度、方向盤轉動角度等訊息，用來預測車輛行駛狀態、行駛意圖，幫助自動駕駛系統做出決策
• Tesla 的模型還使用了強化學習 (Reinforcement Learning) 技術，通過與環境交互，自動學習並優化策略，實現更為精確的駕駛決策

• LaMDA：Language Model for Dialogue Applications 是 Google 2021 年推出的自然語言處理模型，目的在幫助機器人 (Bot) 更好的理解與應對自然語言交互
• 類似於 GPT-3 都是一種基於 Transformer 架構的大型語言模型
• LaMDA 專門設計用於對話場景，讓人類與機器人更加自然、流暢的對話，甚至可以實現對抗式* 對話，進而更好的理解何應對用戶需求跟意圖
• LaMDA 的特點
• 可擴展性：可訓練成任意數量的主題、領域和語言，使用各種對話場景，例如社交、商業、醫療等
• 交互式對話：可實現更為自然、流暢、富表現力的對話
• 支持多模態：除支持文本輸入、輸出外，還能與圖像、視頻等多種媒體進行交互，實現更為豐富的對話體驗
• 隱私保護：採用聯邦學習** 的方式，將訓練數據分佈在多個設備、服務器中，避免用戶數據集中處理的風險