午餐的約會-AI 應用心得的交流

午餐的約會。

大家藉著中午休息的空檔，分享了最近在研究 AI 應用的心得。我們暢談了在地端封閉式的使用模式，以及各大語言模型（LLM）可以應用在工作和生活的不同場景。

隨著投入研究的時間越來越多，我們發現琳瑯滿目的工具並不是最重要的。關鍵在於如何運用這些工具，解決實際的問題和需求。

有時感到獨自摸索很孤單，缺乏不同觀點的交流實在可惜。因此，我們希望未來能夠有更多這個領域的意見交換，這對於職涯發展和個人競爭力的提升，相信會有正面的影響。

[全文:]

這是久違的四人聚會，我們一邊慶祝兩位畢業生脫離苦海，可以稍微喘口氣調整身心靈，一邊深入討論 AI 的各種應用，探索如何將其融入工作和生活中。

職涯發展是一段漫長的旅程，每個階段都會遇到瓶頸和需要突破的挑戰。透過彼此對職場和產業生態的觀察，分享資訊和心得，即便不再同一個職場工作，我們仍能互相支持和鼓勵。能夠攜手共事八年以上，實屬不易，我們珍惜這份革命情誼，希望這份情感能夠持續下去。

◎ 地端個人與企業用知識庫方案
◼ https://hsuanwei.notion.site/AI-19fde4d95a6780088945ed0a46252014
《企業與個人的 AI 智慧夥伴：打造本地化知識管理系統》，若 2024 年上半年有 Dify 跟 Ollama 這樣的服務，同時開源模型也能達到現階段的水平的話，我們單位應該就可以用很短的時間打造原先討論的內部用知識庫，用來解決各旅店的問題通報，各單位的教育訓練，以及各部門的會議紀錄、彙整與查詢，甚至還能夠處理各種審批單的分析與調查。同時也能展開外部客戶的智慧問答跟分析，只是沒有如果這回事。看到一手組建的團隊從我自己畢業後，慢慢的凋零，心中難免有許多感觸，但不揮別過去怎麼能向前看呢？

◼ https://notebooklm.google.com/
NotebookLM 是 Google 推出的 AI 筆記工具，與其說是筆記，我個人是把它視為個人知識庫的應用。它主要可以進行資料整合與分析，透過 AI 對答方式，提供一份彙整後的資料。以下兩篇是我透過 NotebookLM 的功能，所進行的資料研究跟應用。

◼ https://bit.ly/4krZGYg
《DeepSeek：AI模型效能與成本革命》我利用 NotebookLM 來彙整農曆過年期間，DeepSeek 的相關資料，幫助我快速掌握它與其他 LLM 的異同。

◼ https://bit.ly/43jZe8o
《從技術專家到產業開拓者——Duncan 的創新思維與領導之道》一樣是利用 NotebookLM 來分析我自己的職涯，並且以 AI 的角度來檢視自我的能力，透過 AI 的協助可以持續加強我們的優點，同時也知道如何補足劣勢。

◎ AI 搜尋引擎
◼ https://www.perplexity.ai/
Perplexity 是基於 AI 技術的搜尋引擎，它能搜尋的網站沒有 Google 那麼多，但他可以拆解使用者的問題，進行複雜的搜尋，然後再利用 LLM 把結果彙整給使用者，同時它也有提供免費的「深度研究」功能，可以讓我們一次彙整到完整的資料。之前進行敦謙投資分析可行性的報告，其中一個區塊就是用這個服務產出的。另外 Lulu 家的產業分析報告，也是用它的深度研究來進行額外的補充。

◼ https://www.bing.com/
Bing 的搜尋引擎有結合 GPT 的功能彙整，在上面的 Perplexity 還未推出之前，Bing 的服務我很常使用，但從 Perplexity 問世之後，我就都改使用這個平台來搜尋。現在 Bing 的使用量大幅減少，偶爾才會開來測試用。

◎ LLM 比較常見的模型平台
我使用的主力是 ChatGPT，除此之外還會使用 Claude 跟其他模型，但比例是 9:1。使用其他模型是為了比較不同模型在哪個領域的表現比較傑出，以及使用深度研究功能，因為深度研究會耗費許多資源，就算是 ChatGPT 的 Plus 付費用戶，也有使用次數的限制，因此我會用其他家免費功能，來輪流跑一些我想知道的訊息。以下使我自己使用後的一些觀察。

◼ https://chatgpt.com/
ChatGPT 是帶動這一系列 LLM 大幅進展與突破的平台，我目前是使用 Plus 的付費資格（每月 20 美金，從信用卡扣款），資料組購買的是 API 的服務，主要是用來進行程式串接，以 token 消耗數量來計費，Plus 則是一個對話視窗，讓我們可以跟 LLM 直接對話。Plus 現在已經有提供有限的「深度研究」功能。所謂的深度研究就是一種 AI 代理，它會解讀使用者的問題，進行複雜的自我對話，最終產出一份專業的報告。而這個過程可能會需要運作 3-30 分鐘不等。

◼ https://claude.ai/
Claude 是跟 ChatGPT 一樣的 LLM 服務，它的文字產出比較有文藝性，所以如果是要修飾文章，比較偏向生活敘述方面的部分，我會使用這個免費的服務。

◼ https://chat.deepseek.com/
DeepSeek 是跟 ChatGPT 一樣的 LLM 服務（有「深度研究」），它之所以有名是因為它用了蒸餾的方式，從別人訓練的基礎上濃縮了自己訓練的內容，所以可以使用比較少的資源訓練出高品質的模型。而跟其他 LLM 的差異除了消耗較少資源外，它訓練內容以大量中文為主，所以對中文方面的理解跟解答表現會比其他模型好一點點。不過它是中國公司開發的，因此雲端版本有嚴格的中國審查標準（地端模型就沒有審查模式了）。

◼ https://gemini.google.com/app?hl=zh-TW
Gemini 是 Google 推出的 LLM，它現在急起直追，表現比之前好很多，也用來輔助搭配使用。尤其是在程式開發的語法上面。

◼ https://grok.com/
Grok 是特斯拉老闆伊隆·馬斯克推出的 LLM，這個模型在推理、數學、程式開發上，效率比其他 LLM 高，也有推出「深度研究」。

◼ https://copilot.microsoft.com/chats/
至於微軟的 copilot，它主要是跟 OpenAI 以及使用到一部分的 DeepSeek 地端模型，同時還有跟 Meta 合作，但因為跟 ChatGPT 重疊度很高，因此我現在比較少使用。

◼ https://www.meta.ai/
至於 Facebook 的母公司 Meta 也有 LLM，不過它是開源的服務，必須安裝在自己的地端或雲端伺服器來運行，至於它的雲端試用版目前還沒開放給台灣這邊的 IP 使用。