使用 Ollama + Ngrok 搭建本地 LLM,遠端存取 AI 模型教學
本篇要解決的問題
ChatGPT 等 AI 工具很方便,但有時工作上的數據可能會被 AI 當作學習資料,尤其這陣子新聞被洗版的 DeepSeek,幾個國家會禁用的原因都是安全疑慮。
前陣子新買了一台 Mac mini,就想來在本地安裝 LLM,然後在工作時使用。
本地安裝好 LLM 後,要能遠端使用,試了幾次 NAT 通訊埠轉發都失敗,就改用最簡單的 Ngrok。
安裝、使用 Ollama
Ollama 官網:https://ollama.com/。
點擊 Download 就可以下載、安裝。...
letswrite.hashnode.dev2 min read