【Shanghai AI Security MeetUp】活动回顾

本次 Shanghai AI Security MeetUp 設置了主題分享、案例研討、圓桌交流與開放討論等多個環節，重點聚焦以下方向：

• Dify 類 LLM 應用平台的企業級安全部署架構
  探討企業在使用 Dify、Coze、LangChain、Open WebUI 等應用構建平台時，如何設計安全的系統架構、權限邊界與資料隔離機制。
• Prompt Injection 與 Tool Injection 的真實攻擊場景
  分析惡意文檔、網頁內容、用戶輸入、插件描述與外部 API 返回結果，如何影響模型決策流程，並可能觸發非預期操作、資料外洩或越權調用。
• 知識庫、插件與外部工具整合後的攻擊面擴張
  深入討論 RAG 知識庫、企業文件、第三方 API、插件市場與外部工具整合後，可能引發的資料污染、權限擴散、供應鏈風險與信任邊界失控問題。
• 自主型 AI Agent 的權限隔離、審計與監控設計
  圍繞 Agent 在任務規劃、工具選擇、資料讀取與自動執行過程中的安全控制，探討如何建立可監控、可審計、可回溯的治理框架。
• Workflow 編排中的安全邊界與人工確認機制
  結合多步驟工作流場景，討論在長鏈路任務、自動化決策與跨系統操作中，如何引入權限收斂、風險分級、人工審批與異常阻斷機制。

  本次 Shanghai AI Security MeetUp 邀請了多位來自人工智慧安全、系統防護、企業 AI 應用與產業治理領域的專家參與分享與交流。與會分享重點包括：

1. Dify 類 AI 應用平台的安全風險識別

   當企業透過 Dify 等平台快速搭建 AI 應用，並連接內部知識庫、業務資料庫、SaaS 系統、API 接口、第三方插件與外部工具後，風險已不再局限於模型回答不準確，而是進一步延伸至資料誤處理、權限濫用、工具誤調用、工作流失控與跨系統連帶影響。

本次活動重點討論了如何從應用設計階段識別風險，包括資料流向、權限模型、工具調用邏輯、知識庫接入邊界以及外部輸入可信度等問題。

2. Prompt Injection / Tool Injection 的防護策略

   在 AI Agent 與工作流應用中，模型不僅處理文本，更可能根據文本內容調用工具、查詢資料、生成指令或觸發自動化流程。這使得 Prompt Injection 與 Tool Injection 的風險更加突出。

   與會嘉賓結合實際案例，探討了惡意內容如何混入文檔、網頁、插件描述、API 返回值或用戶輸入中，並影響模型行為。同時，活動也分享了包括輸入分層、指令隔離、工具白名單、權限最小化、敏感操作確認與輸出審查等防護思路。

3. Workflow / Plugin / Extension 生態安全

    Dify 類平台的可擴展能力為企業 AI 應用落地提供了便利，但第三方插件、外部工具與擴展組件也可能成為新的安全入口。

本次活動圍繞插件來源可信度、權限範圍、程式碼檢測、API 安全、行為分析、上線審查與持續監控等議題展開討論，並探索了建立插件安全基線、風險分級制度與企業級審批流程的必要性。

4. 上海場景下的 AI 安全治理與合規實踐

   作為中國重要的國際金融中心、科技創新中心與數字經濟高地，上海在 AI 應用落地、產業數字化升級、金融科技創新、企業合規治理與數字基礎設施建設方面具有重要實踐場景。

本次 Shanghai AI Security MeetUp 特別關注了上海企業在導入 LLM 應用與 AI Agent 系統時所面臨的安全與治理挑戰，包括資料保護、內部控制、審計留痕、模型應用風險評估、第三方服務管理及跨系統協作中的責任邊界。

     亞太人工智慧安全研究學會將持續在包括 上海、香港、澳大利亞墨爾本、悉尼、東京 在內的亞太城市舉辦 AI Security MeetUp 系列活動，打造面向區域的人工智慧安全交流平台。

下一期 MeetUp 預計將聚焦於：

    Dify 與 AI Agent 應用中的安全架構設計與治理實務

討論內容將包括：

• Dify 類平台的企業級安全部署架構
• Prompt Injection / Tool Injection 防護策略
• 知識庫、插件與外部工具接入的風險控管
• AI Agent 的權限隔離、審計與監控設計
• Workflow 編排中的安全邊界與人工確認機制
• 企業導入 LLM 應用平台的治理機制與最佳實踐
• 亞太企業場景下的 AI 安全、合規與風險管理