一張圖看懂企業導入 AI:從身份到治理的五個階段

這是一張企業導入 AI 的參考架構圖。五個層:使用者與應用、身份與存取、AI gateway、模型與資料檢索、agent 與工具,底下一排是治理與可觀測性。方塊是功能元件,可以對應到團隊手上任何廠商的產品。圖上有兩套標記:箭頭是元件之間的呼叫關係,①到⑤的圓形編號是建議的導入順序。這篇照編號走一遍。

第一階是身份與 gateway,對應 「身份與存取」整欄(SSO / IdP、角色與範圍、密鑰管理)和 「AI 閘道」整欄(路由、流量限制與預算、紀錄、PII / DLP 過濾),編號①。雲端 LLM API 畫在企業邊界線上,箭頭全部經過 gateway 才進出,沒有第二條路直接連外部。排在第一階,是因為後面每一階都要用到「誰在問」和「這通 call 花了多少、記了沒有」,這兩件事沒解決,其他都無從管起。下面用一家假想公司走一遍,叫晴川,約 40 人,8 個工程師、2 個行銷,晴川是編的,只用來把每一階走一遍。晴川如果讓大家各自拿信用卡開帳號、用自己的 key,公司連誰在用什麼工具都答不出來。知道可以進第二階的判斷方式是:新員工透過 SSO 登入,拿到的角色範圍是對的,超額或該擋的 PII 真的被擋下來,不用有人盯著。

第二階是資料與檢索,對應 「資料與檢索」整欄:企業資料來源、匯入與索引、檢索索引,編號②。排在身份與 gateway 之後,是因為 檢索索引標的是「依角色範圍」,角色要靠第一階的角色與範圍 才有範圍可用。晴川如果把工程 wiki、客服工單、客戶資料一起餵進同一個索引,行銷問一句話可能連客服才能看的資訊都撈得到,是索引沒有照角色分。這一階還是唯讀,風險停在答錯。知道可以進第三階的判斷方式是:同一個問題,不同角色的人去問,拿到的資料範圍不一樣,而且是對的,這個範圍是系統本身控管的,模型在這裡沒有置喙餘地。

第三階是 agent 開始動,對應 「Agent 與工具」欄裡的 Agent 執行環境和讀取連接器,編號③。Agent 執行環境標的是沙箱執行,連的也只有唯讀連接器。排在資料檢索之後,是因為 agent 要有資料可讀才有事可做,讀的範圍靠第二階已經 scoped 好的索引和連接器限制住。晴川如果讓 agent 自己讀 repo、查工單系統,沙箱擋住的是跑壞了不會動到沙箱外。連接器沒設好範圍是另一個問題,它讀得到的東西可能比預期廣。知道可以進第四階的判斷方式是:agent 讀了什麼、什麼時候讀的都能從 log 查到,而且和它自己回報的內容對得起來,形成一份可以拿來核對它自己說法的獨立紀錄。

第四階是寫入和送出,對應 寫入連接器、送出連接器,加上中間虛線的人工核准方塊,編號④。這兩種連接器跟讀取連接器分開畫,箭頭都要先經過人工核准才能動,方塊上寫的是「寫入與送出需要人工核准」。寫入和送出跟讀不一樣,做錯了留下的是外部後果,系統資料被改掉,或訊息送出去收不回來。晴川如果讓 agent 自己回客服訊息或自己開 PR,內容對不對是一回事,送出去這個動作要有人按下去;prompt 裡寫一句「交代過了」不足以取代這個動作。知道可以進第五階的判斷方式是:寫入和送出這兩種動作,審核紀錄都留在系統裡,而且獨立於 AI 自己講的那份記錄。

第五階是治理硬化,對應最下面整排 「治理與可觀測性」:策略與關卡、稽核帳本、停機與預算上限、成本與品質指標,編號⑤。排在最後,是因為要治理的對象(身份、gateway、檢索、agent、寫入送出)得先存在,才有東西可以治理。這裡容易被誤會成治理到第五階才開始管。紀錄和流量限制與預算從第一階 gateway 就在跑,每通 call 一開始就被記錄、被扣預算。第五階補的是三件事:策略與關卡比對宣告的規則和實際發生的事是不是一致。停機與預算上限是跑到一半就能整個停下來,rate limit 只能擋下一次新的呼叫。成本與品質指標看的是 p95 這種尾端數字,平均值會蓋掉同樣的異常。晴川到這一階通常有好幾個 agent 或管線同時在跑,新增的問題是正在跑的 run 超出範圍時能不能當下停掉,這通 call 有沒有記錄在第一階就已經處理。這一階沒有下一階,判斷治理層有沒有真的在運作,要定期把策略與關卡的宣告和稽核帳本的紀錄對一次,對不上就代表還沒站穩。

SaaS 版和自架版這兩張圖,差別只在「模型」這一欄。SaaS 版裡 雲端 LLM API 畫在企業邊界線上,箭頭進出都要先經過 gateway,沒有第二條路直接接到外部 API。自架版把這個方塊換成模型登錄 / 權重和 GPU / 推論叢集兩塊,編號①b,整個在企業邊界裡面,weights 從 registry 載進 GPU 叢集,不對外連。其他四欄和最下面的「治理與可觀測性」,兩張圖一模一樣。自架版真正換的只有模型放在誰手上。身份、gateway、資料範圍、agent 怎麼動、治理怎麼補,這些全部不變。

這篇只走一次全圖。系列接下來每一階各寫一篇,從①的身份和 gateway 開始,一路寫到⑤的治理硬化。