Datadog報告：AI“靜默失敗”問題即將沖擊企業系統

Datadog最新發布的《AI工程現狀報告》指出，企業AI系統存在可量化的失敗問題。約每20個請求中就有1個在生產環境中失敗，但系統仍在繼續運行并返回看似正確的輸出，這使得這些失敗難以被檢測。按工程標準來看，生產環境AI系統5%的失敗率已經非常高。

除了失敗率上升，報告還強調了復雜性增加以及生產環境的不穩定性。這并非系統宕機的問題，而是系統在運行中逐漸變得不再可信的問題。

報告中最引人注目的是多個趨勢正在同時碰撞：AI正快速進入生產環境，失敗率開始更清晰地顯現，系統設計變得更加復雜——因為團隊將多個模型、數據源和工具組合到單一管道中。Datadog指出，約70%的組織已在生產環境中使用三個或更多模型，這增加了另一層協調難度。在某些情況下，基于智能體（Agent）的工作流疊加其上，引入了更多變數。每一層都增加了能力，但也增加了出現問題卻不立即顯現的概率，這正是靜默失敗問題開始生根的地方。

"AI開始看起來很像云計算的早期階段，"Datadog首席產品官Yanbing Li表示，"云讓系統變得可編程，但管理起來復雜得多。AI現在正在應用層做同樣的事情。獲勝的公司不僅會構建更好的模型，還會圍繞模型建立運營控制。在這個新時代，AI可觀測性變得像十年前的云可觀測性一樣重要。"

這些發現的意義還在于數據來源。Datadog并非調查開發者或收集意見，而是在分析數千家公司運行AI系統的生產遙測數據。其中包括越來越多的基于智能體的環境，在這些環境中，模型不僅生成輸出，還驅動多步驟工作流。在這些系統中，報告指出運營復雜性是可靠擴展AI的主要障礙，大多數組織已在生產環境中運行多個模型。隨著這些系統擴展，挑戰不再是如何讓它們工作，而是在部署后如何保持它們可理解和可控。

"下一波智能體失敗不會是關于智能體不能做什么，而是關于團隊無法觀察到什么，"Vercel（Next.js背后公司，構建AI驅動Web應用的領先平臺）CEO Guillermo Rauch表示，"我們在Vercel構建了智能體基礎設施，因為智能體需要與優秀軟件相同的生產反饋循環。與傳統軟件不同，智能體的控制流由LLM本身驅動，這使得可觀測性不僅有用，而且必不可少。"

報告中的另一個情況是，許多失敗并非由模型質量驅動，而是由基礎設施限制導致。很大一部分錯誤來自速率限制，生產系統中記錄了數百萬次此類事件。隨著使用量增長，系統更頻繁地觸及提供商容量上限，這造成了難以預測的失敗爆發。在實踐中，可靠性既取決于團隊如何管理負載、重試和并發，也取決于模型本身的表現如何。

據Datadog的發現，成本和延遲正變得更難控制。典型工作負載的Token使用量增加了一倍多，重度用戶的增長更快。推動這一增長的因素不僅是用戶輸入，還包括系統提示、策略和工具指令的擴展層——這些內容在每個請求中被重復處理。這些后臺Token現在占總使用量的很大一部分，這意味著即使用戶需求看似穩定，成本也可能上升。

盡管如此，基本的效率提升往往被忽視。報告顯示，提示緩存仍被低估使用，大多數系統在跨調用時重新處理相同的上下文。這暴露了AI系統構建方式與生產環境優化方式之間的差距。隨著上下文窗口擴大和提示變大，挑戰正從向模型中塞入更多數據，轉變為決定哪些信息真正重要。