HOW

OpenAI 分享了一份「Choco」客戶案例

Choco 是一家面向餐飲分銷商的 AI 平臺， 過去一年用 OpenAI API 處理了 8.8M+ 訂單， 調用過 200B+ token， 把訂單錯誤率壓到 1-5%

https://openai.com/index/choco

Choco 是誰

Choco 2018 年柏林創立， 創始人是 Daniel Khachab 和 Julian Hammer. 這是食品分銷技術領域第一家獨角獸， 累計融資超過 328M 美元

平臺目前服務 21000 多家分銷商， 覆蓋 100000 多家餐飲買家， 業務跑在美國、英國、法國、德國、西班牙、UAE

門店給分銷商下訂單有 6 種方式： 電話、短信、郵件、圖片、傳真、手寫便條。每天傍晚以后， 分銷商的訂單臺員工要花大量時間， 把這些信息手動錄入 ERP

訂單臺員工腦子里， 還裝著每家客戶的隱式上下文， 常訂哪個 SKU、單位用箱還是斤、送貨走什么節奏。新人接手要時間， 老人離職就是知識缺口

Choco 的工程 VP Narbeh Mirzaei 在 OpenAI 案例研究里講： 處理輸入只是第一道門檻， 真正難的是隱式上下文。客戶特定的 SKU 映射、單位偏好、配送規律。這些知識住在訂單臺員工腦子里， 要把它們編碼進 inference 層去消歧

兩個產品

OrderAgent 接異步收單， VoiceAgent 接實時電話。Choco 用這兩個 agent 把訂單兩端都連起來

OrderAgent， 訂單 agent

OrderAgent 收下所有非電話的輸入。郵件、短信、圖片、文檔全收， 出口是結構化的 ERP 訂單

關鍵工程在動態 in-context learning. 系統拿每個客戶的歷史訂單和產品目錄， 去消歧。Mirzaei 原話翻譯過來， 轉錄和提取能力是底子， 真正的工程挑戰是動態 in-context learning. 這是 automation 和 intelligence 的分界

OrderAgent 用 OpenAI 的 SDK 和 API， 把 speech-to-text、embeddings、function calling 一起接進基礎設施。Choco 自己搭了一套 evaluation framework， 包括 ground-truth 數據集、連續監控、A/B 測試， 保證生產環境的準確率和性能

VoiceAgent， 語音 agent

VoiceAgent 跑在 OpenAI 的 Realtime API 上， sub-second 延遲接電話， 24/7 接得動。會聽單， 會查庫存， 缺貨時推薦替代品， 臨期商品做促銷， 最后一個干凈的結構化訂單進分銷商的 ERP

多語言， 門店打的還是同一個號碼， 開口說話也是同樣的方式

VoiceAgent 12 月初由 Choco 和 OpenAI 聯合發布， 當時官方說法是「食品行業第一個 AI Voice Agent」. 這次進 OpenAI 案例研究再亮相， OpenAI 自己挑了 Choco 當 enterprise 標桿

成績單

OpenAI 案例研究里給了 6 個數據點：

→ 8.8M+ 訂單/年， 全部走 AI 一道

→ 200B+ token 在生產環境跑過

→ 50% 手動錄入下降

→ 2x 銷售團隊生產力， 團隊不加人

→ 1-5% 錯誤率， 自動化閾值可配置

→ 24/7 收單， 夜里和周末沒有延遲

Choco 自己博客披露的早期數據： 新接入的分銷商 2-3 周內達到 90-97% 訂單準確率， 每周節省 15 工時以上， 每單手動工作量降 70%. Autopilot 模式下， 早期采用者 50% 訂單已經全自動進 ERP

工程方法論

Choco 在案例研究里給了三條 lessons: evaluation、observability、概率系統的預期管理

第一， evaluation 從第一天就跑. 哪怕只有 10-20 個 ground-truth 例子， 團隊也能開始度量進展， 驗證改進， 有信心迭代

第二， 搞 AI-native observability. 調試 AI 系統超出傳統日志能覆蓋的范圍。要捕獲模型輸入、輸出、reasoning trace， 才能理解和改進性能

第三， 管理對概率系統的預期. LLM 輸出本身帶概率波動。教育團隊和用戶接受這一點， 是建立信任和減少摩擦的關鍵

這三條本身不算新， 但作為一家年處理 8.8M+ 訂單的 production AI 公司沉淀出來， 分量在那

下一步： agent orchestrator

Choco 接下來要把 agent 推進更多業務流， 包括銷售、電商、供應鏈

Choco 給一類新角色起了名字： agent orchestrator. 他們不寫代碼， 但設計和管理 agent. 「non-engineers」這個詞他們寫得很明確

Choco 從 workflow software 在轉向 AI execution infrastructure. 操作 agent 的人， 正在替代寫腳本的人

參考材料

OpenAI 案例研究

https://openai.com/index/choco

Choco × OpenAI 聯合公告

https://choco.com/us/press/choco-and-openai-join-forces-to-launch-the-first-ai-voice-agent-for-the-food-service-industry

Choco VoiceAgent 介紹博客

https://choco.com/us/stories/suppliers/introducing-the-choco-voice-agent-built-by-choco-in-collaboration-with-openai

Choco VoiceAgent 演示視頻(YouTube)

https://www.youtube.com/watch?v=nHnCaIPVJgQ

Choco OrderAgent 產品頁

https://choco.com/us/orderagent