從鏡頭語(yǔ)言缺失到格式混亂，作者親歷從選模型、造數(shù)據(jù)到效果優(yōu)化的完整閉環(huán)，用開源模型+高質(zhì)量數(shù)據(jù)突破Prompt Engineering天花板，帶你看懂如何讓AI真正學(xué)會(huì)用鏡頭講故事。

———— / BEGIN / ————

這期就來(lái)聊一個(gè)很多產(chǎn)品經(jīng)理都聽過(guò)、但大部分人不太敢碰的話題：模型精調(diào)（Fine-tuning）。

我會(huì)從”為什么要精調(diào)”講起，聊聊我從選模型、造數(shù)據(jù)到踩坑的整個(gè)過(guò)程。這篇先把全貌拉通，后面幾期會(huì)挑其中幾個(gè)點(diǎn)單獨(dú)展開深聊。

通用大模型到底差在哪？

在做精調(diào)之前，我其實(shí)已經(jīng)用通用大模型（比如 GPT-4、Claude、通義千問(wèn)）跑了很長(zhǎng)一段時(shí)間。

效果怎么說(shuō)呢？”能用，但不好用。”

具體來(lái)說(shuō)，通用大模型在寫分鏡腳本這件事上，有幾個(gè)讓我非常頭疼的問(wèn)題。

第一，分鏡拆分的”鏡頭感”很弱

一個(gè)好的分鏡腳本，本質(zhì)上是在用文字做”導(dǎo)演”的活——什么時(shí)候該給遠(yuǎn)景交代環(huán)境，什么時(shí)候該切特寫強(qiáng)化情緒，什么時(shí)候需要一個(gè)中景來(lái)交代人物關(guān)系。這種鏡頭語(yǔ)言的節(jié)奏感，通用模型幾乎沒(méi)有。

它會(huì)把故事均勻地切成 N 段，每段的”鏡頭”基本都是中景。沒(méi)有遠(yuǎn)近交替，沒(méi)有情緒起伏，讀起來(lái)像流水賬。

舉個(gè)例子，我輸入”一個(gè)女生下雨天在便利店遇到了初戀”，通用模型的輸出大致是這樣的：

畫面1：女生走在雨中的街道上。

畫面2：女生走進(jìn)便利店。

畫面3：女生在貨架前看到一個(gè)熟悉的身影。

畫面4：兩人對(duì)視。 畫面5：兩人開始交談。

每一個(gè)畫面都是平鋪直敘，沒(méi)有鏡頭設(shè)計(jì)。而一個(gè)有經(jīng)驗(yàn)的分鏡編劇可能會(huì)這樣處理：

分鏡1 | 遠(yuǎn)景：雨幕中的便利店，暖黃色燈光從玻璃門透出，一個(gè)撐傘的女生身影正朝著光走來(lái)。

分鏡2 | 特寫：女生的手合上雨傘，水珠順著傘面滑落，指尖微微發(fā)紅。

分鏡3 | 過(guò)肩鏡頭：女生穿過(guò)貨架時(shí)，鏡頭越過(guò)她的肩膀，捕捉到三排貨架之外、一個(gè)男生側(cè)臉的輪廓。

分鏡4 | 雙人中景：兩人隔著一排飲料貨架對(duì)視，女生手里的關(guān)東煮冒著熱氣，虛化的背景是便利店的日光燈。

差距一目了然。前者是”把故事切成幾段”，后者是”用鏡頭講故事”。

第二，畫面描述不夠”生圖友好”

分鏡腳本的最終用途是喂給 AI 生圖工具。這意味著畫面描述必須足夠具體、足夠視覺(jué)化——你不能寫”兩個(gè)人在聊天”，你需要寫出人物的姿態(tài)、表情、穿著、光線、構(gòu)圖方式。

通用模型寫出來(lái)的東西，常常太抽象、太文學(xué)化，讀起來(lái)像小說(shuō)，但放到 Stable Diffusion 或者 Midjourney 里生不出想要的畫面。

第三，輸出格式不穩(wěn)定

我需要模型輸出結(jié)構(gòu)化的分鏡腳本——包含鏡頭編號(hào)、景別、場(chǎng)景描述、畫面描述、旁白文案等字段。

通用模型有時(shí)候格式對(duì)，有時(shí)候又開始自由發(fā)揮，加一些不需要的解釋性文字，或者把字段順序搞亂。這對(duì)下游的自動(dòng)化處理是致命的。

這三個(gè)問(wèn)題疊加在一起，讓我意識(shí)到一件事：靠 Prompt Engineering 能解決 70% 的問(wèn)題，但剩下的 30% 是通用模型的能力邊界，prompt 寫得再好也過(guò)不去。

這就是我決定做精調(diào)的原因。

什么是精調(diào)？先把概念講清楚

“精調(diào)”這個(gè)詞在 AI 圈子里被用得很泛，我先給產(chǎn)品經(jīng)理們做一個(gè)通俗但準(zhǔn)確的解釋。

你可以把一個(gè)預(yù)訓(xùn)練好的大模型想象成一個(gè)剛從綜合大學(xué)畢業(yè)的新員工。他什么都懂一點(diǎn)——能寫文章、能翻譯、能寫代碼、能聊天——但在任何一個(gè)專業(yè)領(lǐng)域都不夠精。

精調(diào)就是給這個(gè)新員工做崗前培訓(xùn)。

你不需要從頭教他認(rèn)字、學(xué)語(yǔ)法，那些通識(shí)能力他已經(jīng)有了。你要做的是給他看大量的”好例子”——在我這個(gè)場(chǎng)景下，就是大量?jī)?yōu)秀的分鏡腳本——讓他學(xué)會(huì)：原來(lái)分鏡腳本應(yīng)該這樣寫，鏡頭應(yīng)該這樣切，畫面應(yīng)該描述到這個(gè)粒度。

從技術(shù)上說(shuō)，精調(diào)就是在一個(gè)已有的大模型基礎(chǔ)上，用你自己的專業(yè)數(shù)據(jù)集繼續(xù)訓(xùn)練，讓模型在你的特定任務(wù)上表現(xiàn)得更好。

這里有幾個(gè)關(guān)鍵詞需要區(qū)分：

• 預(yù)訓(xùn)練（Pre-training） 是從零開始訓(xùn)練一個(gè)模型，需要海量數(shù)據(jù)和算力，花費(fèi)數(shù)百萬(wàn)甚至上億美元。這不是我們要干的事。

• 精調(diào)（Fine-tuning） 是在已有模型基礎(chǔ)上，用少量專業(yè)數(shù)據(jù)做進(jìn)一步訓(xùn)練。成本低得多，幾百到幾千條數(shù)據(jù)就可以看到效果。

• Prompt Engineering 是不改模型本身，只通過(guò)設(shè)計(jì)輸入提示詞來(lái)引導(dǎo)模型輸出。零成本，但有天花板。

三者的關(guān)系可以這樣理解：Prompt Engineering 是”跟員工說(shuō)清楚需求”，精調(diào)是”培訓(xùn)員工”，預(yù)訓(xùn)練是”培養(yǎng)一個(gè)新人”。大多數(shù)情況下你應(yīng)該先試 Prompt Engineering，不夠了再考慮精調(diào)。

選擇基座模型：我是怎么做決定的

精調(diào)的第一步是選擇一個(gè)基座模型（Base Model）——也就是你要在誰(shuí)的基礎(chǔ)上繼續(xù)訓(xùn)練。

我最終選擇的是開源模型路線。原因很現(xiàn)實(shí)：

• 成本可控。閉源模型的精調(diào)（比如 OpenAI 的 Fine-tuning API）雖然用起來(lái)簡(jiǎn)單，但按 token 計(jì)費(fèi)，數(shù)據(jù)量一上去費(fèi)用不低。而且每次調(diào)參都要燒錢，不適合反復(fù)實(shí)驗(yàn)。開源模型你可以本地跑（如果有卡的話），或者用云端 GPU 按時(shí)計(jì)費(fèi)，整體靈活得多。

• 可控程度高。開源模型能讓你深入到訓(xùn)練的每一個(gè)環(huán)節(jié)——學(xué)習(xí)率、訓(xùn)練輪數(shù)、數(shù)據(jù)配比……你能精確控制整個(gè)過(guò)程。閉源 API 精調(diào)更像一個(gè)黑箱，你把數(shù)據(jù)傳上去，它給你一個(gè)模型，中間發(fā)生了什么你不太知道。

• 迭代效率高。做精調(diào)不是一次就能成的，你需要反復(fù)調(diào)整數(shù)據(jù)、參數(shù)、評(píng)估效果、再調(diào)整。開源模型讓你能快速跑實(shí)驗(yàn)，一天可以試好幾個(gè)版本。

在具體選哪個(gè)開源模型上，我對(duì)比了幾個(gè)主流選項(xiàng)：

• Qwen（通義千問(wèn)） 系列是阿里開源的模型，中文能力強(qiáng)，社區(qū)活躍，文檔完善。對(duì)中文分鏡腳本這種場(chǎng)景來(lái)說(shuō)，天然的中文理解能力是很大的加分項(xiàng)。

• GLM（智譜） 系列也是國(guó)內(nèi)團(tuán)隊(duì)出的，中文表現(xiàn)同樣不錯(cuò)，工具鏈比較成熟。

• LLaMA（Meta） 系列是目前全球最流行的開源模型之一，生態(tài)最豐富，各種精調(diào)工具和教程都是基于它做的。但它原生是英文模型，中文能力需要額外適配。

我最終的選擇邏輯是：先看中文能力，再看生態(tài)和工具鏈。 因?yàn)槲业膱?chǎng)景是生成中文分鏡腳本，模型對(duì)中文的理解能力是第一優(yōu)先級(jí)。如果一個(gè)模型中文都說(shuō)不好，你精調(diào)再多數(shù)據(jù)也很難讓它寫出好的中文描述。

具體選了哪個(gè)、為什么、中間怎么評(píng)估的，這個(gè)話題展開來(lái)能聊很多，我打算后面單獨(dú)寫一篇詳細(xì)講。

訓(xùn)練數(shù)據(jù)：精調(diào)的成敗關(guān)鍵

做過(guò)精調(diào)的人都知道一句話：數(shù)據(jù)質(zhì)量決定精調(diào)效果的 80%。

模型的基礎(chǔ)能力已經(jīng)很強(qiáng)了，精調(diào)不是在教它”學(xué)會(huì)說(shuō)話”，而是在教它”怎么說(shuō)這種話”。你給它看的示例，直接決定了它學(xué)會(huì)的”說(shuō)話方式”。

這就帶來(lái)一個(gè)很現(xiàn)實(shí)的問(wèn)題：高質(zhì)量的分鏡腳本數(shù)據(jù)從哪來(lái)？

市面上并沒(méi)有一個(gè)現(xiàn)成的”分鏡腳本數(shù)據(jù)集”可以直接拿來(lái)用。你搜不到的。短視頻行業(yè)雖然體量巨大，但分鏡腳本這種東西要么是內(nèi)部文件不對(duì)外，要么質(zhì)量參差不齊。

所以我走的是自己構(gòu)造數(shù)據(jù)的路線。

大致的思路是這樣的：

• 第一步：建立”好腳本”的標(biāo)準(zhǔn)。在造數(shù)據(jù)之前，你得先定義清楚什么是好的分鏡腳本。我從鏡頭設(shè)計(jì)、畫面描述精度、敘事節(jié)奏、格式規(guī)范這幾個(gè)維度列了一套評(píng)價(jià)標(biāo)準(zhǔn)。這一步很多人會(huì)跳過(guò)，但其實(shí)它決定了你后續(xù)所有數(shù)據(jù)的質(zhì)量上限。

• 第二步：用”人工 + AI”的方式批量生產(chǎn)。純手寫效率太低，純 AI 生成質(zhì)量不夠。我的做法是先用一個(gè)強(qiáng)模型（比如 Claude 或 GPT-4）根據(jù)我設(shè)定的規(guī)則生成初稿，然后人工逐條檢查、修改、篩選。通過(guò)的留下，不通過(guò)的要么修改要么扔掉。

• 第三步：多樣性比數(shù)量重要。我發(fā)現(xiàn)一個(gè)反直覺(jué)的規(guī)律——500 條覆蓋不同故事類型、不同情緒、不同鏡頭風(fēng)格的數(shù)據(jù)，效果遠(yuǎn)好于 2000 條同質(zhì)化的數(shù)據(jù)。模型需要的是”豐富的好例子”，不是”大量重復(fù)的例子”。

• 第四步：數(shù)據(jù)格式要嚴(yán)格。精調(diào)數(shù)據(jù)本質(zhì)上是一組”輸入-輸出”的配對(duì)。輸入是用戶的一句話描述，輸出是完整的分鏡腳本。格式必須統(tǒng)一且嚴(yán)謹(jǐn)，任何格式不一致都會(huì)讓模型學(xué)到”錯(cuò)誤的習(xí)慣”。

這套數(shù)據(jù)構(gòu)造的方法論，我后面會(huì)單獨(dú)寫一篇展開講，包括具體怎么設(shè)計(jì) prompt 讓 AI 生成高質(zhì)量初稿、人工審核的 checklist 長(zhǎng)什么樣、數(shù)據(jù)量和效果之間的關(guān)系曲線等等。

精調(diào)前 vs 精調(diào)后：效果對(duì)比

說(shuō)了這么多，最實(shí)在的還是效果。

同樣的輸入：”一個(gè)退休教師收到學(xué)生們寫的一封信”，來(lái)對(duì)比一下精調(diào)前后的輸出差異。

精調(diào)前（通用模型 + Prompt Engineering）：

畫面1：一位老人坐在家中的沙發(fā)上。

畫面2：門鈴響了，老人去開門。

畫面3：門口放著一封信。

畫面4：老人打開信，開始閱讀。

畫面5：老人的眼眶濕潤(rùn)了。

畫面6：老人看著窗外，陷入回憶。

精調(diào)后：

分鏡 1 | 遠(yuǎn)景 | 客廳 午后的陽(yáng)光透過(guò)紗簾灑進(jìn)一間樸素的客廳，墻上掛著幾張泛黃的班級(jí)合照。一位頭發(fā)花白的老人坐在木質(zhì)搖椅上，膝蓋上攤著一本翻了一半的書，眼鏡滑到了鼻尖。 旁白：退休第三年，日子像那本書一樣，翻到哪頁(yè)都差不多。

分鏡 2 | 中景 | 玄關(guān) 老人站在門口，低頭看著腳邊的一個(gè)牛皮紙信封。信封上沒(méi)有寄件人地址，只有用黑色馬克筆寫的三個(gè)字——”周老師”。老人彎腰撿起信封，手指在封口處停頓了一下。 旁白：這個(gè)稱呼，我已經(jīng)很久沒(méi)有聽到了。

分鏡 3 | 特寫 | 手部 一雙布滿皺紋的手緩緩展開信紙，紙上密密麻麻的字跡——有工整的鋼筆字，也有歪歪扭扭的圓珠筆字，有些段落旁邊還畫著小表情。陽(yáng)光照在紙面上，映出不同顏色墨水的深淺。 旁白：二十七個(gè)人的筆跡，我居然每一個(gè)都還認(rèn)得出來(lái)。

分鏡 4 | 近景 | 面部 老人的臉部特寫，眼鏡片后面泛著淚光，但嘴角是往上揚(yáng)的。背景虛化成一片暖黃色的光斑。 旁白：（無(wú)，留白）

差異體現(xiàn)在幾個(gè)層面：

• 鏡頭設(shè)計(jì)上， 精調(diào)后的版本有明確的遠(yuǎn)景→中景→特寫→近景的遞進(jìn)關(guān)系，而不是六個(gè)平行的”中景”。

• 畫面描述上， 精調(diào)后每個(gè)畫面都有足夠的視覺(jué)細(xì)節(jié)——”牛皮紙信封””黑色馬克筆””不同顏色墨水的深淺”——這些細(xì)節(jié)是生圖工具需要的”燃料”。

• 敘事節(jié)奏上， 精調(diào)后懂得用”留白”制造情緒——最后一個(gè)分鏡旁白留空，讓畫面本身說(shuō)話。這種”導(dǎo)演式”的思維，是通用模型學(xué)不會(huì)的。

• 格式上， 精調(diào)后的輸出嚴(yán)格遵循”鏡頭編號(hào) | 景別 | 場(chǎng)景”的結(jié)構(gòu)，不會(huì)出現(xiàn)格式混亂的問(wèn)題。

精調(diào)聽起來(lái)很美好，但實(shí)際操作中坑不少。這里先分享幾個(gè)最典型的，后續(xù)會(huì)單獨(dú)寫一篇完整的”踩坑指南”。

坑一：數(shù)據(jù)太少，模型過(guò)擬合。

一開始我只準(zhǔn)備了不到 100 條數(shù)據(jù)就開始訓(xùn)練，結(jié)果模型確實(shí)”學(xué)會(huì)了”——但學(xué)得太死了。它開始逐字復(fù)制訓(xùn)練數(shù)據(jù)里的描述，換個(gè)輸入還是那幾句話的變體。

這就是過(guò)擬合：模型不是在”理解”規(guī)律，而是在”背”答案。

解決辦法很簡(jiǎn)單也很痛苦：補(bǔ)數(shù)據(jù)，增加多樣性。

坑二：學(xué)習(xí)率設(shè)太高，把模型”教廢了”。

精調(diào)的學(xué)習(xí)率（Learning Rate）如果設(shè)太高，模型會(huì)在你的小數(shù)據(jù)集上”劇烈震蕩”，反而把原來(lái)會(huì)的東西也忘了。

有一次我設(shè)了一個(gè)偏高的學(xué)習(xí)率，結(jié)果模型連正常對(duì)話都不會(huì)了，只會(huì)輸出分鏡腳本格式的內(nèi)容——你問(wèn)它今天天氣怎么樣，它也給你一個(gè)”分鏡1 | 遠(yuǎn)景 | 天空”。

坑三：評(píng)估標(biāo)準(zhǔn)不清晰，調(diào)了半天不知道有沒(méi)有進(jìn)步。

精調(diào)不像分類任務(wù)有一個(gè)明確的準(zhǔn)確率指標(biāo)。分鏡腳本的”好”和”不好”很多時(shí)候是主觀判斷。一開始我沒(méi)有建立清晰的評(píng)估體系，每次訓(xùn)練完都是憑感覺(jué)看效果，結(jié)果經(jīng)常出現(xiàn)”好像比上次好了？又好像沒(méi)有？”的迷茫。

后來(lái)我建了一套評(píng)測(cè)集——固定 30 個(gè)輸入，每次訓(xùn)練完跑一遍，從鏡頭多樣性、描述精度、格式準(zhǔn)確率、敘事流暢度四個(gè)維度打分。有了量化標(biāo)準(zhǔn)之后，迭代效率立刻上了一個(gè)臺(tái)階。

給產(chǎn)品經(jīng)理的幾點(diǎn)建議

寫到這里，我想給正在看的產(chǎn)品經(jīng)理們幾點(diǎn)實(shí)際建議：

第一，不要一上來(lái)就想著精調(diào)

Prompt Engineering 能解決的問(wèn)題，就不要?jiǎng)泳{(diào)。精調(diào)的時(shí)間成本和技術(shù)門檻遠(yuǎn)高于寫 prompt。

先把 prompt 優(yōu)化到極致，確認(rèn)確實(shí)過(guò)不去了，再考慮精調(diào)。

第二，精調(diào)的核心不是”訓(xùn)練技術(shù)”，而是”數(shù)據(jù)質(zhì)量”

很多人覺(jué)得精調(diào)很難，其實(shí)訓(xùn)練本身有大量現(xiàn)成的工具和教程，門檻沒(méi)那么高。

真正難的是構(gòu)造出高質(zhì)量的訓(xùn)練數(shù)據(jù)。如果你的數(shù)據(jù)質(zhì)量不行，用再好的訓(xùn)練框架也白搭。

第三，精調(diào)不是一錘子買賣

不要期望一次精調(diào)就得到完美的模型。它是一個(gè)”數(shù)據(jù)→訓(xùn)練→評(píng)估→改數(shù)據(jù)→再訓(xùn)練”的循環(huán)過(guò)程。建立清晰的評(píng)估標(biāo)準(zhǔn)、保持快速迭代的能力，比追求一步到位重要得多。

第四，開源模型的門檻在降低

兩年前做精調(diào)可能確實(shí)需要比較強(qiáng)的技術(shù)背景，但現(xiàn)在有大量的工具（像 LLaMA-Factory、Swift 等）把流程簡(jiǎn)化了很多。

產(chǎn)品經(jīng)理未必需要自己動(dòng)手，但至少應(yīng)該理解這個(gè)過(guò)程，這樣和技術(shù)團(tuán)隊(duì)溝通時(shí)才能做出合理的判斷。

本文來(lái)自作者：zNONOz

想要第一時(shí)間了解行業(yè)動(dòng)態(tài)、面試技巧、商業(yè)知識(shí)等等等？加入產(chǎn)品經(jīng)理進(jìn)化營(yíng)，跟優(yōu)秀的產(chǎn)品人一起交流成長(zhǎng)！