Prompt 工程

流式返回與格式配合

LLM 是逐 Token 輸出的。同一個響應內容，格式不同，流式體驗完全不同。選擇場景後點選播放，觀察三種格式的渲染差異。

選擇演示場景
三種格式即時對比
JSON 等待中
原始流 Token（逐字累積）
⏳ 等待完整 JSON 到達後才能解析…
流式過程中 JSON 是殘缺的，
無法中途解析渲染
✓ JSON 解析完成（全文到達後）
Markdown 等待中
渲染區域（逐字顯示）
⚠️ 雖然逐字顯示流暢，
但無法從 Markdown 中
可靠提取結構化欄位
XML 自訂標籤 等待中
增量解析渲染（捕獲到 </tag> 即渲染）
核心結論
JSON 流式
後端友好但流式不佳：
必須等全文才能解析，
使用者看到的是 loading 狀態
Markdown 流式
使用者體驗最流暢：
逐字顯示有打字感，
但無法提取欄位做程式處理
XML 流式
兩全其美：流式 + 結構化
捕獲到 </name> 立刻渲染，
Claude 原生推薦此方式
核心結論： XML 捕獲標籤 → 立刻渲染欄位；JSON 等全文 → 解析一次；MD 逐字顯示 → 無法提取欄位。