北京
他在廣告技術領域工作，每天要翻看幾十遍 Parquet 文件——投遞數據、合作伙伴導出、受眾快照。之前所有的讀取方式都讓人難受：要開 Jupyter、裝 Python 包、要么忍受 JVM 的笨重。直到他把自己常用的命令行習慣揉進一個 50MB 的 Rust 二進制程序里，起名 pq——對，就是 Parquet 版本的 jq，專為終端單行命令和管道而生。
從 v0.5 開始，pq 就成了他看 Parquet 的默認工具。一行代碼就能分組、求和、排序：pq sales.parquet 'group_by .country | sum .revenue | top 3 by sum_revenue'，返回像美國 19065.00、法國 999.99、德國 312.00 這樣的表，干凈利落。v0.13 在 5 月發布時已經支持大文件流式輸出、Ctrl-C 中斷、元數據快速統計和異步預覽，但項目板上有三個 issue 始終沒劃掉。
這三個待辦事項在他筆記里積了三周的 // TODO 注釋。第 2 號任務是讓 JSON 輸出也能流式化——此前除了 JSON，其他格式都流式了，唯獨 JSON 因為寫入時需要用方括號包裹整個數組，得先把所有結果緩沖到 Vec 里。第 3 號是 Explain 面板里增加行組裁剪比例，這是大家最想看到的可觀測性指標：到底我的過濾條件有沒有用？第 4 號是 pq diff，用來在 CI 中自動檢測 schema 漂移。
一個周末，他把這三個功能全追了回來?，F在 pq big.parquet '.id, .country' -o json | head -c 200 能在 40GB 文件上瞬間返回數據，不再等全部刷完。schema 漂移檢測的門禁也直接可用：pq diff baseline.parquet candidate.parquet 如果發現新增列比如 country VARCHAR，就退出非零碼，不必再寫腳本包裝。最讓他得意的是 Explain 面板里的行組裁剪儀表——按 E 鍵能看到一次掃描實際讀取了 83.3 萬行，剪掉了 83% 的行組，而且綠色代表裁剪率≥50%，金色表示有裁剪，灰色則 0%，一旦遇到灰色還會提示：“可能該列缺少 min/max 統計（常見于老 Spark 寫入的 STRING 類型）”。
這些細膩的提示，以前得開 DuckDB 的 EXPLAIN ANALYZE 再加計算器才能搞明白?，F在他把這種體驗壓進了一個單文件工具，持續打磨的命令行手感，都在 v0.14 里了。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
