AI engineer · 台灣台中
我建 agent 系統,然後量它到底有沒有用。
AI engineer,後端出身,預設用 Go。我做 agent 系統,也負責讓它們跑下去:taidle 是我自己的知識庫 agent 引擎,目前在三家客戶網站上回答顧客的問題,每則回覆都會呈現它走過的路徑。底下是 ML serving 的功夫:依照實際的 CPU 或 GPU 預算選擇服務架構、部署到雲端 GPU 與 Jetson 邊緣裝置,並且全部接上 OpenTelemetry、Prometheus 與 Grafana,讓數字是真的。
國立中興大學資訊科學碩士。兩個關於 ML serving 的開源研究專案——一個在 CPU 受限下比較三種架構,另一個用 Go 實作第二篇研究的 batching proxy——以及一個寫 benchmark 沒講到的事的 blog。開放新的機會。
研究
Batch2go: isolating batching effects by placement
Treating batching placement as an isolable architectural variable, with a single-flight Go proxy that decomposes batch cycle time into compute and transport.
A reproducible evaluation framework for ML serving architectures under CPU constraints
A controlled comparison of monolithic, microservices and Triton serving on CPU-constrained hardware. The finding is a three-way trade-off, not a ranking.
