AI engineer · 台灣台中
我建 agent 系統,然後量它到底有沒有用。
AI engineer,後端出身,主要寫 Go。具體來說做三件事:建 agent 系統(MCP server、用 PostgreSQL 與 pgvector 做的知識庫、真的有被評估過的 retrieval);把模型放進正式環境(依實際的 CPU 或 GPU 預算選 serving 架構,部署到雲端 GPU 與 Jetson 邊緣裝置);然後用 OpenTelemetry、Prometheus、Grafana 把這一切量出來,讓數字是真的。
國立中興大學資訊科學碩士。兩個關於 ML serving 的開源研究專案——一個在 CPU 受限下比較三種架構,另一個用 Go 實作第二篇研究的 batching proxy——以及一個寫 benchmark 沒講到的事的 blog。開放新的機會。
研究
Batch2go: isolating batching effects by placement
Treating batching placement as an isolable architectural variable, with a single-flight Go proxy that decomposes batch cycle time into compute and transport.
A reproducible evaluation framework for ML serving architectures under CPU constraints
A controlled comparison of monolithic, microservices and Triton serving on CPU-constrained hardware. The finding is a three-way trade-off, not a ranking.
