AI engineer · 台灣台中

我建 agent 系統,然後量它到底有沒有用。

AI engineer,後端出身,預設用 Go。我做 agent 系統,也負責讓它們跑下去:taidle 是我自己的知識庫 agent 引擎,目前在三家客戶網站上回答顧客的問題,每則回覆都會呈現它走過的路徑。底下是 ML serving 的功夫:依照實際的 CPU 或 GPU 預算選擇服務架構、部署到雲端 GPU 與 Jetson 邊緣裝置,並且全部接上 OpenTelemetry、Prometheus 與 Grafana,讓數字是真的。

國立中興大學資訊科學碩士。兩個關於 ML serving 的開源研究專案——一個在 CPU 受限下比較三種架構,另一個用 Go 實作第二篇研究的 batching proxy——以及一個寫 benchmark 沒講到的事的 blog。開放新的機會。

回到頂部