關於
我做的是必須一直跑著的那一部分。
有意思的問題都在模型能跑之後才出現:服務要花多少成本、流量一陣一陣來時什麼會壞、agent 到底撈到了什麼。
我是 Matthew Hong,台灣台中的 AI engineer,後端出身、主要寫 Go。大部分工作是 AI 系統周圍的基礎建設:serving 路徑、agent 的記憶,以及能說出「到底發生了什麼」的量測。
我不是從軟體出身。大學讀財務工程與精算,做過財務分析與精算顧問,再到精密製造工廠做資料分析,在那裡把紙本的庫存與採購流程換成工廠第一套 ERP。這件事讓我被調成軟體工程師,之後就一直待在這裡:先是做跑在雲端 GPU 與 Jetson 邊緣裝置上的電腦視覺工安平台後端,再來是六角架構的 Go 服務,加上完整的 OpenTelemetry、Prometheus、Grafana。
同時我在國立中興大學完成了資訊科學碩士。論文在 CPU 限制下比較三種 ML serving 架構;第二項研究延伸出 batch2go,一個用來隔離 batching 發生位置的開源 Go proxy。正職之外,我在做 taidle,我自己的產品。它就是從正職工作裡長出來的:客戶不斷要 AI,而我身邊的工程師需要的是一個能像第三方 API 一樣直接串的服務,而不是一整套要自己維運的檢索系統。現在它由兩位獨立開發者整合進他們自建的 CMS,作為三家客戶網站的 AI 客服。引擎本身不公開;設計筆記與決策紀錄公開在 taidle-labs。一路上學到的東西,都寫在這個網站上,而不是留在筆記本裡。
經歷
2026 – 現在創辦人 · taidle(個人產品)
我自己的產品:一個多租戶知識庫,上面跑著 LLM agent。目前由兩位開發者以 SSE 整合進他們自建的 CMS,作為三家客戶網站的 AI 客服。最早是替正職工作寫的 Python/LangChain 服務;因為它的評估分不清模型變異和系統變異,我改用 Go 重建。現在由一層 cassette 錄製重播機制把兩者拆開,每則回覆都會呈現它走過的路徑:撈到了什麼、呼叫了哪些工具、檢查了哪些 policy。
2026 – 現在AI engineer
這個職位是我自己提案、自己接下的:一家顧問公司的第一個 AI 工程職能。我負責評估客戶在影像與文本上的 AI 需求,先判斷資料能不能出站,不能的話需要什麼硬體,再依延遲與使用體驗目標選擇模型。客戶要 AI、工程師卻沒有理由自己架向量資料庫,taidle 就是從這個缺口開始的。
2025 – 2026後端工程師
把 Go 立為後端標準:以
uber/fx 做依賴注入的模組化六角架構、每個領域模組獨立的資料庫 schema、raw SQL repository。從頭建起 observability——OpenTelemetry Collector 進 Prometheus 與 Grafana、Tempo 分散式追蹤、容器與連線池指標。2024 – 2025產品工程師
從初階後端工程師三個月內升任。主導 AI 工地安全電腦視覺平台的技術需求、限制定義與跨部門交付;管理雲端 GPU 與現場 Jetson 邊緣裝置的部署與成本;建立 design-first 的 OpenAPI 流程(先定契約、再出 mock server、最後實作)。
2021 – 2023資料分析師 → 軟體工程師
獨立設計並交付精密製造工廠的第一套完整 ERP(C#/.NET MVC),取代紙本的庫存與採購流程——也是這件事讓分析師的職位變成工程師的。
2019 – 2020財務分析師 · 精算顧問
用 Python 自動化財務報表流程,把分析師的處理時間縮短 82%;為企業保險客戶做精算風險建模與統計分析。
學歷
2024 – 2026資訊科學碩士
國立中興大學。論文題目:CPU 受限環境下的 ML serving 架構特性分析——也就是 Inference Arena 背後的研究,以及 batch2go 公開實作的第二篇研究。
2013 – 2018財務工程與精算學士
逢甲大學。創立並連續三年擔任系上第一個學生委員會的主席,負責營運預算。
