AI-QoS Dynamic Model Inferencing Technology
技術簡介
AI-QoS技術能依據連線品質動態選擇時限內可完成推論之模型。在網路連線品質不佳的情況下使用速度較快的模型進行辨識，提升辨識速度降低整體延遲。在網路連線品質良好的情況下以相對較精準的模型進行辨識，取得最佳的辨識結果。
技術特色
因應網路狀態的彈性推論
- AI-QoS技術結合了大型模型精準辨識的能力，且同時具有小型模型快速的回應時間，在不同網路品質的地區都能達到即時的反應時間，減少因網路優劣導致應用效能降低的實務難題
保證推論結果
- 不含AI-QoS技術：間歇性掉幀，不時會有畫面沒辨識結果
- 內含AI-QoS技術：高機率保證每個畫面都有推論結果
圖1 有無AI-QoS技術的差異
技術規格
AI-QoS技術中的Gateway元件會依據當下網路延遲程度，以資料端到端的總傳輸時間計算出工作優先度，並將工作置入相對應的佇列中做排程。後續將工作從佇列中取出，再按照不同的工作優先度由速度較快的小模型或較準確的大模型取得推論結果。
圖2 AI-QoS架構圖
應用範圍
可應用於AI即時影像應用例如AR／VR／MR、無人機及自駕車等需仰賴穩定低延遲的網路環境需求的領域。
圖3 應用情境示意圖
