摘要： TOPS中文為「每秒兆次運算」，是一種用來衡量AI硬體運算能力的單位，TOPS已經成為AI產業中各家廠商互相比拚的重點基準。
生成式AI要能真正應用於實際場景中，除了要有強大的算力，也要有足夠的硬體支援訓練模型和推論。其中訓練模型需仰賴大型的硬體算力來進行複雜的運算，而衡量硬體優勢的關鍵就在於「TOPS」（每秒兆次運算）和「TFLOPS」（每秒兆次浮點運算），到底什麼是TOPS？TFLOPS又是什麼？
TOPS是什麼？
TOPS是Trillions of Operations Per Second的縮寫，中文為「每秒兆次運算」，是一種用來衡量AI硬體運算能力的單位，1 TOPS代表處理器每秒可進行1兆次運作。 輝達（NVIDIA）、超微（AMD）、高通（Qualcomm）、英特爾（Intel）、蘋果（Apple）等主流廠都把提高TOPS作為AI PC的效能指標，用以顯著提升應用的性能與用戶體驗。 超微執行長蘇姿丰在2024國際電腦展上端出第3代Ryzen AI處理器，其NPU（神經網路晶片）浮點（TOPS）可進行高達50兆次，號稱領先高通、蘋果、英特爾等競爭對手；微軟近期發布的Copilot+PC系列，最低規格就須達40TOPS的算力，意味著想加入AI PC戰局，提高NPU的TOPS是必然的趨勢。TOPS的概念並非由某個特定機構制定，而是電腦和半導體行業自發形成而逐漸普及的指標之一。 可以想像你在一場數學考試中，TOPS就像是每秒能夠解決多少道數學題目，如果TOPS數值越大，表示運算能力越強、處理速度也越快，也代表你能夠在每秒鐘解決很多題目。 換句話說，在AI應用上，高TOPS的硬體可以更快速地處理數據、執行複雜的任務。 TOPS常見於廣泛的AI應用當中，包括自動駕駛、邊緣計算、VR/AR、雲端計算、AI加速器等，特別是NPU、深度學習方面，TOPS能夠衡量AI模型在推理圖像識別、語音辨識、文字生成和處理時，每秒處理的運作數量與性能，直接決定AI模型的推理速度與效率。
TFLOPS是什麼？
另一個指標TFLOPS（Tera Floating-point Operations Per Second），中文為「每秒兆次浮點運算」，指每秒進行1兆次的浮點運算。 TFLOPS為主要衡量CPU和GPU的單位，能夠處理帶有小數的數值計算， 通常應用在更大量、更高精準度的科學研究等 。
TOPS會是唯一指標嗎？
TOPS在各種高運算應用中的重要角色，但並不是唯一能夠衡量AI硬體性能的依據，一台電腦還會受到功耗、延遲、整體處理吞吐量，以及記憶體頻寬等多方影響，因此衡量整體性能時，需要結合TOPS以及其他指標綜合評估。除了追求更高TOPS數值，算力與功耗、能耗的平衡也是未來硬體製造的的關注重點。
轉貼自： bnnext.com
若喜歡本文，請關注我們的臉書 Please Like our Facebook Page： Big Data In Finance
留下你的回應
以訪客張貼回應