GPU为什么这么贵?一篇文章讲明白GPU到底是怎么工作的

很多人最近都听过这些词:

  • RTX 4090
  • H100
  • 算力
  • AI服务器
  • ChatGPT

但如果问:

GPU到底是什么?

很多人的回答可能只有一句:

“显卡呗。”

其实远不止这么简单。

今天用最通俗的话讲明白:

为什么GPU成了AI时代最重要的硬件之一。

https://images.openai.com/static-rsc-4/RB7iO4bl6wrszYbFCUgVIJsGTsEOfKTMxLfTbFvDRXrtgwduZPni-0YqX_0mXPPGNUYXzHMigZxaviJ7_lSIHMeib6T-vADwup7s3WG27Lgwivlzr9IATk3KkBJMnSdlOo6HQAOkCkD6_8xxabFpuOZlRuzIicITc0LIemQNrX05gFRvAqsWuDk6esz4QpgY?purpose=fullsize

https://images.openai.com/static-rsc-4/F4O2F494m6fOmLnDOGAC6H6EFdYIYJTXlxhZBKtPXn3loVl4aeAPwpKrbTlkKaV0hgsGGUGuyXVWFGyzP2KmI5Ib2ASNGrSI8YgaMnG1_QK7LwCK4Ep18UbV3rVYoC2gruGHcz9selJdl83paw7ijhLyVYHmaT-0bWRxMDBR24CG-qhCoM97KECPGn90dPsT?purpose=fullsize

https://images.openai.com/static-rsc-4/acr2SyV5e9YpVAyx2323ClXBSuLj-BrulNGLVO-Gs-vthU0gotvI8OIWHw4-mJ1jdnf9gcOlm6EnltOH9IHxM1iz7cGLqe8C247zg5Kf_iMKP93gFo7k8nDiwykdreauAIUCzjtdNF0wKXCOnssPVCfr0XB-dv3rqtDeDYY3uVGSkTLlMts2Q1-WHQHj44S7?purpose=fullsize

6

图注:

如今最值钱的科技硬件之一,可能就是GPU。

CPU和GPU有什么区别?

很多人以为:

CPU是电脑大脑。

GPU只是负责显示画面。

其实CPU和GPU本质上都是处理器。

只是分工不同。

CPU更像公司的总经理:

  • 什么都懂一点
  • 能处理复杂问题
  • 但人数不多

GPU则更像大型流水线工厂:

  • 单个人能力一般
  • 但人数特别多
  • 可以同时处理大量重复工作

https://images.openai.com/static-rsc-4/E2_T1jJ9UhkJCBWzN8ok16QzuiNg21e3MlGcyDOirTw1qgj-hJVIr8RTt4MfIyQUO_zSGsqzNn7Vn2oXST2FEkMLWWJDlgX2vD8vka6pU8UazdX9Oo0EyxYx2SbYhNcfxFd61bQs67ir7g3Th0QpOhKKrhE61ZbbvkwewYEQFJ5J_Zevi882ttU_7wCiPeFs?purpose=fullsize

https://images.openai.com/static-rsc-4/Gjev3nWeYdnP9ajbaFpXBTfQbzdSLF1lfDB29wF3LsZzGCw_aj-721xVajsi0ikorpFXWGAwRWS_HYE6bM7yzp7J6iTgIgcSMMrXVrsHmXjjETrnfxqf-urVbvrXSJ-rUGaoVfC0s-VcsG0G65AhnDT8YtC_svDXcAsLBy4Ui7bppWu0DZPCG8wiPzcuwlqL?purpose=fullsize

https://images.openai.com/static-rsc-4/R85iOL52SBOrRZLdXTTLFQV0oGsoHNplv5Tirk0BBk3eFt44c-UoGppQEVIc5dy78OMjPdNezFUljecMrnuHBT-aY54BbM6pU-y6bK1AJzusT70HEYUlPbTC-YwBP7r2mPWBkDeRniTRnvNCe6Lv0UbM-omlsJ0MHD_tnUIRfxAxRa3mkzKw-7zet2qtSKYQ?purpose=fullsize

CPU更像公司总经理,负责统筹和决策。

举个例子:

如果有100万张照片需要分类。

CPU:

一个人慢慢看。

GPU:

上万人同时看。

谁更快?

答案显而易见。

GPU为什么突然这么重要?

以前GPU主要负责:

🎮 游戏

🎥 视频渲染

🎨 3D设计

后来工程师发现:

AI训练其实也是大量重复计算。

而这恰好是GPU最擅长的事情。

于是GPU从游戏显卡摇身一变,

成为AI时代的核心基础设施。

https://images.openai.com/static-rsc-4/xOCyFkqBLN2kRuDqPO5GZhqyLi4BMm4_l5XBRiWC8kS8EIh_0taH6cTeYRsPWDfuuunbMAvPvsYd_75lwFaVu31BHQrLWpfUBXKdpJe--DykJLBWqeiqfCKZrDrrch2oogkSbtQ0fa5VpX8170tgq5DbRKG_7GMkVam2lyRrwWfRmo7I3IhIUPVGS1d2wi10?purpose=fullsize

https://images.openai.com/static-rsc-4/znJrcmqheA7XuydbTeEWqDUzR0rFBUS6p96TipzSbBiNP38gVEEpO2u-ooDNhAVzhdoku-6MQtbHnAnuKcoMF1HD3cZWDLHLDokC5tWQdFq9f_gF5sqbXbQobPVIDc8_AVW-jMVyYbMwqb0KuqNQXAc6lJesrxf3QXs4ZCSzsivsMmf9e7QNTHrwWaWi0tVv?purpose=fullsize

https://images.openai.com/static-rsc-4/EasASukFgCzfk_TSxdfihQ9Hv7UUXgSMRoR49VjMzEd23maSMYvW7LhG4TuXSSXndQ4g9xM8ppCQc7tAssYF_bB-EYWZx_hasVZFI4lVqGSNPF6iTPi-H7uA_CTDPj5rX2cOf0Vfu5_Q8NvWeZ2_mF2s0-xNuLhmv8UmMaBNEp0o-oxmFCZ0HMBBTeJoPkpm?purpose=fullsize

现代GPU内部拥有大量计算核心。

GPU到底快在哪里?

主要有三个原因。

第一:核心特别多

普通CPU:

十几个核心。

高端GPU:

上万个计算核心。

虽然每个核心不如CPU聪明,

但数量优势巨大。

这就是GPU能够同时处理海量任务的原因。

第二:显存特别快

GPU配备专门的高速显存。

普通电脑内存:

几十GB/s

高端AI GPU:

超过1000GB/s

相当于:

原本4车道高速公路,

直接变成100车道。

数据运输能力完全不是一个量级。

第三:专门为AI优化

现在很多GPU内部增加了:

Tensor Core(张量核心)

专门负责矩阵运算。

而AI训练最核心的工作:

恰好就是矩阵运算。

因此:

GPU跑AI的速度往往是CPU的几十倍甚至上百倍。

https://images.openai.com/static-rsc-4/YDrZIq24gjfYPUwJuxR8HfcBruYElnXUtKPfado7_B4n6zpXgnoqLe1wQqfrYtHGWQj7o5tCTrnl0IKd_fim4HzKz7Ga-DETCMAcLnBKeHdxe8YiHByzmYPq4dltCASacAEg-01du9Cf06Qr7GfFAB15vrN2ACaCDKEXfSKBbYBITGm19R1u_6GXNS0KzK8_?purpose=fullsize

https://images.openai.com/static-rsc-4/3WhLpm7uuLW_T_fl1vTTuoGcwkH50E09X01GJ4mEkDGMYpLgRyQPQwj9_C0Ho1FnZ7iyGrd5zd9beAC0H0MxqOQJHg_tlk5s3DXhXvZDX8TtU_9pswg4yp-2qFPxbGwpDok86o0flYtbXx9GFqLFohY5WzNbWTj4-JfMFDgJfTpdrgEJb9WqkAXySbkTDaPN?purpose=fullsize

https://images.openai.com/static-rsc-4/YwKhwUILI1nUU84Jpu-Dls_QeOMsNZNKPDFyBRyxT6JR4EYb6AAeFJKR-nw7DNodO81AGWh_vcUGrl1i4eHGI-6-HaaCGw649vXxmThW4E7D5vHg7KCb47dLAANxRww6MyMjoylGYIFfOyJlqc0aG1lAXdfmEHlTno1xugBrzo1rASbZXu4tdqOgbPC2E7q3?purpose=fullsize

训练大型AI模型往往需要成千上万块GPU协同工作。

为什么4090也能跑AI?

很多人以为:

只有H100这种服务器显卡才能训练AI。

其实不是。

RTX4090也可以。

原理其实一样。

区别主要在于:

  • 核心数量
  • 显存容量
  • 显存带宽
  • 功耗设计

简单理解:

RTX4090像跑车。

H100像重型卡车。

都能拉货。

只是载重量不同。

【图片4】

https://images.openai.com/static-rsc-4/4E6hZhmDbXQgaNyGiv-AYD2UmPrtElGr3eHOM7nYjWsfu2pfUHXpYbykR4HeS8R2L4617kAHcD3cXKTI5ueVb84V3ypN-V1VHLT9Gb0thwHAdLG9jpA0kYp9MTw81tRrMRQO3anLagPzO2Ox2qoZMJuGy3U8xwrTXFj6H5vTvAAKQTfO3-boMXGSltkG6eut?purpose=fullsize

https://images.openai.com/static-rsc-4/E_9s0zUDsf8uRDkXIbrijreSvjpSH47c1m4GrEN64AV07bPFB5WQoNokc3-cSMLA6Lvefqx8rA49kzJlYbjJ_9LQXSmuotmc-trKrhoE4Wdi0ySftwPhYsdIttAk8ixINDkVOqAA4PNLPN7a7qXV7yfe3N-pNq3FC0QqPN_mE7vbFo_TV83Jwd0m0qklBT_P?purpose=fullsize

https://images.openai.com/static-rsc-4/BbZvBw_q-dhwFkA1mntFMpWQ-fzUKjgpNPsU_199fe-b3_YRsYPkVGg9Y8vGMs50NOkLGpn4GhI-7kR3BY2eBB6uNUEm4EGDwXC1Aykfd-NEs8L8PLJpKd0s2LyRrEF21bUXgiY2q-zSgO2iw9myWnbr7B3WefDOYLEx1oQlEDhb4n7XWVYnZGCD5r3pS_c3?purpose=fullsize

消费级GPU和数据中心GPU本质相同,只是规模差距巨大。

GPU是如何同时处理这么多任务的?

假设有100万个数学题。

CPU做法:

一个人从头做到尾。

GPU做法:

把100万个题目拆开。

每个人负责一个小题目。

然后同时开工。

这种模式叫做:

并行计算(Parallel Computing)

也是GPU性能强大的根本原因。

GPU有没有弱点?

当然有。

GPU最怕工作太少

如果只是算几个数字。

CPU反而更快。

因为GPU启动成本更高。

GPU最怕复杂逻辑

GPU喜欢:

所有人干一样的活。

如果:

每个人都要做不同事情。

效率就会下降。

GPU也怕数据不够快

GPU算得再快,

如果数据送不过来。

它也只能干等。

因此AI服务器特别重视:

  • 显存带宽
  • 网络带宽
  • 数据传输效率

https://images.openai.com/static-rsc-4/mokc5np6Ha-ZuGMQzliU0LHggttRwJz_HjkI_btYII83KzFNqrfzDL_m0tav9TIwhWu7HJ3YhfMPv0rhvseMEXk1H5wrVbnQO1o0dj3dN9CAcV9oU1Z6UqWWxfPOwsoxPNu-RGm6H_Ys8pYpHERmd9KKD4RJY_OnTxtQB3OCntqhVHSP-6sQN8NryuO3mNWh?purpose=fullsize

https://images.openai.com/static-rsc-4/sVWkGOm6knIrHmkXi_ESqIV8nLp_Eqcl-nCuqMZPtUJneowGY1udD1K6ADlcr-a8BYbt3LVrgge3VvjPcwra3gUvVWKoDB9mhVs50AkhLXrcYJiVXGqCBR6O5a0TEcbfS3rBDhNS9FmRBWQ2Fpj3iBBqI6bjGsA9KYOjzKFGbFSi_GUaE_Yz4MKHfjtI5jRS?purpose=fullsize

https://images.openai.com/static-rsc-4/ta9z13k8NgICueHkqFYMl85o_gNSozTtBFSvuMm4fMuGDUzgl0PnbTlQ5k2Q4DY8c5o6BAFbZsUtwvuV3rr_SQCvmG0SNVlzil5IWfP8Oe93vZh4sdLgGTxUHBbnNz0kDNjiD1m93usklz0xAOUlCy7LQGzsWZQbjPH81i6G2SKTgYPYdleM7V2QjKbxvVuZ?purpose=fullsize

AI公司的真正竞争力之一,就是拥有更多GPU。

为什么OpenAI疯狂买GPU?

原因很简单:

GPU决定AI训练速度。

假设训练一个模型:

CPU:

3年

GPU:

3个月

企业当然选择GPU。

因此:

  • OpenAI
  • Google
  • Meta
  • xAI
  • Anthropic

都在疯狂采购GPU。

有些公司甚至提前几年预订产能。

为什么有人说GPU是新时代的石油?

过去:

石油决定工业发展。

今天:

算力决定AI发展。

而GPU就是算力最核心的来源。

很多业内人士甚至认为:

未来最重要的资源可能变成:

⚡ 电力

🖥 GPU

📊 数据

而不再只是传统能源。

https://images.openai.com/static-rsc-4/XxhC19BIePdFqJHkvR6kSOYyUv_lI2ET1yl7XBn1rQesSzBrHQiZ_Hp9rxWg1kWVJ9NN1eM3obwl0o4fE15vzJ5n8gA_xI_4mHq2R-oUW9OjQKMMbbPQO_wkFozMhSWYDko2L9OEibfSeYKzL6zH9ei1X8Mzojpn4N5DdoM6NpnZgswlcN9GqwhwwlkaXKL8?purpose=fullsize

https://images.openai.com/static-rsc-4/wicoroMwLP7Kln1KQ26sFT6ALM3jjU8knQW3e_xUglRPlUhDJqhmpY-XV1_vBU1YgdqTu64OOpSHZ4ZVekvNlIHftU7LhMno0XGefHz1kvUyjR3J0y3QC3rnr1XSdlkVcnbcI6dBOmxxDC82QoLFlewypnydOke9swXFCNkJzTbgA8BhI8m1nLrqhOe9IxYQ?purpose=fullsize

https://images.openai.com/static-rsc-4/TG9nupPSSiTlSLpIXDKmcM696AA1nrtUDd76TCyAh3diMgr0n8SE2IF17oQDyHWakGOEOCJDyHe_RUP5IjFm1BaUurzV7qAqoaYFYLBQlmgitAm7g7KlS80BmnTsAb2QV7rABS7NaXSHyrW7xIXcpeVywc5XhgjUhnDnfr47_u6460TGzePAxSm8CDWSZqqs?purpose=fullsize

未来的竞争,可能是算力、电力和数据之间的竞争。

一句话总结

CPU负责思考。

GPU负责干活。

CPU像总经理。

GPU像拥有几万名工人的超级工厂。

而AI时代最需要的,

恰恰就是这样的超级工厂。

这也是为什么一块高端GPU能卖到几万甚至几十万美元。