Sora算力到底怎么算、硅光、NV业绩展望

Sora算力需求到底怎么算

是今天的热门话题，先是有老师发了这段：

“60秒30FPS的1920x1280分辨率视频就需要总共4423680000这么多个token，远远超出目前大模型支持的上下文长度，所以Sora用一个Encoder把视频先压缩到隐空间，再以patch形式送入diffusion模型，但即便是这样，单个patch大小为60*80，也需要921600个token才能表示出整个视频，也就是说训练这样一个Sora模型需要巨大的计算成本。”

和多位老师（感谢stacy shawn Y博）交流下来，关键参数就一个，patch size有多大。这个问题展开一点，就是1）从视频转换到patch ，2）patch到token，中间两次转化的比例分别是多少，patch到token就是1:1的话，那就剩下视频到patch的转换比例是多少。视频到patch的转换也分了两步，论文中是这样描述的：

视频到latent space、 latent到patch。这也可能是整个Sora模型的秘诀所在。和多位老师交流下来，第一步视频到latent是关键，OpenAI自己设计了tokenizer，按照Y博士的说法，“过去所有vae处理的都是帧，一帧一帧得压，但Sora第一步对一个序列的帧压到了latent space上，和过去的VAE也有不同”。这一小步可能也是决定我们前面计算“比例”问题的关键。上文引述中认为patch size大小是60*80，但这个怎么算的，口径是什么，无从得知。我们只能继续从论文中得到一点点线索，“patches are a highly-scalable and effective representation for training generative models on diverse types of videos and images”。这个“高度可扩展”、“有效”，是否可以理解为非常高效的压缩比？因为只有这样，才能保证交给后面transformer时，让大力出奇迹有更大的发挥空间，从而可以更加高效的scale。

此外常老师提了一个新角度，sora两个作者是fresh graduate PhD，openai对这样一个team一般会给到多少资源，以这个去推测参数量和数据量会更合理。因此初始的参数量的确可能不会太大，2B或者3B或者10B也不太重要，因为1）路通了，未来肯定会scale；2）算力公式里面就算参数量小了点，另一个因子输入token数量会大很多（不管patch压缩有多高效），从常识角度，视频最终转化为的token怎么也要大于文本，数量级几个0的问题了。按照F给的数，pika一个视频成本1rmb左右，按照Sora这质量，1个60s视频生成十几到几十美金不算过分。

此外大家都在算推理成本，也就是视频生成端的应用、成本、算力，但我在想，如果OpenAI拥有了一个如此高效的视频to patch to token的转换器（tokenizer），不仅仅意味着视频AIGC革命这么简单吧，从最初大家经常说的“信息无损压缩”的角度，意味着不仅仅是视频，现实世界正在发生的很多影像资料（直播/监控/手机操控录屏），是不是都可以被高效压缩、提取，转化为模型的认知，进而成为GPT-5及未来模型训练的重要输入。我们过去的文章提过（从GPT-5是什么说起），一个天才了解一个新行业不需要读1万本书，对信息的高效压缩，是智能提升的原因，也是结果。过去我自己粗浅认为视频的信息密度低，算力消耗又高，训练起来不经济，是不是从Sora开始这一点改变了？Sora似乎又给scaling law持续下去增添了一点点信心。

因此研究员D一句“精确的错误”说的挺有道理，一方面我们绞尽脑汁可能想清楚了这个patch size的大小，从而算出一个似乎更准确（或者比想象中更低）的训练和推理成本，然后呢？就利空或者利多算力这么简单了吗？静态的计算的确显得不太重要，跳出这个维度，另一个维度可能影响的是数量级。就好比我们都在猜XXX的季报，假设猜数字的游戏让你获得了几个点的alpha，但会不会同时种了下你未来踏空好几倍的种子？

今天光模块的暴涨，Robo对硅光的comment

Robo在星球分享了对硅光的观点：

硅光一直以来比较倾向于故事，主要是最早他是英特尔用来对抗博通EML传统方案的一个对标或者说阵营。2016年的英特尔的硅光就占了20%订单 发展了7 8年到现在 其实份额一直都是很小的 藕合难度大 光芯片流片又很差 英特尔也一直都没赚到钱 硅光的渗透率一直在15%左右 主要是100G 将来的预期是400G以上的高速光模块的硅光渗透率能打到15%以上 甚至30% 40%左右 但是行业内预计如果硅光发展的顺利 在2027年左右 硅光能占据高速光模块的40%市场份额。

这个技术有几个好处：

功耗低20%左右 你要知道1.6T的传统方案的散热都快上液冷了 尺寸会相对传统方案更小 成本至少便宜15% 对于硅光厂家和光模块厂也是双赢（互相毛利提高）

关键还有我们卡脖子比较利好的芯片尺寸 硅光最大可以做到45nm 而现在DSP都要做到从7NM做到5NM 对于我们自主可控来说可以是一个突破点 国内的华工 光迅都做的挺好了

CPO其实就是硅光方案 台积电也正式入局 似乎像某家已经下大订单了 电话会里 还给了比较大的卫星

这个卫星也挺有意思的 大意是CPO封装的产能严重滞后于市场的需求 25年会有爆发性增长 24年需要准备25年供应链10倍的缺口的设备 25年 M一家公司每个月就需要100W只CPOchiplet封装的量 而现在全世界产能只有8~9W只 而N G也急着要布局这些

将来可能不能仅仅以光模块的量别来看这个行业的需求和增长了 取而代之是半导体封装级别的量别

硅光同时也有4个新的增量：

1 GPU之间的互联 板间互联 nvlink的下一代技术 也需要用含有硅光的光引擎去连接 这个地方其实是一个新的增量

2 交换机板上的CPO硅光光引擎的增量

3 400G 800G硅光高速光模块的渗透率提升的增量

4 1.6T以后的硅光高速光模块占主要份额的增量（40%+)

因为电芯片这边 交换机侧 单波200G的电信号已经是极限水平了 所以用8通道的1.6T方案就是传统EML方案的极限了 16通道啥的基本这个光模块体积不但巨大 功耗上面都要爆炸了 要突破到3.2T 基本的想法就是使用低功耗硅光芯片配合多通道

旭创的硅光方案 光芯片是不发光的 硅光又有非常高的集成度 可以节省光源（原本是1条1个激光器 现在可以是2条或者4条通道才需要一个激光器） 那要解决这个问题就需要一个巨大的激光器 所以比较收益的就是大功率的CW激光器的增量 A股的话 大概率也就是源杰科技这边快突破了

硅光的高精度藕合设备 放卫星的那家 也就是ficontec 罗博特科了 这个价值量也不少 每100W个硅光光模块 40~50台一般 2个亿RMB 毛利大概率50%+

还有就是旭创 旭创的硅光IC设计这一块是很出名的 所以我想它这个小作文来头也是有点原因。