腾讯网

大语言模型VRAM估算指南和工具介绍

为了有效地执行大型语言模型(LLM)推理，了解GPU VRAM需求至关重要。VRAM对于存储模型参数、激活、处理批量大小和精度设置至关重要。估算VRAM使用情况的基本公式是:参数数×(精度/ 8)× 1.2。现代优化技术和框架可以进一步减少VRAM的需求。像VRAM Estimator, Hugging Face ...
腾讯网

第四范式发布「Virtual VRAM」虚拟显存扩展卡，GPU资源利用率实现突破

在AI大模型迅速发展的背景下，GPU显存容量正成为制约模型训练与推理效率的关键瓶颈。单卡运行时显存不足，又或是轻负载场景中一模型一卡的部署形态，无不反映出市场对高效、低成本扩展显存资源的迫切需求。 近日，第四范式正式推出了「Virtual VRAM」可 ...
csdn

英特尔VRAM技术把30B参数大模型“装进口袋”，Flowy AI率先适配

近日，阿里通义千问发布了两款新版本30B（300亿参数）MoE大模型——Qwen3-30B-A3B-Instruct-2507 和 Qwen3-Coder-30B-A3B-Instruct。在搭载 ...
新浪网

第四范式(06682)发布“Virtual VRAM”虚拟显存扩展卡 GPU资源利用率实现突破

在AI大模型迅速发展的背景下，GPU显存容量正成为制约模型训练与推理效率的关键瓶颈。单卡运行时显存不足，又或是轻负载场景中一模型一卡的部署形态，无不反映出市场对高效、低成本扩展显存资源的迫切需求。 近日，第四范式(06682)正式推出了“Virtual VRAM ...
来自MSN

6GB VRAM显卡生成高品质视频 FramePack令低端显卡都可创作AI视频

GitHub开发者Lvmin Zhang与斯坦福大学Maneesh Agrawala合作研发最新“FramePack”技术，利用视频扩散模型中的固定长度时域上下文，显著提升视频生成的效率。根据实测，这项基于130亿参数模型的技术，能够在6GB VRAM（显卡内存）的显卡上生增长达60秒的视频。 FramePack是 ...