IBM揭秘：Granite 4.0 Tiny模型，12GB显存实现128K上下文，引领AI新潮流
随着科技的飞速发展，人工智能（AI）已成为当今世界最具挑战性和最具潜力的领域之一。作为全球领先的科技公司，IBM在AI领域的研究与创新一直备受瞩目。最近，IBM发布了Granite 4.0系列模型中的最小版本之一：Granite 4.0 Tiny的预览版本，凭借其高计算效率和低内存需求，引发了业内的广泛关注。本文将围绕Granite 4.0 Tiny模型展开，探讨其显存需求、性能表现、架构特点以及未来计划，以期揭示IBM在AI领域的又一创新力作。
首先，让我们关注Granite 4.0 Tiny预览版本所采用的显存需求。据介绍，在FP8精度下，运行5个128KB上下文窗口的并发对话仅需12GB显存。这一需求在目前的市场上，一张建议零售价为329美元的英伟达GeForce RTX 3060 12GB消费级显卡即可满足。这一显存需求降低了AI模型的运行成本，使得更多企业和机构能够享受到AI带来的便利。
接下来，让我们深入了解Granite 4.0 Tiny预览版本的性能表现。据报道，Granite 4.0 Tiny预览版本的训练Token数至少为15T，目前仅训练了2.5T，但已能提供与12T训练Token的Granite 3.3 2B Instruct相当的性能。这表明，Granite 4.0 Tiny在128KB上下文窗口16并发会话下内存需求降低了约72%，预计最终性能可与Granite 3.3 8B Instruct相媲美。这一性能的提升对于企业而言，意味着更高效的对话系统、更准确的预测模型以及更强大的决策支持。
在探讨完Granite 4.0 Tiny预览版本的技术特点后，我们再来关注其架构。Granite 4.0 Tiny基于被Granite 4.0系列全线采用的混合Mamba-2/Transformer架构，结合了两者的速度与精度，降低了内存消耗而不明显损失性能。这种架构的选择充分体现了IBM在AI模型架构上的专业素养，为AI模型的训练和部署提供了强有力的支持。
最后，让我们关注一下Granite 4.0 Tiny预览版本的发布计划。根据IBM的公告，Granite 4.0 Tiny预览版本现已在Hugging Face上以标准Apache 2.0许可证提供，并将在今年夏天正式推出Granite 4.0系列模型的Tiny、Small、Medium版本。这意味着广大科研人员和企业将有机会进一步探索和验证Granite 4.0 Tiny的潜力，推动AI领域的创新发展。
综上所述，IBM发布的Granite 4.0 Tiny预览版本凭借其高计算效率和低内存需求，以及出色的性能表现和架构特点，无疑在AI领域掀起了一股新潮流。随着IBM不断推进AI技术的发展和创新，我们有理由相信，未来AI将在更多领域发挥出更大的潜力，为人类带来更多的便利和价值。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
