TencentOS Server AI全面支持满血版DeepSeek R1，在双机16卡的硬件环境上，分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2.6倍的推理性能提升!
本性能评估采用2台8卡服务器，显存总量共1536GB，部署TencentOS Server AI版，2台服务器采用RDMA高速网络互联，测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力，测试结果如下：
TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统，提供了从基础架构到AI框架以及模型的全栈式AI环境，一方面简化部署，另一方面通过高性能的AI框架，实现大模型如DeepSeek推理效率成倍的增加。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
