前言:
关于深度学习,它正在快速接近其极限。虽然事实可能的确如此,但我们仍未能在日常生活中感受到全面部署深度学习的影响。
MIT:算力将探底,算法需改革
近日,MIT发出警告:深度学习正在接近现有芯片的算力极限,如果不变革算法,深度学习恐难再进步。
根据麻省理工学院,MIT-IBM Watson AI实验室,Underwood国际学院和巴西利亚大学的研究人员在最近的研究中发现,持续不断的进步将需要通过改变现有技术或通过尚未发现的新方法来更有效地使用深度学习方法。
目前深度学习的繁荣过度依赖算力的提升,在后摩尔定律时代可能遭遇发展瓶颈,在算法改进上还需多多努力。
深度学习不是偶然的计算代价,而是设计的代价。共同的灵活性使它能够出色地建模各种现象,并且性能优于专家模型,这也使其在计算上的成本大大提高。
研究人员估计,三年的算法改进相当于计算能力提高10倍。总体而言,在深度学习的许多领域中,训练模型的进步取决于所使用的计算能力的大幅度提高。 另一种可能性是,要改善算法本身可能需要互补地提高计算能力。
在研究过程中,研究人员还对预测进行了推断,以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。
即使是最乐观的计算,要降低ImageNet上的图像分类错误率,也需要进行10的五次方以上的计算。
根据多项式和指数模型的预测,通过深度学习获得相应性能基准所需的算力(以Gflops为单位),碳排放量和经济成本,最乐观的估计,ImageNet分类误差要想达到1%,需要10^28 Gflops的算力,这对硬件来说是不小的压力。
123下一页>(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )