GPT在自然语言处理上取得了有目共睹的成就，包括BERT，RoBERTa，T5等众多无监督或自监督学习方法轮番登场拿下了一个又一个语言高地。自然语言处理高歌猛进的同时图像领域不甘心了，也在跃跃欲试想要利用类似的模型学习出可以用于分类任务的有效特征来。
Transformer家族的模型基本上可以直接处理任何形式的1D数据，于是研究人员就想到将2D图像拉伸为长长的1D图像序列，利用与GPT－2模型类似的技术构建了用于处理像素序列的iGPT模型。
在详细的实验分析后研究人员发现，模型显现出对于2D图像特征的理解能力，包括有效的个体和类别的理解。模型可以在没有人工指导情况下生成连续的图像样本，实现图像补全，同时可以在多个分类数据集上实现先进的分类性能，并在ImageNet实现了非常接近最优秀无监督方法精度水平。这证明了这类生成序列模型可以作为通用的无监督学习算法。
在使用GPT－2类似的架构时，虽然需要更多的计算来达到基于卷积的非监督学习水平，然而这种方法在面对全新领域时，大型的GPT－2模型无需针对特定领域架构进行设计就可以学习出非常有效的特征和优异的性能。
下面让我先来看看iGPT应用于图像补全和样本生成任务下的一些结果，下图中红色框是原始图像，蓝色框中是模型补全的结果。可以看到模型很好的恢复出了另一半缺失的图像，并在不同的生成结果中添加了各种语义特征的对象。
1234下一页>（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
