实在智能全网首发IPA模式及智能屏幕语义理解技术|开启RPA可视化

12月7日,国内人工智能行业准独角兽“实在智能”2022冬季新品发布会重磅登场:“蝶变·新番”“带来一场震撼行业的RPA发布会!打破传统,变革模式。本次发布会从功能和体验两个维度带来了实在的“科技与狠活”,一言以蔽之:“一款真正人人可用的RPA。

实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术

创业四年,实在智能始终秉持“AI赋能商业”的初心,坚定相信人机协同及超自动化时代的美好未来。凡事必作于细,也必成于实,致力于不断突破传统RPA的天花板,降低大众人群上手数字化工具的门槛,提升用户体验。

新模式:沉浸式搭建超自动化流程的IPA模式

新技术:智能屏幕语义理解技术(ISSUT)

沉浸式搭建超自动化流程的IPA模式,彻底打破RPA软件应用门槛,开启RPA“可视化窗口”时代:

相信大家正在用手机阅读这篇文章,那么不知您是否还记得2007年苹果公司的iPhone首次发布会。触屏手机的发明彻底改变了手机和消费电子产品行业,大幅降低手机的使用门槛,让手机全面普及,推动了移动互联网时代的爆发。这是一个用技术颠覆行业,并让全社会受益的经典案例。

沉浸式搭建超自动化流程的IPA模式,由“专家模式”迈向“小白模式”

传统RPA软件,其实是一种“专家模式”。即,用户如果想配置自动化操作,必须要先学会如何使用RPA软件,进而才能在RPA软件与业务软件之间不断切换,逐步以“拖拉拽”或“写代码”的方式,完成自动化流程配置。

而实在RPA的IPA模式,则完全不同,简言之这是一种“小白模式”。用户不需要额外学习使用实在RPA,也完全不需要“拖拉拽”或“写代码”,按照正常流程直接操作业务软件即可。

每当鼠标悬停,实在RPA会自动推荐(并可在线学习优化推荐)此处可以/可能进行的自动化操作。

每当鼠标点击,该步操作自动转为自动化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的数字员工。

传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”

实在RPA的IPA模式,类似触屏手机的颠覆式创新,彻底推平了横亘在用户面前,导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”,带来了真正的人人可用,实现“打开就能用、入门就上手”。

不妨来听听行业专家、专业用户提前尝鲜体验的反馈集锦:

震撼一:沉浸式的超自动化体验,识别一切,操作一切

· 不再需要传统RPA软件的“流程画布”,把“更大,更宽,更全面”的电脑屏幕留给用户。

· 不再需要传统RPA软件的“拖拉拽”,鼠标悬停+鼠标点击,即可完成自动化流程配置。

· 不再需要传统RPA软件与应用软件之间所必须的频繁切换,基于对所有屏幕元素的识别和理解,以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互,实现在超自动化的元宇宙中快速打造数字员工。

震撼二:所见即所得的操作,一看就会,一用就对

无需学习:不用理解和记忆“组件/元素/变量”,不用“拖拉拽”,不用“写代码”。

无需思考:

· 鼠标悬停,马上弹出可能的自动化操作推荐列表

· 鼠标框选任意图像区域后,马上弹出可能的AI能力推荐列表(文字识别等)

· 支持基于场景和动作的在线学习,用得越多越“聪明”,推荐越准。

无需转化:鼠标点击,马上在“流程窗”中自动生成自动化流程。

自动理解上千种图标含义复杂页面结构并预测推荐自动化操作

为了更清晰、更全面地展示IPA模式的强大功能,这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。任何直接对数据表的操作,不仅包括,插入行或列,写入单元格或区域内容,自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等。

甚至是,复杂的数据透视操作。都会在右侧“流程窗”中自动生成自动化流程,并自动忽略无效步骤,且可以直接运行。这种所见即所得的数字员工搭建方式,大幅提升数据采集和处理效率,降低了数据自动化处理门槛。

对Excel的人工操作自动生成简洁可执行的自动化流程。基于以上模式,以某客户真实场景的Excel自动化操作需求为例:

使用传统RPA:相对资深的RPA开发工程师需花4个多小时,通过50多个组件才能完成搭建。

使用实在RPA的IPA模式:无需RPA开发工程师,业务人员自身只需短短6分钟左右即可完成,“流程窗”中生成的动作只有32个,前所未有地提升了工作效率。同时,IPA模式还支持对复杂页面数据结构的自动分析,实现一键采集整个表格数据。

二、创新技术:国产自研,行业首创的智能屏幕语义理解技术

本次发布会上,实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术(ISSUT:Intelligence Screen Semantics Understanding Techonology)。

产品是表,技术是里。

用心优化,用AI改变。

看到这里,相信大家已经领略了IPA模式的神奇和惊艳,下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”:

Action 1:识别屏幕

1、融合拾取3.0技术:使得“元素”皆可拾取

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。

基于CV技术的融合拾取,支持无差别识别各类软件

实在智能在2022年3月31日“AI你所爱 新益求新”发布会中全行业首发了“融合拾取3.0”技术,高效精准地解决了复杂元素的识别和操作。

融合拾取技术持续快速迭代,精度速度大幅提升

在前期工作基础上,本次发布的ISSUT技术,解决了“何为元素、能否识别”等问题,只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。这是实现智能屏幕语义理解的第一步,也是实现RPA真正人人可用的第一步!

2、动态元素匹配技术:使得“元素”一键适配

RPA行业中提到的“元素”,指的是屏幕上的图标、文字或区域。RPA要首先识别它们,然后才能自动地点击和操作它们。当文字内容或图标外观发生了改变时, RPA机器人有可能会找不到之前的元素。这时就是动态元素匹配技术的用武之地:

· 借助AI算法,轻松处理元素变化情况

· 一次识别,永久适配

Action 2:理解屏幕

1、页面结构分析技术:既能检得更小,也能看得更大

举个栗子:

当我们使用聊天软件的时候,人可以轻松理解软件界面(电脑屏幕),知道哪里是消息列表,哪里是对话输入框……那么问题来了,RPA机器人如何准确、快速、更好地模拟人工操作呢?

为此,我们引入了页面结构分析技术,使得实在RPA在“认识屏幕”之外,更可以“理解屏幕”,并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点:

· 页面图神经网络分析

· 动态缩放自适应

· 区域内容填充识别

通过页面结构分析技术智能理解聊天软件界面

2、屏幕语义抽取技术:隔屏取物,懂你所见

这项技术,使得IPA模式真正像人一样理解屏幕的每一个部分,将我们的办公直觉投射到屏幕上,实现真正的所见即所得:

在VR中,我们可以隔空取物;在实在RPA的IPA模式中,我们可以隔“屏”取物——即,鼠标的每一次滑动,背后的AI算法都将瞬间完成一次计算,分析出屏幕中元素和区域的含义并且推荐相应的自动化操作:

· 当鼠标滑过一个浏览器图标,AI就知道它能用来打开网页和搜索新闻;

· 当鼠标滑过一个对话框,AI就判断可以输入文字并发送消息;

· 当鼠标框选一个包含各种文字的区域,AI就知道可以进行文字识别及抽取。

Action 3:操作预测:

1、多模态意图预测从“头秃想想想”到“自如点点点”

对于传统RPA(“专家模式”)RPA开发工程师往往需要从一堆的组件中找到一个想要的组件,通过“想想想+拖拉拽”完成自动化流程配置;

对于实在RPA(“IPA模式/小白模式”)多模态意图预测技术,可以支持通过多模态识别和序列上下文挖掘等方法,精准预测用户的每一个操作意图,抹平了从业务场景操作到RPA组件之间的理解鸿沟:

· 用户的每一次点击就是一次拾取;

· 用户的每一步操作都在配置流程。

应用软件操作回到台前,RPA开发退回到幕后,实现二者的真正分离。

2、业务感知推荐:理解场景,操作业务

结合表格检测、场景预测和自然语言处理技术,实在RPA的IPA模式。不仅可以,自动推荐原子级操作(点击图标、输入文字、鼠标移动);还可以,基于业务场景理解,自动推荐业务级操作:

· 打开网站登录页面,鼠标划过登录区域,自动推荐「智能登录」操作;

· 打开商品列表页面,鼠标划过任何带有数据区域,自动推荐「数据采集」操作。

通过多模态意图预测技术,感知业务场景并推荐自动化操作

Action 4:在线学习

本次发布会还有一个功能彩蛋:实在RPA的IPA模式支持在线学习和迭代优化。这也正是AI产品的魅力之所在!根据用户的反馈,算法模型将通过在线学习技术和自动优化机制,能够记住选择和喜好,用的越多,推荐越准。

值得一提的是,所有模型算法都内置在用户本地办公环境,操作习惯和数据均不会通过网络上传,并且配置有防护机制,最大限度地保护用户数据隐私安全。从这个意义而言,实在RPA的IPA模式:

· 不仅是人人可用的沉浸式超自动化流程配置模式,更是千人千面的个性化数字员工搭建工具。

· 通过技术的“仪式感”,让每个人都拥有专属的、尊重数据隐私的超级自动化产品。

“蝶变”意味着破茧而出,羽化成蝶。本次发布会选此作为主题,寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶,真正实现RPA成为人人可用——也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段。越过山丘,IPA模式引领超自动化全新时代。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )