夜雨聆风学习资料网

ARTICLE · 1147851

大模型开始替读屏用户“动手”了,保益悦听电脑读屏 v12.1 上线自动化工具,滑块验证码、软件开机自启这类“读屏死角”有了新解法

大模型开始替读屏用户“动手”了,保益悦听电脑读屏 v12.1 上线自动化工具,滑块验证码、软件开机自启这类“读屏死角”有了新解法

欢迎点击上方蓝色字体“淘it大全”关注我们,同类文章会不定期发布

欢迎加入我们的 QQ 群,一起讨论,共同进步!

群号:

154063638

保益系列软件,盲人节特别活动正在进行中

咨询或购买保益系列产品,可联系:516078943(QQ、微信同号)

或长按下方图片,识别图中二维码,添加微信联系我们

大模型开始替读屏用户“动手”了

保益悦听电脑读屏 v12.1 上线自动化工具,滑块验证码、软件开机自启这类“读屏死角”有了新解法

“读屏读不出来的界面,只能请人帮忙。”这是不少视障用户用电脑时的共同记忆。近日,保益悦听电脑读屏推送 v12.1 版本更新,新增的“保益自动化”工具尝试用大模型来辅助操作电脑。对国产读屏软件来说,这是一次值得关注的尝试——本文根据官方更新日志和公开信息,梳理这次更新里真正值得看的几个点。

一、这次更新到底加了什么?

先看核心变化:v12.1 新增“保益自动化”内置工具,可通过热键 Ctrl+保益键+Z 唤起,也能从悦听工具箱启动。它不是简单的快捷键工具,而是把 AI 大模型接进来辅助操作电脑,支持 vivo 内置模型和三方主流模型服务商。

用官方的说法,这是一次“全新的探索和尝试”。在我们看来,这句话不算夸张——过去读屏软件努力的方向,是把界面“翻译”成声音;而这一次,它开始尝试替用户“动手”。

目前,新版软件已经陆续推送,收到更新提示后,按步骤操作即可完成升级。

二、最大的看点:读屏读不出来的界面,交给了 AI

先说背景。过去想让电脑自动完成一些操作,前提是读屏能读出界面上的控件——读屏读不到的地方,自动化脚本同样抓不住。而这恰恰卡住了视障用户最难受的那些场景。

这一次,大模型被用来补上这块短板。先看两个最典型的场景。

滑块验证码:这是读屏用户长期以来的“拦路虎”,读屏念不出图形内容,拖动轨迹也无从谈起。按照这次的思路,用户可以把“完成滑块验证”这样的任务交给自动化工具,由大模型去识别、判断并完成操作。

搜狗 AI 汪仔开机自启:这类设置入口往往藏在图形界面深处,读屏很难找到。现在,用一条任务指令就可以交给大模型完成——找到开关、关闭自启,不必再麻烦别人。

换句话说,过去那些“读屏死角”,现在有了交给 AI 的可能:

•读屏读不出的界面,可以让大模型“看”;

•读屏点不到的控件,可以让大模型“点”;

•需要判断的图形任务,可以让大模型“想”。

需要提醒的是,官方也说明,自动化功能的实际表现会受所选模型和具体界面影响。我们的建议是:初次使用可以先拿低风险的小任务试水,涉及账号、支付等敏感操作时,还是多留个心眼。

三、不止 AI:一批老问题也修了

除了 AI 自动化这个“新面孔”,v12.1 还集中解决了一批日常使用中的老问题。从更新日志看,改动主要集中在四个方面:

•浏览速度:重构控件导航与元素导航的底层逻辑,WinRAR 解压大文件时部分系统小键盘 4、6 导航卡死的问题得到解决。

•取词能力:全面支持火绒安全软件取词,包含主窗口以及托盘右键菜单;新增取词方位导航,可用小键盘按单元格、按行浏览,长按 3 和 9 快速跳到第一行或最后一行;新增智能区域导航,区域不再需要手动划定。

•稳定性与兼容性:Sandboxie 沙盒程序崩溃、沙盒内不朗读,memreduct 等程序小键盘导航无效,Dism++ 取词错乱,以及微软拼音、UWP 应用中文输入、网页弹出菜单、动态消息排队朗读等问题,都在这一版中得到处理。

•远程功能:修复保益远程发送大文件可能失败、远程消息助手通道不能传到主控端的问题;官方提示,如果是自建服务器,需要同步更新服务端。

四、完整升级日志

以下是官方发布的 v12.1 完整升级日志,整理如下,供大家对照查看:

1、新增保益自动化内置工具,热键 Ctrl+保益键+Z,或者通过悦听工具箱启动。本工具通过 AI 大模型辅助操作电脑,支持 vivo 内置模型和三方主流模型服务商。

2、全面重构控件导航和元素导航的底层逻辑,大幅度提升浏览速度。例如在 WinRAR 解压大文件时,部分系统小键盘 4、6 导航卡死的问题得到了有效解决。

3、全面支持火绒安全软件的取词,包含主窗口以及托盘右键菜单。

4、新增取词方位导航。保益键+小键盘星号键(*)切换到方位导航后,小键盘 2、4、6、8 会按照单元格形式浏览取词内容,小键盘 3 和 9 按照行浏览,长按 3 和 9 可快速回到第一行或最后一行。

5、新增针对取词的智能区域导航。原有区域导航必须手动划定取词区域,现在我们实现了智能分区:Windows+小键盘 4、6 浏览区域,然后使用加减号或者方位导航的 2、4、6、8 等浏览即可。注意,如果当前程序手动添加过区域导航方案,可能需按一次 Windows+小键盘 8 切换到自动后,再按 Windows+4 和 6;Windows+小键盘回车也可手动保存当前区域,Windows+小键盘的小数点键可刷新分区。

6、优化对 Sandboxie 的支持,解决启动的沙盒程序崩溃问题,解决沙盒内程序不朗读问题。

7、解决部分程序小键盘导航无效的问题,如 memreduct。

8、解决 Dism++ 等部分程序取词错乱的问题。

9、解决微软拼音遇到相同候选不解释的问题。

10、解决 UWP 应用输入中文时可能会先读一下字母的问题。

11、解决部分网页弹出菜单后无法继续按照网页形式操作的问题。

12、解决部分动态消息不能排队朗读的问题。

13、解决保益远程发送大文件可能失败的问题。需更新服务端,保益公共服务器已更新,公开包也已经发布到保益商店。

14、解决保益远程消息助手通道不能传到主控端的问题。

15、优化部分控件的朗读。

五、要不要升级?给三类用户的建议

•喜欢尝鲜、对 AI 自动化有需求的用户:值得第一时间升级,把那些读屏读不出来的操作,试着交给大模型。

•更看重稳定的办公用户:本次导航重构和一批兼容性修复同样值得升级。

•常用保益远程的用户:如果是自建服务器的,别忘了更新服务端。

官方表示,用户对自动化工具有任何意见建议,都可以通过发帖或拨打客服电话反馈。

六、老编观察:读屏的下一个方向,是从“听得见”到“够得着”?

过去二十多年,读屏软件解决的核心命题,是让视障用户“听得见”屏幕;而大模型带来的新命题,是替用户“完成任务”。这一步迈出去,读屏软件的角色可能发生微妙的变化——从“翻译界面”变成“代理操作”。

官方在更新说明中也写道:“随着大模型的不断发展,模型能力与读屏操作的结合将是未来的趋势。”并称“保益悦听电脑读屏,属于每一位心怀热爱的朋友”。看得出,厂商把这次更新当作起点,而不是终点。

当然,作为第三方观察者,我们也留下了几个问号:大模型完成任务的准确率能稳定到什么程度?调用模型服务的成本和隐私边界如何界定?这些问题的答案,可能要等更多用户上手之后才会逐渐清晰。

你在使用读屏软件时,遇到过哪些“读不出来”的尴尬瞬间?如果让 AI 帮你完成一件事,你最想交给它什么任务?欢迎在评论区聊聊。

声明:本文根据保益悦听官方更新日志及公开信息整理,功能细节以官方发布为准;文中观点为本公众号的独立观察,不代表保益悦听官方立场。

如果您也喜欢本文,麻烦动动手指分享给您身边的人,我们感激不尽。

了解最有用的产品信息,不定期分享软件体验,尽在《淘it大全》

欢迎您长按并识别下图二维码关注我们!

点击阅读原文可加入我们的官方 QQ 群,一起讨论,共同进步!~

相关学习资料