用不了多久就要实装了？裙底 偷拍
这个星期，AI 大模子短暂迈上了一个新台阶，竟运行具备操作筹备机的才智！
从 AI 创业公司，科技巨头得手机厂商，都纷纷亮出了我方的新址品。
先是微软发布了生意智能体，随后 Anthropic 推出了升级版大模子 Claude 3.5 Sonnet。它八成字据用户教唆移动光标，输入信息，像东说念主相通使用筹备机。
成人网站
甚而还是有东说念主基于 Claude 3.5 Sonnet 的这个功能拓荒出了考据码破解器具 —— CAPTCHA 这个原来用来分离东说念主类与 bot 的考据机制果决挡不住 AI 了。在 X 用户 @elder_plinius 共享的这个示例中，Claude 打破了 Cloudflare 为 OpenAI 提供的考据码办事，让其深信我方是一个东说念主类，然青年效绽开了 ChatGPT 的聊天窗口。
据先容，其完了起来也十分简单，便是在系统教唆中设定：当看见 CAPTCHA 时，就点击有灰色边框的白色方块中心。
就在统一天，荣耀认真推出了 MagicOS 9，通过 AI 智能体开启了「自动驾驶」手机的新模式。只需要跟语音助手说我重心杯好意思式，AI 就会自动点开好意思团，弃取瑞幸的门店下单，你只需要终末点击付款就不错了。
这时候就有东说念主问了： 鸿蒙什么时候跟进？
其实最近，华为的一些盘考也正在探索这一领域。
咱们知说念，要让 AI 操控手机，基于手机屏幕的 UI 元素等视觉信息来完了是一种十分通用的照拂念念路。用 GPT-4o 和 Claude 等大型模子天然能作念到这少许，但问题在于使用本钱相比高，并且反映速率也欠安，不太适当平淡期骗。
针对这些问题，华为诺亚方舟实验室和伦敦大学学院（UCL）汪军团队提议了一个手机限度架构：Lightweight Multi-modal App Control，即轻量级多模态期骗限度，简称 LiMAC。
论文标题：Lightweight Neural App Control
论文地址：https://arxiv.org/pdf/2410.17883
该架构臆想了 Transformer 收罗和一个微型的微调版 VLM。最初，由一个紧凑型模子（约 500M 参数目）处理任务描画和智高手机状况，该模子不错灵验地处理大部分动作。关于需要天然讲话意会的动作（比如撰写短信或查询搜索引擎），就会调用一个 VLM 来生成必需的文本。这种夹杂措施可减少筹备需求并擢升反映才智，从而可显耀裁减施行时刻（速率可擢升 30 倍，平均每个任务只需 3 秒）并擢升准确度。
LiMAC 框架简介
最初给出界说，关于用户的指标 g 和手机在时刻 t 的状况，LiMAC 会使用 Action Transformer（AcT）来进行处理，以详情一个动作类型 a^type_t。如若瞻望取得的类型是 input-text 或 open-app 中的一个，则将 g、o_t 和 a^type_t 传递给一个经过微调的 VLM，其负责详情具体的动作 a^spec_t。
关于需要「点击」的动作，AcT 会平直处理所有瞻望，但采用了一个不同的教师指标，即对比 UI 元素镶嵌以详情最可能交互的指标。
模子输入
AcT 是负责瞻望动作类型的模子（之后还会点击指标），其是基于一种经典 Transformer 架构构建的。但不同于圭臬 Transformer（其 token 是文本或字符），AcT 的 token 是映射到 Transformer 的隐敝维度的预教师的镶嵌。如图 1 所示。
这些 token 示意了三个重要元素：用户的指标 g、手机屏幕上的 UI 元素 o_{t，i} 和可能的动作。
通过使用这些预教师的镶嵌行为输入，该框架允许模子灵验地拿获用户意图、界面确现时状况和可用动作集之间的联系。在该打算中，每种重要元素（UI 元素、动作和指标）都会被该 Transformer 处理成镶嵌。每种元素的详备编码过程请探询原论文。此外，为了示意时刻信息，该团队还为各个时刻技艺的所有镶嵌添加了一个可学习的位置编码 p_t。
构建输入序列
生成指标、UI 元素和动作镶嵌后，需要将它们组织成一个代表通盘交互事件（episode）的序列。数据集结的每个交互事件都被编码为镶嵌序列 x，然后输入到 Transformer 中。
该序列始于指标镶嵌 e_g，然后是时刻技艺 0 处的 UI 元素镶嵌 e^ui_{0，i}，编码所有 UI 元素之后，将添加一个稀奇的收尾记号 e^end。之后，再加上时刻技艺 0 处的动作类型 e^type_0 和程序 e^spec_0 镶嵌。每个后续时刻技艺都会重叠这一过程：编码 UI 元素、附加 e^end 并添加动作镶嵌。关于具有 H 个时刻技艺的交互事件，最终序列为：
在教师过程中，会将完好序列输入到该 Transformer。关于时刻技艺 t 处的推理，则是处理直到第 t 次不雅察的序列，并使用隐敝状况 h_t（直到 e^end）来瞻望动作。
动作类型瞻望
在该职责经由中，对下一个动作的瞻望始于详情其动作类型。
瞻望动作类型 a^type_t 的任务可被描画为一个分类问题 —— 具体来说，这里包含 10 个不同的动作类型。这些动作类型代表各式可能的交互，举例单击、绽开期骗、向下转换、输入文本或其他基本呐喊。
该团队使用成心的 head 来完了动作类型瞻望。动作类型 head（记为 f_type）可将 Transformer 的最终隐敝状况 h_t（在 e^end token 之后）调节为可能动作类型的概率分散：
此任务的学习指标是最小化瞻望动作类型和实质动作类型之间的交叉熵赔本。给定数据集 D，动作类型瞻望的交叉熵赔本界说为：
使用经过微调的 VLM 生成动作施行中的文本
如上所述，该智能体最初会瞻望动作类型。在十种动作类型中，有两种需要文本：input-text 和 open-app 动作。顾名念念义，input-text 动作便是将文本输入到一个文本框中，而 open-app 动作需要指定要绽开的期骗的称号。
关于这些动作，该团队使用了一个期骗限度数据集来微调 VLM。该数据集以近似字典的神色提供动作数据，举例：{"action-type":"open-app"，"app-name":"Chrome"}，其中一个键对应于动作类型，另一个对应于具体动作。
这个 VLM 的教师指标是生成一个 token 序列并使该序列正确对应于每个动作的生效完成，从而字据每个时刻技艺的不雅察后果优化生成正确 token 的可能性。
在推理过程中，AcT 瞻望动作类型后，它会指点 VLM，作念法是强制模子以瞻望的动作类型运行反映。
举个例子，如若 AcT 瞻望的动作类型是 input-text，则会强制让 VLM 按以下 token 模子运行给出反映：{"action-type":"input-text"，"text":
然后，该 VLM 会不时补全这个具体动作，取得 a^spec_t，这是动作所需的文本内容。完好的动作弃取经由如图 2 所示。
使用对比指标和 AcT 完了高效的点击定位
在先容了何如为文本操作生成操作程序之后，咱们再转向点击操作的情况，其中程序是与之交互的 UI 元素。
为了瞻望点击操作的正确 UI 元素，该措施采用了一种在通盘情节中运行的对比学习措施，使用余弦相似度和可学习的温度参数。由于 UI 元素的数目随时刻步长和情节而变化，因此对比措施比分类更合适，因为分类在处理测试情节中比教师时间看到的更多的 UI 元素时可能会受到类别叛逆衡和为止的影响。
让 h^type_t 成为 Transformer 的终末一个隐敝状况，直到镶嵌 e^type_t ，f_target 是将隐敝状况投影到镶嵌空间的仿射变换。同期，与 UI 元素镶嵌相对应的 Transformer 的隐敝状况（示意为 h^ui）也被投影到斟酌的镶嵌空间中：
假定镶嵌空间位于 ℝ ^d 中，查询镶嵌 q^type_t 的维度为 1 × D，而示意所有 UI 元素的矩阵 p^ui 的维度为 K × D，其中 K 是交互事件中的 UI 元素总额。指标是教师模子，使 q^type_t 与时刻技艺 t 处的正确 UI 元素镶嵌精细对都，使用余弦相似度行为对都度量。为了完了这少许，该团队采用了对比教师时间，并使用 InfoNCE 赔本。咱们最初筹备查询镶嵌 q^type_t 与所有 UI 元素镶嵌之间的相似度矩阵，并通过可学习参数 τ 缩放相似度。缩放余弦相似度矩阵界说为：
其中，
是 p 的每一溜的 L2 范数。 为了简单，这里去掉了上标。 于是，交互事件中 UI 元素弃取的 InfoNCE 赔本的筹备模式如下：
其中，S+ 是 Transformer 的输出与点击操作的正确 UI 元素之间的缩放相似度，S_i 示意输出与所有其他 UI 元素之间的相似度。 在推理过程中，关于每个需要指标元素的操作，都会弃取相似度最高的 UI 元素。 这种对比措施使 AcT 八成通过将情节中的所有其他 UI 元素视为反面示例，灵验地了解在点击操作时间要与哪些 UI 元素进行交互。 余弦相似度的使用侧重于镶嵌的看法对都，而可学习温度 τ 则在教师时间诊疗相似度分散的锐度，从而允许更天真、更精准地弃取 UI 元素。
实验
在实质职责的考据中，作家主要教师了两个开放的手机限度数据集 AndroidControl 和 Android-in-the-Wild（AitW）。 这两个数据集都包含无数东说念主类演示的手机导航，涵盖各式任务。
表 1： 在 AitW 和 AndroidControl 数据集上，模子的平均推理时刻和总体准确度的相比。 该表清晰了每个模子的大小、平均推理时刻（以秒为单元，数字越小越好）以及两个数据集的总体准确度（数字越大越好）。 T3A 和 M3A 是基于 GPT-4 主宰的基线。
下图展示了一些生效和失败的案例。
图 4：黄色示意指标元素（时刻技艺 3），红色示意失败的操作（终末时刻技艺）。在终末时刻技艺中，代理输入文本「底特律」而不是「拉斯维加斯」，这明显污染了指标中所述的旅行的动身地和目的地，导致瞻望失实。
图 5：黄色示意输入文本（时刻技艺 4），举座生效。
要而言之，LiMAC 行为一个照拂期骗程序限度任务的轻量级框架，不错从手机屏幕中索求 UI 元素，并使用成心的视觉和文本模块对其进行编码，然后瞻望下一个操作的类型和规格。
关于需要文本生成的操作，LiMAC 也不错使用经过微调的 VLM 来确保生效完成。将 LiMAC 与由起首进的基础模子赞助的六个基线进行相比，并在两个开源数据集上对它们进行评估。后果标明，LiMAC 不错超过基线，同期在教师和推理方面所需的筹备时刻明显减少。这标明 LiMAC 八成在筹备才智有限委果立上处理任务。
作家示意，当今 AI 主宰手机措施的主要为止在于教师数据有限裙底 偷拍，这就梗阻了模子在更复杂任务上的才智。下一步盘考的指标是通过臆想在线学习时间（举例强化学习）来擢升模子的性能。