I已经会自己操作电脑了，今天聊聊AI能控制电脑后，对我们的影响。
技术介绍
先来看看这篇报道。这篇报道有点旧了，而且是英文的，所以我就不再带大家阅读了。我会把链接放在文章和评论区里。
官方在介绍中，重点介绍了一个创新性的功能：使用计算机，除了效果提升之外。具体来说，开发者可以给予AI访问权限后，Claude-Sonnet能够看到屏幕并不断进行截图，然后计算光标移动的像素，并进行点击和键盘操作。同时，它提供了API可以让开发者进行集成。
在最近两个月的测试中来看，它还没办法形成产品，而还是实验性阶段，看起来不那么聪明。
模型的评估中Claude得分为14.9%，人类水平是70%-75%。所有Claude现在的操作水平看起来还不那么聪明，或者说有点傻。并且现在没办法完成拖动、缩放等操作。但我相信随着AI技术的快速发展，不久的将来，这个功能会进化得很好。
功能原理
这个功能的原理是AI使用了多模态研究，多模态使AI能够看到并解读屏幕内容，然后通过推理进行操作。简单来说，就是开发者给予AI访问权限后，Claude能够看到屏幕并不断进行截图，然后计算光标移动的像素，并进行点击和键盘操作。
如果你做过一些辅助工具，可能对这个流程很了解。但游戏辅助工具只是编写业务逻辑，或者最多是关于业务逻辑的算法。但这个是在AI的加持下可以完成很多场景的操作。
也就是说，原来你需要为每一款游戏编写辅助软件，但现在人工智能可以做出一款适用于所有游戏的辅助软件。
官方也有一段演示视频，我在这里节选了一下，可以看到AI可以依次在电脑上完成阅读Excel，进行CRM应用检索，填写表达并提交。
主观感受
聊聊我如何看待这项技术。我看到这个技术时非常惊讶，因为以前我们使用的AI多是生成式AI，比如让AI给我们写文章，让它生成图片、视频，或者是程序代码。而现在的AI终于可以以人机交互的方式进行工作了。
我记得电影《钢铁侠》中有这么一段内容，就是钢铁侠以语言交流的方式操控AI助手，助手再操控计算机完成机甲的改进。这种场景在未来几年就有可能实现。它已经能像一个人类助手一样，移动光标、点击按钮、输入文本，甚至完成复杂的任务。
那么，当这项技术真正成熟后，会对我们的未来产生哪些影响呢？我觉得有四点。
互联网公司迎来更大规模的裁员。
在2024年，互联网行业已经对程序员、美工进行了大规模裁员，其中或多或少有生成式AI的原因。程序可以自动生成了，图片、UI设计可以自动生成了。但基础行业，比如前台、人力、售后这些岗位还没有大规模裁员，但如果这项技术成熟后，行业会迎来更大的裁员。
人机协作将进入一种新模式。
这项技术将彻底改变人机协作的方式。未来AI不仅仅是执行指令和接受提示词的工具，而是能够主动理解需求、提出建议的合作伙伴。比如我们看到的AI程序员DevIn，它就是未来人工智能交互的雏形。
AI在游戏领域的应用将加速发展。
埃隆·马斯克成立了一家AI公司，如果他的AI公司研发出更高水平的技术，AI在游戏领域的应用将加速发展。它会根据玩家的操作，智能地做出反应。生产新的游戏任务、操作或者奖励。这一切看起来更像是和玩家一起玩游戏。你在游戏中可能会多出几个伙伴，而不会再抱怨不吃鸡是队友太坑了。
可能会带来一定的安全隐患。
现在电脑除了可以做一些日常工作，还有很多战争武器也是被电脑控制的，比如大规模无人机群，导弹精确制导系统……如果人们放开所有的电脑权限交由AI操作。会不会有人训练AI黑客，来攻击这些重要权限的电脑。AI是否会误操作或滥用权限？这些问题需要AI科学家考虑。
总结
虽然现在Claude 3.5操作电脑还不成熟，但我可以看到一些未来的影子。我们也应该更多地去了解AI，关注AI，使用AI。我是一个技术爱好者，做了20多年开发的程序员，没事喜欢叨叨，欢迎你关注我。
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 web0432@126.com