近年来,人工智能技术取得显著进展,不断涌现出更成熟、更强大的AI产品,并且这些产品正逐渐应用到各行各业的创新发展中来。尤其在桌面操作系统领域,AI技术的深度融合将有机会重新定义人机交互方式。因此,openKylin社区积极拥抱创新,从智能输入、智能输出两方面入手,尝试探索桌面操作系统未来智能交互的发展方向。
PART 1语音助手
openKylin语音助手是一款支持语音指令的智能语音软件,用户可通过语音下达指令,无须键盘输入,即可触发应用功能。
openKylin语音助手服务端采用开源模型库paddlespeech作为语音识别服务,将客户端上传的流式语音进行识别并且返回给客户端;客户端采用Qt的Multimedia模块进行语音识别,然后进行格式封装上传到服务端,根据识别结果处理对应操作。
目前,在openKylin 1.0版本上已实现的主要功能有:
- 识别用户的语音输入;
- 支持快速打开应用。
后续我们会进一步开发,让语音助手能够拥有上下文,并计划扩展更多使用场景,包括:
- 语音搜索:通过语音输入方式快速帮助用户使用全局搜索;
- 天气查询:通过语音输入方式快速帮助用户查看天气状况;
- 语音翻译:通过语音识别和机器翻译技术,将一种语言翻译成另外一种语言;
- 系统设置:通过语音识别对系统亮度、音量等基础设置进行调整。
项目地址:
https://gitee.com/openkylin/kylin-asrassistant
AIFramework SIG地址:
https://gitee.com/openkylin/community/tree/master/sig/AIFramework
PART 2桌面AI大模型插件
openKylin开始尝试对AI大模型产品的生态兼容和系统级融合,探索操作系统的AI智能化发展新路径。目前,已在openKylin软件商店上架推出桌面AI大模型插件,安装后将会在开始菜单里增加AI助手模块,支持使用用户自己申请的AI大模型API Key和Secret Key,调用AI大模型接口,实现在openKylin系统上体验基于大语言模型的聊天机器人功能!
使用说明
1.打开软件商店下载安装桌面AI大模型插件后,重启系统
2.打开开始菜单,进入AI助手模块,如下图所示
备注:前往(
https://cloud.baidu.com/survey/qianfan.html)申请测试Key。
3.输入API Key和Secret Key登录后,即可开始在openKylin系统上体验基于大语言模型的聊天机器人功能!
项目地址:
https://gitee.com/openkylin/ukui-menu
UKUI SIG地址:
https://gitee.com/openkylin/community/tree/master/sig/UKUI
通过不断完善智能输入和智能输出,将使得openKylin操作系统更加智能化,能够更好地适应用户的需求和使用习惯,大幅提升用户体验。后续,随着这些技术的不断发展,也将为未来桌面操作系统的创新和发展提供更多的可能性和机会。欢迎志同道合的伙伴加入我们,携手共建!