跳到主要内容

介绍两个好玩的AI开源项目:MiniGPT-4和AnimatedDrawings

· 阅读需 4 分钟
backendcloud

MiniGPT-4

MiniGPT-4支持图片输入,对图片做做描述。MiniGPT-4是一个具有图像理解能力的开源聊天机器人,基于+Vicuna-13B+LLM+和+BLIP-2视觉语言模型。

最近很火爆的ChatGPT以及期背后的GPT3.5 GPT4,其中GPT4虽说支持多模态,但是多模态至今日(2023年04月19日)一直没有开放,小规模公测都没开放。所以,我们可以先用MiniGPT-4来玩玩。

官网给了火烈鸟的例子:

这个Logo设计简单而不失时尚感,以粉色线条勾勒出一只单脚站在水中的火烈鸟形象。整个设计干净简洁,易于辨识,适用于多种场合,比如用于海滨度假村的Logo或者是火烈鸟主题活动的标志。以火烈鸟作为象征,增加了一份趣味和活泼感,让整体设计更加富有记忆性和吸引力。总的来说,这是一个设计良好的Logo,能够有效地传达品牌的信息。

笔者觉得大多数人类也做不到这种水准的对图片的描述。

开源代码放在 https://github.com/Vision-CAIR/MiniGPT-4

可以去官网在线体验 MiniGPT-4的官网 https://minigpt-4.github.io/

笔者体验了下,确实可以输入图片,然后生成描述。但是,现在用的人太多,排队太长了,每个问题都要排队很长时间,要点耐心。

AnimatedDrawings

Animated Drawings 是一个可以将绘画作品转换成动画的项目,这个项目旨在成为一个有用的创造性工具,允许你灵活地创造动画,让你自己画的人物成为主角。

在线体验官网 https://sketch.metademolab.com/canvas

开源代码放在 https://github.com/facebookresearch/AnimatedDrawings

这不是新出的项目,几年前就开放在线体验了。只是最近各种人工智能项目很火且都有开源趋势,该项目最近才开放了源代码。

笔者体验了下,确实可以将绘画作品转换成动画。分别用了demo的图片和自己画了个图片,都可以,但是在线体验的只有固定的几套动作。如果想要更多的动作,以及更多的场景背景,可以自己安装在本地,然后就可以随意创作了。有了AI的帮助,将来动画创作就更加容易了。

X Studio 3

介绍的第三个项目 X Studio 3 虽不是开源的,但是,是一款AI辅助歌曲创作软件。最近AI绘图工具很火很多,比如 Dall-E 2,midjourney,Stable Diffusion等等,但是AI音乐制作工具比较少见,所以特别介绍一下,有音乐基础的读者可以玩一玩。

X Studio 3 是一款国产的是一款专业的虚拟歌手软件,这款软件能够帮助用户轻松进行各种歌曲的创作,能够提升大家的音乐制作体验,降低音乐创作的门槛。

官方下载地址 https://singer.xiaoice.com/