一起来看看这个有点酷的新东西吧~
SD与AR一起玩首先,拿起手机,然后随意选择一堵墙,透过屏幕界面锁定它:

选定一块心仪区域,把它圈起来,全部涂黑。

输入提示词:
一只可可爱爱的小猫咪,涂鸦风格,数字艺术
接着点击输入框下方的Diffusion按钮,直接快进到见证奇迹的时刻。

此时,无论从哪个角度看,墙上都有一幅《喵娜丽莎》在微笑地看着你了。
这个视频,是小哥利用火到没边、门槛又低的Stable Diffusion,结合WebAR,搞出的第一个实验产品。
他在评论区和围观网友讨论了具体的工作流程。
第一步,冻结帧,把它作为生成图像的表面纹理,并让它拥有世界定位和设备跟踪相机。
第二步,向服务器发送API请求,并附上冻结帧(图像)和文本提示(Stable Diffusion)。
整个工作中,将Stable Diffusion嵌入现实世界是利用AR完成的。
关于绘制纹理,小哥则使用了Raycast(一款完全可扩展的快捷启动器)。
整个过程简单利落,引发了网友新的思考。
目前有很多有趣的NPU(嵌入式神经网络处理器)硬件,手机的共享内存也超过12GB。
在这个前提下,如果Stable Diffusion和AR一起玩这个工作能在本地运行,并且能够快到在类似的请求时间内,完成整个512x512图像生成,并在更快的AI上运行升级,一定非常有趣。

