新浪科技讯 9月26日午间消息,在杭州举办的云栖⼤会AIGC创新发展论坛上,⻁鲸⽂娱集团AI影视⼯业化算法负责⼈镜⼀发表《影视产业中的⼤模型应⽤探索》演讲,⾸次对外介绍⽬前⻁鲸⽂娱在AI影视⼤模型中的技术进展。
镜⼀表示,“⻁鲸⽂娱与通义万相协同研发的AI影视⼤模型系列,已覆盖前期创意-中期拍摄-后期制作的全流程,助⼒主创团队推出更优质内容。”据了解,⻁鲸⽂娱的AI影视⼤模型包括运镜模型CameraWeaver、⽆穿戴AI⾯部动捕、AI表情增强等技术上的突破,能够帮助影视主创团队在创意阶段快速落地分镜构想、拍摄期间⾼效⽣成3D场景、动漫后期制作⾃动模拟优化微表情。
“尽管⽬前市⾯上已有多个⽂⽣图模型能够相对精细地⽣成图⽚,但在主创更关注的景别、构图视⻆等⽅⾯仍⽆法达到要求。”镜⼀说,针对这⼀难题,⻁鲸⽂娱研发的“影视级⽂⽣图”⼤模型,区别于市⾯通⽤模型追求视觉发散,在影视级要求的精准控制上做了针对性调试,精准解决了主创创意画⾯难落地的⾏业痛点。
“我们希望模型能够精准执⾏主创团队的⽂字指令,所以对模型在景别、构图、视⻆、空间关系等维度设置了严苛的标准,从⽽精准还原创作意图,形成帮助主创的可视化参考,⼤幅提升前期沟通与分镜效率。”镜⼀表示。
镜⼀介绍,在中期拍摄阶段,⻁鲸⽂娱研发了图⽣3D场景技术模型,可⽀持快速⽣成多机位分镜参考图。主创若想查看其他视⻆的分镜效果,⽆需重新绘制2D分镜或搭建3D场景,模型能基于单张图⽚重构3D空间,同步⽣成多视⻆画⾯,还⽀持任意⻆度推拉摇移运镜,帮助主创快速确认空间布局。
在后期层⾯,⻁鲸⽂娱针对动漫还推出了⽆穿戴⾯捕+AI精雕创新⽅案,弥补了⾯部设备⽆法捕捉微表情的缺陷。该方案通过⾃研表情⽣成模型,能够精准还原补全演员微表情与⼝型细节。