iOS13.2测试版除了修复功能外,最大亮点就是Deep Fusion。其实iPhone 11发布会上提到的Deep Fusion一直没有亮相,如今才随着iOS13.2测试版的发布而到来。Deep Fusion究竟是什么?如何开启Deep Fusion功能?Deep Fusion其实是和HDR齐名的摄像功能,叫深度融合,基于AI算法来优化照片细节,减少噪点。开启Deep Fusion能让你的照片在细节上截然不同。下面来看看Deep Fusion的详细介绍。
Deep Fusion是什么?
深度融合的拍照模式。
Deep Fusion功能到底是何方神圣呢?先来看看它的中文名字,它被叫做是“深度融合”,看来又是一款基于AI的黑科技了!据了解,A13 Bionic的神经引擎将赋能Deep Fusion,而Deep Fusion功能将通过机器学习的方式,来对照片的像素进行处理,以此来优化照片每个部分的细节,以及噪点。
Deep Fusion被称为疯狂摄影算法
苹果高级副总裁菲利普·席勒Schiller将其描述为一种“计算机运算拍照技术的疯狂科学”,在你按下快门前就会先拍下8张照片(也就是说有8张照片一直在缓存里),然后再加上按下快门后的一张长曝光照片,通过AI进行“像素对象素”的精确缝合,最后产生出一张高细节、低噪声的照片。
当用户在准备按下快门按钮之前,Deep Fusion功能已经悄悄的帮你拍摄了8张照片,而这8张照片分别为4张短图像以及4张次要图像,在按下快门的时候,Deep Fusion功能又会帮你纪录1张长曝光照片。在连续拍摄了9张照片之后,Deep Fusion会智能的对这9张照片进行融合组合,选取最佳的像素,呈现出更为优质的一张照片,也难怪苹果会将这一功能称之为“疯狂的摄影算法”了!
在被问到Deep Fusion合成一张照片所要的时间时,席勒表示仅需要一秒。
在此前的发布会上,苹果还向我们展示了一张穿着多色毛衣男人的示例图像,通过大量的细节图可以看到,Deep Fusion功能可以带给大家深刻的动态范围以及非常低的噪音,尤其是在纺织物的表现上,效果将更加的明显。
但需要注意的一点是,与夜景模式不同的是,Deep Fusion功能是在背后默默工作的,所以无需要多想,手机将自动为大家拍出好片,这也是手机智能化的一个重要表现。
Deep Fusion诞生的缘由:硬件还不够,软件也用上
苹果花了大力气去提升iPhone11的拍照画质。首先让人注意到的当然是新的三镜头后摄系统,通过三枚没有妥协的1200万像素镜头及改进型感光芯片,光硬件性能就已经让iPhone11拥有比过往任何一代更为优质的成像。
然而苹果认为硬件的提升还不足以让iPhone重回手机拍摄王者的宝座,于是他们利用全新A13仿生处理器超强的人工智能算力,成功打造出三个利用机器学习优化画质的拍照功能,分别是应对高光光宽容度的智能HDR拍照模式、应对中低光量室内拍照的Deep Fusion拍照模式及夜幕下的黑夜拍照模式。
姗姗来迟的Deep Fusion
在iPhone11上市之初,搭载iOS13操作系统的iPhone11默认就支持智能HDR及黑夜模式。但是发布会上被单独列出一节说明的Deep Fusion拍照功能却直到昨天发布的iOS13.2 beta1版后才得以开启,也就是说苹果一直把iPhone11真正拍照实力给封印着,直到将来iOS13.2正式版发布的那天。
在iPhone 11 Pro的拍照功能说明环节进行到一半时,Phil Schiller插入了一个神秘的“功能预告”,表示会在稍晚的时候为旗舰iPhone带来一个名为“Deep Fusion”的新功能。这种先预告功能,之后才上线的事苹果倒不是第一次做了,之前在iPhone 7 Plus的时候,人像模式也是先在发布会上预告,后来iOS 10.1上线时才登场。
事实上,苹果之所以推出Deep Fusion功能,除了提升大家的拍照体验外,但单就“长曝光照片”这点来看,Deep Fusion应该还是主要针对夜拍或HDR而来,而这两点都是Google Pixel的强项,况且单就叠合像素来加强夜拍和HDR效果来说,似乎也和Pixel在做的事情差不多。
当然,技术的细节上两方势必还是会有所不同,而且Google的Pixel 4还没有出招,究竟是谁的AI略胜一筹,看来还要再几个月才能比出个胜负了。
此外,双摄头4K摄录功能也是带给了市场更多的惊喜,简单地说,使用一台iPhone 11 Pro系列手机,即可实现两个机位的作用,即使不能完全取代相机和摄影机,但是也能够带给专业用户更多影像拍摄的选择。
虽然今年的新款iPhone没有紧跟5G的潮流,但是在拍照性能上,iPhone 11系列的确是做到了疯狂堆料,加之聪明的定价策略,iPhone 11系列或许能够扭转苹果在市场上的颓势!
Deep Fusion拍摄模式工作原理
1、当你按下快门时、相机先用较高快门速度捕抓4张短时曝光的照片(把像素冻结下来避免后续使用时产生模糊的影像)。之后再拍摄4张标准曝光时长的照片。而在快门被按下的瞬间,系统还会拍摄一张长时曝光的照片(获得更多暗部细节)。也就是说要完成一张采用Deep Fusion深度融合模式的照片,必须有9张特定的原片素材,如上图。
2、手机把四张正常曝光时长的照片跟最后哪张长曝光照片用某种方式合并,生成一张“合成长时间”素材
3、现在,Deep Fusion深度融合模式会选择一张细节最多的短曝光照片,与上文合成的那张“合成长时间”照片进行合并。
4、A13仿生处理器机器学习开启,以像素级精度开始分析并合并照片。至于融合这两个图像的方式,手机先对画面元素生成一系列权重评估,譬如天空、墙壁和地板等纹理不多的素材分得较低权重,对皮肤、衣服、织品等则给予较高权重,高权重元素会从某一张该元素细节最丰富的短时曝光照片中获得细节、从合成长时间照片里获取色调、颜色和亮度并用最高精度的高画质算法进行融合,而低权重的元素区域估计直接就拿合并长时间图片像素来做或使用低精度的快速算法进行融合(节省资源和时间)。
5、一秒后,所有运算完毕系统生成一张2400万像素的Deep Fusion照片(2.6MB HEIC文件)
从上文来看,首先Deep Fusion拍照模式需要手机进行大量的运算,甚至以A13仿生这么厉害的处理器也需要用1秒时间才能完成。如果你用Deep Fusion模式拍摄了大量照片,它的最终结果并不会立刻于相册里直接显现,而是会先以一张预览图片代替,等Deep Fusion运算完毕后才会用真照片取代预览照片。
这也说明了Deep Fusion无法在突发模式下进行工作,这也是为什么iOS13里弱化了“连拍”模式在相机应用里的位置(我几乎都找不到这个功能在哪里了),就是为了避免跟三个需要高运算量的拍照模式相冲突。或许你也可以这么看,iPhone11是一位以慢打快的内家高手。
iPhone11哪个镜头支持Deep Fusion?
对于同样采用A13仿生处理器的iPhone11、iPhone11 Pro及Pro Max,手机会自动因应环境光暗的不同,让镜头选用合适的模式进行拍摄,但并不是每一颗镜头都支持Deep Fusion拍摄模式。
广角镜头(主镜头)——拍摄环境较为明亮时自动采用智能HDR模式进行拍摄,环境光在中等到偏低时自动采用Deep Fusion模式进行拍摄,环境偏暗时采用黑夜模式进行拍摄。
望远镜头 ——大部分时间使用Deep Fusion模式进行拍摄,只有在拍摄主体非常明亮时选用智能HDR模式进行拍摄。
超广角镜头——大部分时间会选用智能HDR模式进行拍摄,不支持Deep Fusion及黑夜拍摄模式。
iPhone 11系列中的景深镜头对应的是Deep Fusion功能,而超广角镜头主要是使用Smart HDR功能。
由此看来,如果你想体验Deep Fusion神奇的画质增强效果,首先必须是iOS13.2以后的固件版本,然后尽可能使用望远镜头来进行拍摄。
Deep Fusion拍照模式如何开启?
Deep Fusion开启时会有提示吗?怎么知道我是否启用了Deep Fusion拍摄模式?
在iOS13里(至少是目前这一版本固件中),在相机App里只会对镜头启用“黑夜模式“于取景框左上方有明确的标识及功能开关,而Deep Fusion模式则是由系统按环境光量自行判定开启(无法人工干预),也不会在系统画面中做出任何提示。
苹果方面表示不希望用户为了获得“更为清晰的图像”而感到困惑,三种拍照模式都应交由手机AI自动判断并使用,拍照本身就已经代表着手机可以获得的最佳质量。
Deep Fusion模式(工作原理必须有长曝光采样)在高环境光下会失真,在低环境光量下无法工作,所以苹果就用AI判断开启来取代用户手动开启防止可能造成拍摄失败的问题。这也是为什么苹果不在拍照App里提供手动Deep Fusion模式开关的用意。
所以哪怕Deep Fusion模式的确能产生高质量的图像,但用户不要刻意去追求它。如果你一定要追求极致的手机成像,哪么控制你的拍摄主体在适当的光量下是唯一的方法,因为在高光和低光下Deep Fusion的魔法就失灵了。
Deep Fusion在哪里打开?
事实上,延续苹果一贯的概念,也就是尽量让拍摄变得简单,Deep Fusion并没有实质上的“开关”。系统会自动根据拍摄环境来判断是否需要打开Deep Fusion。
在先前,苹果高级副总裁菲利普·席勒也透露,DeepFusion只会在10-600lux下的照度下启动,如果光线低于10 lux,相机激活的则是夜间模式。
外媒The Verge则进一步发现,新iPhone上三颗不同的镜头,实际上打开Deep Fusion的条件是不一样的。
首先广角镜头会在明亮至中光的环境下激活Smart HDR,在中光到暗光的环境下会激活Deep Fusion,而在几乎黑暗的环境下则会激活Night Mode。所以席勒上面所讲以10lux以及600lux作为划分线的激活逻辑,指的应该是使用广角镜头的时候。
其次在使用长焦镜头的时候,仅仅会在非常明亮的环境下才会激活Smart HDR,其余场景则只会使用Deep Fusion。
而最后由于超广角镜头是不支持Deep Fusion以及Night Mode的,所以在该镜头时则只会激活Smart HDR。
和同样通过拍摄多帧照片合成的「夜间模式」不同,Deep Fusion 在相机界面不可见,没有设置项,当相机开始运行时,Deep Fusion 已经在后台运行,最终在机器端生成最终的照片。
Deep Fusion能用在拍视频上吗?
既然Deep Fusion在合适的场景下能大幅提升拍照画质,哪它能用在视频拍摄上吗?答案是否定的,正常的视频一般是30帧,就是一秒里需要拍摄30张照片,以现有A13运算性能处理一张Deep Fusion照片最快也要一秒钟时间,所以在Deep Fusion模式下是肯定不能拍视频的。
使用Deep Fusion模式后画质到底有多大差别
在把iPhone11 Pro Max更新到iOS13.2 beta1后,只要环境光符合,手机默认开启Deep Fusion模式拍照,现在让我们来看看开和没开Deep Fusion模式照片画质到底有多大差别。
同一部手机,拍摄同等位置照片放大来看(其实照片不放大的话,的确差别不明显,但一放大后就)。上图就是原图放大,没做任何锐化或对比度调整,这只要视力正常的人一看就能分辨出差别,一张图如果代表不了什么,请再看。
用的广角镜头,原图裁切放大,没有Deep Fusion的汽车尾牌号都看不清,而Deep Fusion开启后尾牌号码清晰可见,另外代价留意右上方水泥地的质感和细节。
大家留意哪两个水井盖,以及阶梯和白色木门的纹理细节,iPhone11 Pro Max开启和没开启Deep Fusion后的效果差异简直就像是1200万像素的镜头对比500万像素镜头那么大(画质差别至少跨越了4代手机的水平)。
Deep Fusion与Smart HDR区别
1、当你按下快门按钮时,相机已经以快速快门的速度抓拍了四帧;此外它还会通过一个较长曝光的镜头来捕捉细节。
2、这三个常规镜头和长曝光镜头被苹果合并为“合成长曝光镜头”——这是与Smart HDR的一个主要区别。
3、Deep Fusion选取展示细节最多的短曝光图像,并与“合成长曝光镜头”融合。
4、图像还要经过逐像素处理,每个步骤都会针对更多的细节予以调整,其中天空和墙壁处于调整的最低级别,而皮肤、头发、织物等处于最高级别。至于如何融合这两张图片生成一张照片,还需要从一个图像获取细节,从另一个图像获取色调、颜色和亮度,最终展现在消费者面前。
5、生成图像。
使用Deep Fusion 注意事项
1、使用 Deep Fusion 的话记得在相机设置中将超取景框拍摄的开关关闭。
2、Deep Fusion 需要时间处理,虽然只有一秒,但是如果你拍完照片马上切到相册看效果是可以感觉到的,照片初始是模糊的,只有再等一下或者让它抖一下,才会展示正常的清晰照片。
2、Deep Fusion 照片会占用更多空间。
Deep Fusion照片对比
看到这里,大家也明白了为什么DxOmark一早收到了iPhone11的评测样机,但到现在还没放出评分结果的原因了。或许在iOS13.2正式版出来前,他们都不会公布iPhone11/11 Pro的拍照得分,因为Deep Fusion功能对手机拍照画质的提升太过巨大了,你目前使用的iPhone11拍照顶多就发挥出5成功力。与此同时,我们还应该注意到Deep Fusion作为一种软件算法,并且叠加了人工智能的学习完善过程,相信在未来随着iOS固件的升级及手机自身学习的积累,这一拍照功能的成像效果仍将得到优化。
最后,我们打算给你揭露一个意想不到的结果。iPhone11的国内销量将随着iOS13.2正式版(Deep Fusion功能)的上线而逐步降低,甚至到了明年中国可能有一半人(女性)都不会购买这一被网红圈内戏称为“照妖镜”的超清晰拍照手机。于是乎在iOS14里,库克默默给手机加上了彻底关闭Deep Fusion功能的开关,并吩咐团队赶紧研究一个利用人工智能的Deep Beauty功能挽救iPhone12在中国区的销量。
以上就是iPhone更新新的操作系统iOS 13.2测试版带来的Deep Fusion功能的介绍。Deep Fusion是摄影算法,一秒钟内能运算完毕系统生成一张2400万像素的深度融合图片,这张图片由8张图片融合而成。开启Deep Fusion的开关在哪?没有开关。只能由iPhone根据光线自动开启Deep Fusion功能,光线过亮或过暗都不利于Deep Fusion工作。关注教程之家,解锁更多iPhone教程。