达摩院为什么要自研ISP图像处理器

4月8日报道

4月8日,阿里达摩院宣布推出自研ISP图像处理器,并且在夜间等具有挑战性的环境下图像识别精准率比业界主流产品有10%以上的提升。ISP处理器是摄像头的关键组件,阿里达摩院进入这个领域的逻辑是什么?

推广:猎云银企贷,专注企业债权融资服务。比银行更懂你,比你更懂银行,详情咨询微信:zhangbiner870616,目前仅开通京津冀地区服务。

当时,潘石屹还向外界传递了这样一个信息——有钱了,SOHO中国又要开始拿地了。“下一步可能考虑拿地,还是集中在大城市,一线城市,还有一线城市最繁华的地段。我做这个房地产就认证一条,地段是最重要的。如果没有好的地,就把178亿元银行贷款还一还。还一点好,对公司来说压力小一点。”

可以说相比手机这样的大众消费品,自动驾驶更加需要ISP。因为对于手机来说,ISP只是决定照片质量的好坏,无非是一个观感问题,而在高速运动的车辆上,如果ISP不能准确地将场景特征暴露给后继系统部件,导致的结果就可能会是灾难性的。

对于大家比较熟悉的智能手机日常拍照的场景,手机芯片内置的ISP会进行自动人脸对焦,自动白平衡,自动色调映射等一系列功能,这其中有很多讲究,都会直接影响到最终照片质量,例如ISP的自动图像锐化,如果锐化太多,则照片会有比较明显的“扎眼”的感觉(因为照片中绝大多数物体边缘都被优化的太过于锐利),如果锐化太少,则照片整体会有一种朦胧感,给人的感受是这个手机的拍照系统捕捉细节的能力不足。而众多消费者们每天拍照的场景条件千奇百怪五花八门,没有一种自动锐化技术是放之四海皆准的,ISP必须能够自动地检测识别场景中的一些特征来决定锐化进行到何种程度。这类ISP研发中的难点反应到产品上,就是大家经常会争论的各家智能手机拍照系统的“出片风格”、“出片质量”了。

半年两次异动皆由黑石引发

1月25日,阿里巴巴启动了驰援武汉行动,在投入“抗疫”初期的应急阶段,阿里巴巴经济体便累计投入30亿元,用于包括医疗物资采购、驰援医护人员、支持新冠疫苗研发、打通全球物流绿色通道等各个方面。马云公益基金会和阿里巴巴公益基金会捐赠超2亿件防疫物资,驰援全球150个国家、地区和国际机构抗疫。

据Wind,SOHO中国转型前曾在2012年拿下了近106亿元净利润,但此后便开始走下坡路。总营收则更是走出了一条下降曲线。2013~2018年,SOHO中国的总营收分别是149.24亿元、63.60亿元、14.04亿元、19.62亿元、22.82亿元、20.89亿元,其中2015年的同比降幅达到了77.93%,近八成。

2019年6月28日SOHO中国物业销售推介会现场

观察一家企业的战略,需要一个长时段的维度。从这个角度出发,阿里自研ISP处理器,可能是阿里“芯”战略的关键一步。

去年6月28日,SOHO中国宣布销售位于北京和上海的13个办公物业项目,货值达78亿元。首批交易标的是北京望京SOHO、银河SOHO、建外SOHO三大地标建筑,以及上海SOHO东海广场、SOHO中山广场部分物业,交易方式为资产交易和股权交易两种。对于销售原因,潘石屹当时在发布会现场表示,“持有量太大了”“没有任何资金原因”。

达摩院为什么要自研ISP?

再考虑到自动驾驶系统中应用的电子元器件还有经过车规级验证,难度又更上一层楼。据笔者所知,一些车规级电子元器件需要耐受125度的工作温度,而一般大众消费级市场上的芯片,例如Intel的CPU,只要求100度,接近这个温度就会触发过热保护,电脑会自动掉电重启。与此同时车规级芯片对可靠性也有额外要求,因此可以毫不夸张地说,ISP在整个自动驾驶系统中的地位是至关重要的,ISP的研发也是非常具有技术含量和挑战性的一个领域。

经过20年的发展,阿里从一家电商公司发展成为一家科技巨头公司,并且今天已经开始扮演全社会数字经济的基础设施。今天的阿里不仅在业务范围上进行横向扩张,同时在业务深度上也在进行纵向扩张。所以我们看到过去几年里,阿里进入了芯片等基础研研究领域,成立了达摩院,设立了平头哥半导体公司,并且在量子计算等很多前沿的领域展开研究。

这是SOHO中国半年来第二次股票出现大涨。上一次是2019年10月30日,盘中涨幅一度高至27.07%。

自疫情爆发以来,阿里全员投入抗疫已超100天。张勇在现场向每位为抗疫做出努力的阿里小二致敬:“阿里的文化就是能够相信这世间的真善美。我们愿意去追求这世界上的真善美,愿意为它去努力,为它去抗争,去贡献一份温暖,也能够真正用我们的力量,用我们的创造性,用我们的坚持为世界的发展、为社会的进步、为身边的每个个体的温暖,做出我们的努力。”

而4个月后的2019年10月22日,SOHO3Q被传已将11个位于北京和上海的项目打包卖给筑梦之星,当时SOHO中国方面并未给出明确回复。

例如,由于车辆会处在高速运动当中,所以摄像头拍摄到的照片往往会带有一定的“拖尾”或者“重影”,这对于图像处理系统中的后继算法去识别物体特征是不利的,因此ISP的重要职责之一就是减少这种“拖尾”和“重影”。这在ISP当中是一个非常重要的子领域叫做“运动估计”。

当日,有报道称,SOHO中国正考虑以80亿美元(约627亿港元)出售其在中国的办公大楼。次日早间,SOHO中国在港交所发布公告称,公司不知悉任何需公布的与集团资产出售相关的资料,但亦表示:“在投资物业组合的日常经营管理中,本集团会不时探讨集团所处主要市场的商业地产市场环境及潜在交易机会。”

近年来,受美国制裁影响,伊朗里亚尔汇率不断走低,伊朗黑市美元对里亚尔汇率达到约1比15万。此次通过的修正案旨在促进交易,降低印刷钞票和制造硬币的成本,同时提高货币体系效率。

(阿里巴巴集团采购医疗物资驰援武汉抗疫)

SOHO中国这两次异动皆由黑石集团引发,这一次则提了一个非常理想的报价。

2019年上半年,SOHO中国的营业额约8.89亿元,2018年同期约7.95亿元(剔除已售凌空SOHO租金收入影响),同比上升约11.8%;净利润仅5.65亿元,同比下滑高达48.36%,几近腰斩。

如果真的如潘石屹所说SOHO中国“没有任何资金原因”,那么或许只能解读为,“我今年57岁了”,要开始专心写代码了,也不想再好好做开发商了。

自动驾驶毫无疑问是未来十年中可能带来颠覆性变化的赛道,阿里没有理由缺席,更不要说阿里的很多业务场景也需要自动化升级。而顶级的自动驾驶系统,必然是软件-硬件的配合(人工智能算法 + 传感器),同样也有硬件-硬件间的配合(多传感器融合)。

据《每日经济新闻》记者不完全统计,自2012年宣布转型以来,SOHO中国在过去几年中均有不同程度的大宗交易动作,金额较大的包括84.93亿元将外滩“地王”股权转让给复星,52.3亿元出售上海SOHO海伦广场和静安广场,50.08亿元出售凌空SOHO等,金额合计近300亿元。

唯一不变的是变化。且待阿里“芯”光灿烂。

而据2019年半年报,SOHO中国的非流动资产总和是636.6亿港元,这与外媒报道的出售权益总价几乎持平。

黑石集团与SOHO中国早有交集。2018年4月,SOHO中国前总裁阎岩加入黑石集团亚洲房地产部,出任董事总经理一职。这距离其以“寻求个人发展”为由提出辞职仅仅一个月。

(封面图来自:摄图网)

通俗点说,就是“澄清一下传闻”,目前还没有什么需要公布的资料和内容,但是会时不时看看并讨论交易机会。

颁奖现场,21位阿里员工代表和10支团队代表从阿里合伙人手中接过奖章,他们中有为武汉配送医疗物资的一线物流人员,有疫情期间坚持配送的一线盒马小哥,有紧急开发健康码的程序员,有从全球采购物资驰援疫区的小二……他们是抗疫100天中的阿里员工代表。

再例如,如果是在夜间行车,那么由于当前摄像头传感器技术的限制,夜间的成像往往会暴露比日间成像更多的问题,摄像头传感器为了捕捉更多的场景细节,就不得不延长曝光时间,提高进光量,但这样一来又会带来明显的噪点。例如在这组对比图片中,左图经过处理后明显暴露出了更多的场景信息,树木,草地的细节和边缘都更加清晰锐利,但与此同时在背景的夜空中,在远处的建筑上,都存在着更多的噪点。

不过卖资产属实,拿地恐怕是遥遥无期了,毕竟财务报表的数字实在不是太好看。

根据修正案,土曼将在两年内逐步代替里亚尔。在此期间,政府将收集旧硬币和钞票,并用新硬币和钞票代替。

从公开资料看,阎岩1996加入SOHO中国,此前曾是恒基(中国)助理市场总监。入职SOHO中国的22年里,她历任首席运营官、财务总裁和总裁,负责项目拓展、成本预算控制及全面管理等,是高管里少有的老臣。

潘石屹“卖卖卖”早已不是新鲜事,但去年下半年以来的体量尤其大,市场对其私有化的传闻也愈演愈烈。

据了解,阿里巴巴巴在过去100多天里连续高速运转,全员参与国内和全球抗疫。

十年前的阿里,大众认知里还只有电商淘宝。差不多五年前,大家认知里加上了金融(支付宝),拉近到三年前,大家又接纳了阿里云计算。从达摩院宣布成立到现在短短几年时间,阿里又在极度依赖技术积累的核心硬件领域开始弯道超车,可能用不了几年,大家又会接纳阿里成了一家成功的芯片公司,一家拥有核心技术的新经济基础设施公司。

潘石屹不想做开发商了?

阿里日专为纪念2003年“非典”时期阿里员工家人的无私付出而设立。时刻17年,阿里再次全力投身抗击疫情,张勇说17年的沉淀让阿里巴巴拥有了更大能力去帮助抗疫,不变的是内心对真善美的追求,他用一组数字比较了17年的变与不变,

所以,现在这几个大件已经可以很明显地拼出阿里在芯片战略领域的初步轮廓:阿里将会拿出自研的AliSoC,进一步地与同样正在深耕硬件领域的Google,Amazon等国际顶级厂商展开更多竞争。

对于SOHO中国这一年来在北京力推的丽泽SOHO项目,2019年6月,潘石屹曾向《每日经济新闻》记者表示,计划于当年9月5日拿到竣工备案。对于丽泽区域的价值洼地说法,潘石屹笑称,一开始租金不可能很高,租金不高才能把人才吸引过去,而且体量很大。“望京SOHO最开始每平方米租金才5块钱,现在最高可以租到12块钱。”

5个月后,丽泽SOHO正式投用,潘石屹和张欣共同为项目站台。针对资产打包出售的传闻,潘石屹说:“你去看公告吧,我们已经发公告了。” 这与SOHO中国一贯的公告文风一致,看起来作了澄清,但既不明确说“卖”,也不明确说“不卖”,都给了大家无限的猜测空间。

坊间传言,黑石与SOHO中国的交易,很有可能是由阎岩促成的。

“17年前,阿里巴巴抗击’非典’时的员工数量近800人,17年后阿里巴巴数字经济体有11万人,并且17年前的767人中,这次依然战斗在抗疫中的有160多人。没有过去这些年的积累,在这场疫情面前,我们可能不能行动得那么快。我们确实成长了,我们的成长来自这个时代,来自20年来持续的努力,但是我们真正不变的是阿里的精神,是阿里的文化。”

ISP是图像信号处理器(Image Signal Processor)的简称,目前已经被广泛应用于我们每个人的智能手机当中。大家都知道现在有海量的嵌入式设备都带摄像头,近至我们的智能手机、很多的大众消费级的显示器,当然也包含正在研发当中的智能驾驶系统,以及各种公共场所上的监控设备,远至在近地轨道上运行的众多微型卫星,可以说图像信号的获取和处理是一个极为广泛存在的需求。图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析,并对画面做不同程序的增强和改善。

“过去20年,我们一直致力于数字经济的基础设施建设。经过这场疫情,所有小二都能感同身受,阿里巴巴和社会脉搏的跳动是如此共振,我们融化在整个社会经济、社会生活、城市治理的方方面面。”张勇说,“疫情之后,让我们继续努力。为了我们身边的消费者和客户,为了我们认识或不认识的人,用我们的商业力量、技术力量、创新的思维,为他们服务得更多一点、服务得更好一点。”

从目前接触到的评测结果来看,达摩院的自研ISP已经毫无疑问地跻身业界一流水平,经过自研ISP与深度学习算法的互相配合,夜间场景的识别准确率提升了十个百分点。不要小瞧这十个百分点的提升,这背后有深层算法的创新,对于提升自动驾驶设备的感知能力有着巨大的提升作用。

以现在的智能手机为例,大家几乎每天都会使用自己的智能手机来拍照,而现在的各家智能手机厂商,都并不直接研发摄像头模组,都是采购欧菲光,索尼等第三方厂商的摄像头模组,有时候不同的智能手机用了同一个厂家、同一个型号的摄像头,但是照片呈现出来的质量仍然有非常明显的不同,这很大程度上就是因为各家厂商使用的ISP的好坏导致的。

2019年6月,潘石屹说:“我当年也是做房地产开发的,很活跃的,所以市场上就要不断交易。”

丽泽项目之后,SOHO中国就没有再继续没有打造新的写字楼了。

在当前流行的在自动驾驶系统构架设计中,总的来说一般都会有一个很强的人工智能系统,去判断拍照系统传回的当前场景信息,例如当前场景存在哪些车辆,行人,障碍物,估计速度,估计距离等等。让这个人工智能系统要想实现高度准确判断的前提,是拍照系统传回的当前场景信息尽可能准确无误。

理想的自动驾驶系统需要在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据,这需要算法设计和硬件设计之间的相互配合,与此同时,预知图像传感器的曝光时间极其重要,可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光,这需要硬件与硬件之间的相互配合。因此达摩院选择了自研ISP去追求这一极致。

阿里已经先后发布了自研RISCV CPU,自研AI加速芯片,再加上自研ISP处理器的面世,一颗片上系统芯片(SoC)需要的几大件都摆到了台面上。

5个月后,他发微博表示,“要开始学Python了”,作为给自己的人生礼物。

与此同时,阿里巴巴各事业群也全部投入到抗击疫情、扶助经济的行动中。时隔11年之后,阿里重启“春雷计划”,并推出一系列小微商家金融扶持计划,垫资2000亿为商家提供免费的“0账期”服务, 设立总额200亿元、为期12个月的特别扶助贷款,帮助小微商家渡过难关。

为什么自动驾驶需要ISP?

对此,SOHO中国方面向《每日经济新闻》记者回复称,一切以公告为准。