核心提示:【導語】自動駕駛有望帶來深遠的好處:提高燃油效率、縮短行車時間、提高乘客體驗和工作效率,讓可能無法開車的老人和殘疾人自
【導語】自動駕駛有望帶來深遠的好處:提高燃油效率、縮短行車時間、提高乘客體驗和工作效率,讓可能無法開車的老人和殘疾人自由駕駛,以及最重要的提高道路安全。
由于技術復雜性、商業(yè)可行性以及監(jiān)管挑戰(zhàn)等將自動駕駛汽車成為主流的時間一再推遲。對于什么時間、什么方式去實現(xiàn)自動駕駛,尤其是實現(xiàn)自動駕駛的商業(yè)化場景落地,業(yè)內(nèi)尚未統(tǒng)一觀點,于自動駕駛產(chǎn)業(yè)鏈上的各家企業(yè)而言,汽車智能化仍是一個遠大前程與至暗時刻并存的灰色時期。
汽車產(chǎn)業(yè)革命上半場電動化,下半場智能化已是行業(yè)共識,但讓人始料未及的是,半場間的切換來得如此猝不及防。一個新版圖也在這種跨界探索中徐徐展開,給汽車產(chǎn)業(yè)帶來新鮮空氣,也卷入了泥沙。對于參賽者而言,在奔向商業(yè)化成功的路上陷入了一些誤區(qū)和陷阱。
01算力堆不出自動駕駛
行業(yè)需要思考一個問題是:在“軟件定義汽車”的情況下,解決智能駕駛系統(tǒng)計算平臺的支撐問題,是否只能通過算力堆疊來實現(xiàn)?
筆者認為:提升硬件很重要,但不能陷入“唯算力論”的怪圈。
決定算力真實值最主要因素是內(nèi)存帶寬,還有實際運行頻率(即供電電壓或溫度),以及算法的batch尺寸。
谷歌第一代TPU,理論值為90TOPS算力,最差真實值只有1/9,也就是10TOPS算力,因為第一代內(nèi)存帶寬僅34GB/s
第二代TPU下血本使用了HBM內(nèi)存,帶寬提升到600GB/s(單一芯片,TPU V2板內(nèi)存總帶寬2400GB/s)
英偉達的A100使用40GB的2代HBM,帶寬提升到1600GB/s,比V100提升大約73%
特斯拉是128 bitLPDDR4-4266,內(nèi)存帶寬:2133MHz*2DDR*128bit/8/1000=68.256GB/s。比第一代TPU略好(這些都是理論上的最大峰值帶寬),大約8TOPS
為什么會這樣?這就牽涉到MAC計算效率問題。
如果你的算法或者說CNN卷積需要的算力是1TOPS,而運算平臺的算力是4TOPS,那么利用效率只有25%,運算單元大部分時候都在等待數(shù)據(jù)傳送,特別是batch尺寸較小時候,這時候存儲帶寬不足會嚴重限制性能。但如果超出平臺的運算能力,延遲會大幅度增加,存儲瓶頸一樣很要命。效率在90-95%情況下,存儲瓶頸影響最小,但這并不意味著不影響了,影響依然存在。然而平臺不會只運算一種算法,運算利用效率很難穩(wěn)定在90-95%。這就是為何大部分人工智能算法公司都想定制或自制計算平臺的主要原因,計算平臺廠家也需要推出與之配套的算法。
自動駕駛芯片的競爭壁壘在于算力利用率和可用性。算力不能說無限增長,芯片PPA(功耗、成本和面積)都是很要命的。對于車載AI芯片來說,算力指標重要,能效比更重要。
以英偉達的芯片為例,它GPU的功耗是最高的。Orin、Xavier的利用率基本上是30%,怎樣優(yōu)化基本都是30%。不同于英偉達的GPU方案,高通、mobileye、華為,包括國內(nèi)這些創(chuàng)業(yè)公司都走的是ASIC路線。ASIC芯片針對不同的神經(jīng)網(wǎng)絡模型去優(yōu)化,基本上可以做到60%~80%之間,好一點的可能會做到80%再高一些。
芯片算力的無限膨脹和硬件預埋不會是未來的趨勢。此外,車企面對的消費端是不是立刻就需要那么高端的算力呢?也不見得。自動駕駛算力主要是體現(xiàn)在感知層面的融合,對于L3 100~200已經(jīng)夠了,對于L4可能需要200~300,更關鍵是怎么用算力,不是說越多越好,如果要做1000,其實是沒有必要,并且高算力背后高功耗和低利用率問題愈發(fā)嚴重。
02算力比拼的終點:事件相機
當今自動駕駛領域所運用的視覺識別算法,基本上都基于卷積神經(jīng)網(wǎng)絡,視覺算法的運算本質(zhì)上是一次次的卷積運算。這種計算并不復雜,本質(zhì)上只涉及到加減乘除,也就是一種乘積累加運算。但這種簡單運算在卷積神經(jīng)網(wǎng)絡中是大量存在的,這就對處理器的性能提出了很高的要求。
以ResNet-152為例,這是一個152層的卷積神經(jīng)網(wǎng)絡,它處理一張224*224大小的圖像所需的計算量大約是226億次,如果這個網(wǎng)絡要處理一個1080P的30幀的攝像頭,他所需要的算力則高達每秒33萬億次,十分龐大。
實際上自動駕駛領域99%的視覺數(shù)據(jù)在AI處理中是無用的背景。這就好像檢測鬼探頭,變化的區(qū)域是很小一部分,但傳統(tǒng)的視覺處理仍然要處理99%的沒有出現(xiàn)變化的背景區(qū)域,這不僅浪費了大量的算力,也浪費了時間。亦或者像在沙礫里有顆鉆石,AI芯片和傳統(tǒng)相機需要識別每一顆沙粒,篩選出鉆石,但人類只需要看一眼就能檢測到鉆石,AI芯片和傳統(tǒng)相機耗費的時間是人類的100倍或1000倍。
事件相機的工作機制是,當某個像素所處位置的亮度發(fā)生變化達到一定閾值時,相機就會回傳一個上述格式的事件,其中前兩項為事件的像素坐標,第三項為事件發(fā)生的時間戳,最后一項取值為極性(polarity)0、1(或者-1、1),代表亮度是由低到高還是由高到低,也常被稱作Positive or Negative Event,又被稱作On or Off Event。
就這樣在整個相機視野內(nèi),只要有一個像素值變化,就會回傳一個事件,這些所有的事件都是異步發(fā)生的(再小的時間間隔也不可能完全同時),所以事件的時間戳均不相同,由于回傳簡單,所以和傳統(tǒng)相機相比,它具有低時延的特性,可以捕獲很短時間間隔內(nèi)的像素變化,延遲是微秒級的。
事件相機的靈感來自人眼和動物的視覺,也有人稱之為硅視網(wǎng)膜。生物的視覺只針對有變化的區(qū)域才敏感,比如眼前突然掉下來一個物體,那么人眼會忽視背景,會將注意力集中在這個物體上,事件相機就是捕捉事件的產(chǎn)生或者說變化的產(chǎn)生。在傳統(tǒng)的視覺領域,相機傳回的信息是同步的,所謂同步,就是在某一時刻t,相機會進行曝光,把這一時刻所有的像素填在一個矩陣里回傳,一張照片就誕生了。一張照片上所有的像素都對應著同一時刻。至于視頻,不過是很多幀的圖片,相鄰圖片間的時間間隔可大可小,這便是我們常說的幀率(frame rate),也稱為時延(time latency)。事件相機類似于人類的大腦和眼睛,跳過不相關的背景,直接感知一個場景的核心,創(chuàng)建純事件而非數(shù)據(jù)。
除了冗余信息減少和幾乎沒有延遲的優(yōu)點外,事件相機的優(yōu)點還有由于低時延,在拍攝高速物體時傳統(tǒng)相機會發(fā)生模糊(由于會有一段曝光時間),而事件相機幾乎不會。再就是真正的高動態(tài)范圍,由于事件相機的特質(zhì),在光強較強或較弱的環(huán)境下(高曝光和低曝光),傳統(tǒng)相機均會“失明”,但像素變化仍然存在,所以事件相機仍能看清眼前的東西。
傳統(tǒng)相機的動態(tài)范圍是無法做寬的,因為放大器會有線性范圍,照顧了低照度就無法適應強光,反過來適應了強光就無法顧及低照度。事件相機在目標追蹤、動作識別等領域具備壓倒性優(yōu)勢,尤其適合自動駕駛領域。
空中扔一個球,看看兩種相機的軌跡記錄:
事件相機的出現(xiàn)對高算力AI芯片是致命打擊,它只需要傳統(tǒng)高算力AI芯片1%甚至0.1%的算力就可完美工作,功耗是毫瓦級。事件相機基于流水線時間戳方式處理數(shù)據(jù),而不是一幀幀地平面處理各個像素。傳統(tǒng)卷積算法可能無用,AI芯片最擅長的乘積累加運算可能沒有用武之地。為了準確檢測行人并預測其路徑,需要多幀處理,至少是10幀,也就是330毫秒。這意味著相關系統(tǒng)可能需要數(shù)百毫秒才能實現(xiàn)有效探測,而對于一輛以60公里每小時行進中的車輛來說,330毫秒的時間就能行駛5.61米,而事件相機理論上不超過1毫秒。
03車路協(xié)同是偽命題
自動駕駛的技術路線從廣義上看分為兩種:
一是單車智能,通過攝像頭、雷達等傳感器以及高效準確的算法,賦予車輛自動駕駛的能力
二是車路協(xié)同,主要通過5G和高精地圖,來感知路況從而具備無人駕駛功能
不同于單車智能,車路協(xié)同更多追求通過車輛與周遭事物的互聯(lián)來實現(xiàn)自動駕駛。再加上很火熱的 5G 概念(更快的峰值網(wǎng)絡傳送速率能讓通訊更快捷)加持,通過車路協(xié)同來實現(xiàn)自動駕駛似乎更可期了。但是,現(xiàn)實似乎并非如此。
首先是交通系統(tǒng)屬性發(fā)生了變化。車路協(xié)同使車輛中原本在傳統(tǒng)交通系統(tǒng)中不易顯現(xiàn)特性凸現(xiàn)出來,如自組織、網(wǎng)絡化、非線性、強耦合、泛隨機及異粒度,由此導致傳統(tǒng)交通流的研究方法已經(jīng)不再適用
其次是交通的組織成分發(fā)生了變化。隨著車路協(xié)同的發(fā)展,網(wǎng)聯(lián)汽車應運而生,加之自動駕駛引進,在自動駕駛車和人駕駛車長期共存的場景下,需要的模型將更加復雜
再次是交通系統(tǒng)的邊界問題,按照交通的結(jié)構(gòu),交通系統(tǒng)中沒有了主次之分,沒有統(tǒng)一目標,只要有人存在的地方就有交通系統(tǒng),因此交通系統(tǒng)將被視為開放的復雜系統(tǒng)
站在車企的角度,單車智能顯然更為重要。短期內(nèi)車路協(xié)同不可能普及,作為汽車產(chǎn)品,既要賣到國內(nèi)也要賣到國外,既要符合城市道路需求,也要面向鄉(xiāng)村道路,過于依賴車路協(xié)同,無疑是自我束縛。
以高速公路車路協(xié)同系統(tǒng)來看,在感知層面主要分為兩類:車端感知和路端感知。路端感知一般采用攝像頭、毫米波雷達、激光雷達、各類環(huán)境傳感器來實現(xiàn)信息采集,同時還有信號燈、交通標識線等交通設施輔助;車載端同樣也需要一定的協(xié)同設備,接收相關信息;并使用 4G、5G、有線光纖等進行通訊;此外,還需要管控平臺,通過布置在車端、路端以及云端的計算平臺進行復雜系統(tǒng)信息融合和數(shù)據(jù)分析。
從感知上來看,智慧的路只有范圍夠大才能真正起到協(xié)同作用,但是目前的狀態(tài)是車路協(xié)同的覆蓋有限,路端設備的集成度不高。
目前路端監(jiān)測設備主要用的是攝像頭,但是在最需要信息時,攝像頭可能沒法提供信息,比如極端天氣(大雨、大霧等)。如果換用激光雷達,雖然可靠性上來了,但是成本高且壽命有限,路側(cè)激光雷達壽命不超過 1 年。
NR-V2X關鍵技術仍需驗證、帶寬需求有待研究、頻譜規(guī)劃有待確定等這些問題依然是車路協(xié)同落地的障礙。此外,有很多地方即便有智慧公路,可以收集到大量數(shù)據(jù),但是卻面臨數(shù)據(jù)不知道如何處理的問題,路端傳感器如何布置也沒有形成統(tǒng)一標準。
04車路協(xié)同商業(yè)模式走不通
根據(jù)《2020年交通運輸行業(yè)發(fā)展統(tǒng)計公報》,截至2020年末,全國公路總里程519.81萬公里,其中四級及以上等級公路里程494.45萬公里,二級及以上等級公路里程70.24萬公里。國道里程37.07萬公里,省道里程38.27萬公里。農(nóng)村公路里程438.23萬公里,其中縣道里程66.14萬公里、鄉(xiāng)道里程123.85萬公里、村道里程248.24萬公里。
考慮到農(nóng)村公路往往限速較低、車流稀少,除交叉路口外,配置車路協(xié)同感知系統(tǒng)的必要性不大,可先只考慮二級及以上等級公路或國省干線,總里程約70萬公里。倘若按照高速公路的標準,為之鋪設感知系統(tǒng),考慮到彎道及隧道等特殊情況,按每100米一個點位配置(大部分國省干道可只設單側(cè)感知),則每公里投資約為50萬,則全國范圍國省干道感知網(wǎng)絡建設成本約為3500億。
從商業(yè)運營上看車路協(xié)同是一個偽需求,商業(yè)模式上走不通。一公里的改造費用6個億人民帀,這個錢政府可以出,但是做了這條路,不能要求主機廠去裝—個2000-3000塊錢的OBU。為了所謂的車路協(xié)同,增加每個車的成本2000-3000政府的基建,要做這個路,車路協(xié)同的設備,做完了就完了,但是沒人跟。
以上海的這個開放道路測試區(qū)為例,73 公里的里程布置了 182 個路側(cè)單元,平均下來,每公里 2.5 個,這還只是示范區(qū),如果整個智慧的路布置下來,成本不會低。
我們一直都說有 5G 加持的車路協(xié)同將創(chuàng)造更大的價值,但是有沒有考慮到 5G 的實現(xiàn)難度有多大。
5G 雖然速度快,但是能夠輻射范圍很小,要想完成同等范圍的輻射范圍,5G 基站至少是 4G 的 2-3 倍。而且建造成本不低,一個 5G 基站就需要需要 50 萬-60 萬左右(至少),而且 5G 基站功耗很高,之前就有新聞報道,洛陽聯(lián)通在夜間休眠部分 5G 基站,以降低電費成本。根據(jù)中國鐵塔的數(shù)據(jù),單個 5G 基站單租戶年綜合電費約 2.3-3 萬元/年。
而對于 5G V2X 來說,需要完成規(guī)模覆蓋才能真正起到車路協(xié)同的作用。所以,實際上 5G-V2X 的推進難度要比想象中大的多。
05壟斷和數(shù)據(jù)安全:車聯(lián)網(wǎng)正被互聯(lián)網(wǎng)化
入局車路協(xié)同的熱潮發(fā)生在2018年,這一年互聯(lián)網(wǎng)大廠動作頻繁,讓沉寂在造車背后的車路協(xié)同走上了臺前。
這一年,時任百度智能駕駛事業(yè)群組總經(jīng)理的李震宇在媒體溝通會上宣布,將正式開源Apollo車路協(xié)同方案,向業(yè)界開放百度Apollo的技術和服務。
同年九月的云棲大會上,阿里成立的“2038超級聯(lián)盟”,把包括交通部公路院、國家電網(wǎng)、中國聯(lián)通、一汽集團、英特爾、福特汽車等多方力量集合起來打造智慧高速,不過阿里的車路協(xié)同是在自家的封閉系統(tǒng)下搭建的。
在阿里的實踐中,阿里云承擔搭建云控平臺的任務,為車路協(xié)同場景提供全局掌控能力;AliOS搭建車路云協(xié)同計算系統(tǒng),完成車路協(xié)同的具體能力;達摩院負責研制路測要安裝的感知硬件,同時,高德、千尋等提供高精度地圖,支付寶解決高速支付場景,在加上菜鳥聯(lián)盟和ET城市大腦的場景支持,阿里在自家的生態(tài)體系內(nèi)建立的“封閉”的車路協(xié)同生態(tài),足以看見他的野心。
一直處于觀望態(tài)度的騰訊也在之后姍姍來遲,依然是平臺化的輕運營模式,把自身定位劃為車和路的連接器。在單車智能和道路智能化后,依賴騰訊平臺的大數(shù)據(jù)支撐,面向C端發(fā)展。
和BAT一同在場的,還有華為,在最初的智能汽車領域偏向通信運營商的角色。基于自身的ICT技術,華為早年間的布局多在車路協(xié)同的基礎設施建設上,提供智能硬件產(chǎn)品。但在2018年底也開始了BAT賣解決方案,賣軟件的的打法,推出了“TrafficGo1.0”,對標阿里的城市大腦,百度的ACE智能交通引擎,以及騰訊的“We Transport”。
如果將車路協(xié)同比作是一場叢林探險的話,車路協(xié)同企業(yè)應該可以被分為五大陣營:以BAT為代表的互聯(lián)網(wǎng)科技企業(yè);以華為為代表的ICT企業(yè);還有汽車供應商、車路協(xié)同方案解決商以及以福特為主的汽車主機廠。在同一陣營之中,各個大廠也都在順應自己的優(yōu)勢選擇對應的道路,路的盡頭則是豐厚的報酬。
據(jù)統(tǒng)計,目前我國的汽車保有量為3.8億輛。其中,智能網(wǎng)聯(lián)汽車數(shù)量快速增加。預計到2022年,智能網(wǎng)聯(lián)汽車數(shù)量將會超過7800萬輛;鶖(shù)龐大的同時,數(shù)據(jù)產(chǎn)生的速度也相當迅猛。隨著感知技術、自動駕駛技術等相繼成熟,未來的智能網(wǎng)聯(lián)汽車,其智能網(wǎng)聯(lián)、智能駕駛等每天產(chǎn)生的新增數(shù)據(jù),可能得按照TB來計算。
海量的數(shù)據(jù),并非全部有效,但是經(jīng)過篩查、加工,會產(chǎn)生極大的利用價值。善加利用數(shù)據(jù)自然會是未來智能駕駛的“蜜糖”,但令我們擔心的是,隨著資本的介入,“蜜糖”成了“砒霜”,對數(shù)據(jù)的妥善利用可能會逐漸轉(zhuǎn)向挪用、濫用,甚至成為資本搜刮信息、進一步增值的工具。
涉車服務和后市場隨著近年發(fā)展商業(yè)模式逐漸升級豐富:
數(shù)據(jù)變現(xiàn):車聯(lián)網(wǎng)帶來車載和道路數(shù)據(jù)的豐富,為數(shù)據(jù)變現(xiàn)打開了新的方向
通過采集用戶的行車駕駛數(shù)據(jù),可以實現(xiàn)更精準的保險定價,從而幫助保險公司精準衡量風險
二手車交易、汽車貸款等角度也可成為數(shù)據(jù)變現(xiàn)的潛在模式
廣告引流:車聯(lián)網(wǎng)設備能夠占據(jù)用戶的一定使用時長,從而得到一定的流量。針對這些流量可以采用展示廣告的方式進行變現(xiàn)。此外,也可將流量導向和車主相關的服務項目,如汽車美容等
乘用車市場圍繞V2N場景的廣播、地圖導航等輔助駕駛APP類商業(yè)產(chǎn)品正逐步成熟。眾多涉車服務和后市場服務,如網(wǎng)約車、保險、汽車美容、二手車等由于移動互聯(lián)網(wǎng)的迅猛發(fā)展也得以百花齊放。那么問題來了,隨著車聯(lián)網(wǎng)市場的繼續(xù)發(fā)展,百花齊放會不會也變成寡頭壟斷?
2021年2月份,博泰車聯(lián)網(wǎng)舉報騰訊壟斷,打響了車聯(lián)網(wǎng)反壟斷第一槍,至今依然沒有實質(zhì)性結(jié)論。博泰車聯(lián)網(wǎng)和上汽通用五菱就騰訊涉嫌壟斷一事共同向國家市場監(jiān)管總局反壟斷局提交了反壟斷舉報書。
隨著V2X的興起,整車廠原來在汽車行業(yè)的主導地位受到了挑戰(zhàn)。由于缺乏互聯(lián)網(wǎng)等跨界技術的積累,不得不與互聯(lián)網(wǎng)、科技公司合作,但競爭中整車廠也在不斷布局新技術,試圖在汽車智能化的過程中繼續(xù)掌握主導權(quán)。隨著行業(yè)競爭的愈加激烈,車企與科技公司、互聯(lián)網(wǎng)巨頭之間的技術競備賽已經(jīng)升級到話語權(quán)的爭奪,從幾年前的暗潮涌動發(fā)展為現(xiàn)在的對簿公堂。
這些汽車工業(yè)的“闖入者們”,帶著智能化的風,改變著汽車的屬性,試圖讓傳統(tǒng)汽車的世界變得不再枯燥無味,而是充滿了無限可能性,與此同時,變革者也帶來了互聯(lián)網(wǎng)的很多壞基因,最為突出的當屬數(shù)據(jù)壟斷和信息安全,互聯(lián)網(wǎng)時代踩過的雷,恐怕也會革了車聯(lián)網(wǎng)的命。
06寫在最后
現(xiàn)在的AI本質(zhì)上還是一種蠻力計算,依靠海量數(shù)據(jù)和海量算力,對數(shù)據(jù)集和算力的需求不斷增加,這顯然離初衷越來越遠。
文明的每一次進步都帶來效率的極大提高,唯有效率的提高才是進步,而依賴海量數(shù)據(jù)和海量算力的AI則完全相反,效率越來越低,事件相機才是正確的方向。
自動駕駛的未來,單車智能還是車路協(xié)同?
從技術操作上,一個比較現(xiàn)實的問題是,車路協(xié)同并不是所有的區(qū)域都能做,比如農(nóng)村,如果要大量鋪設支持車路協(xié)同的智能化基礎設施,明顯不經(jīng)濟。另外還有國外是否接受這種路線,并大規(guī)模鋪設相關的基礎設施,也存在極大的不確定性。
對于車廠來說,開發(fā)的汽車顯然不能只適用于特定區(qū)域——除非是專門研發(fā)特定用途汽車的企業(yè),而是應該同時滿足城市、鄉(xiāng)村、國內(nèi)、國外等多個不同市場的需求,這種情況下單車智能路線顯然更合適。
從商業(yè)模式上,車路協(xié)同耗資巨大,百億甚至千億級別,投入如此資金卻僅僅只能在高速、省干道實現(xiàn)自動駕駛,實在得不償失。并且建成后后期的維護運營成本巨大,難以長久。
車路協(xié)同更多的是解決路權(quán)分配的問題,把大數(shù)據(jù)流量和車鏈接起來就可以了,沒有必要做得那么復雜,重點還是依賴于車端。
單車智能還遠遠沒有達到其頂峰,在物理規(guī)則之內(nèi),我相信沒什么是目前看起來單車智能攻克不了,而必須要通過V2X來解決。對于自動駕駛甚至無人駕駛,車路協(xié)同是錦上添花的事情,單車智能才是必經(jīng)之路。
由于技術復雜性、商業(yè)可行性以及監(jiān)管挑戰(zhàn)等將自動駕駛汽車成為主流的時間一再推遲。對于什么時間、什么方式去實現(xiàn)自動駕駛,尤其是實現(xiàn)自動駕駛的商業(yè)化場景落地,業(yè)內(nèi)尚未統(tǒng)一觀點,于自動駕駛產(chǎn)業(yè)鏈上的各家企業(yè)而言,汽車智能化仍是一個遠大前程與至暗時刻并存的灰色時期。
汽車產(chǎn)業(yè)革命上半場電動化,下半場智能化已是行業(yè)共識,但讓人始料未及的是,半場間的切換來得如此猝不及防。一個新版圖也在這種跨界探索中徐徐展開,給汽車產(chǎn)業(yè)帶來新鮮空氣,也卷入了泥沙。對于參賽者而言,在奔向商業(yè)化成功的路上陷入了一些誤區(qū)和陷阱。
01算力堆不出自動駕駛
行業(yè)需要思考一個問題是:在“軟件定義汽車”的情況下,解決智能駕駛系統(tǒng)計算平臺的支撐問題,是否只能通過算力堆疊來實現(xiàn)?
筆者認為:提升硬件很重要,但不能陷入“唯算力論”的怪圈。
決定算力真實值最主要因素是內(nèi)存帶寬,還有實際運行頻率(即供電電壓或溫度),以及算法的batch尺寸。
谷歌第一代TPU,理論值為90TOPS算力,最差真實值只有1/9,也就是10TOPS算力,因為第一代內(nèi)存帶寬僅34GB/s
第二代TPU下血本使用了HBM內(nèi)存,帶寬提升到600GB/s(單一芯片,TPU V2板內(nèi)存總帶寬2400GB/s)
英偉達的A100使用40GB的2代HBM,帶寬提升到1600GB/s,比V100提升大約73%
特斯拉是128 bitLPDDR4-4266,內(nèi)存帶寬:2133MHz*2DDR*128bit/8/1000=68.256GB/s。比第一代TPU略好(這些都是理論上的最大峰值帶寬),大約8TOPS
為什么會這樣?這就牽涉到MAC計算效率問題。
如果你的算法或者說CNN卷積需要的算力是1TOPS,而運算平臺的算力是4TOPS,那么利用效率只有25%,運算單元大部分時候都在等待數(shù)據(jù)傳送,特別是batch尺寸較小時候,這時候存儲帶寬不足會嚴重限制性能。但如果超出平臺的運算能力,延遲會大幅度增加,存儲瓶頸一樣很要命。效率在90-95%情況下,存儲瓶頸影響最小,但這并不意味著不影響了,影響依然存在。然而平臺不會只運算一種算法,運算利用效率很難穩(wěn)定在90-95%。這就是為何大部分人工智能算法公司都想定制或自制計算平臺的主要原因,計算平臺廠家也需要推出與之配套的算法。
自動駕駛芯片的競爭壁壘在于算力利用率和可用性。算力不能說無限增長,芯片PPA(功耗、成本和面積)都是很要命的。對于車載AI芯片來說,算力指標重要,能效比更重要。
以英偉達的芯片為例,它GPU的功耗是最高的。Orin、Xavier的利用率基本上是30%,怎樣優(yōu)化基本都是30%。不同于英偉達的GPU方案,高通、mobileye、華為,包括國內(nèi)這些創(chuàng)業(yè)公司都走的是ASIC路線。ASIC芯片針對不同的神經(jīng)網(wǎng)絡模型去優(yōu)化,基本上可以做到60%~80%之間,好一點的可能會做到80%再高一些。
芯片算力的無限膨脹和硬件預埋不會是未來的趨勢。此外,車企面對的消費端是不是立刻就需要那么高端的算力呢?也不見得。自動駕駛算力主要是體現(xiàn)在感知層面的融合,對于L3 100~200已經(jīng)夠了,對于L4可能需要200~300,更關鍵是怎么用算力,不是說越多越好,如果要做1000,其實是沒有必要,并且高算力背后高功耗和低利用率問題愈發(fā)嚴重。
02算力比拼的終點:事件相機
當今自動駕駛領域所運用的視覺識別算法,基本上都基于卷積神經(jīng)網(wǎng)絡,視覺算法的運算本質(zhì)上是一次次的卷積運算。這種計算并不復雜,本質(zhì)上只涉及到加減乘除,也就是一種乘積累加運算。但這種簡單運算在卷積神經(jīng)網(wǎng)絡中是大量存在的,這就對處理器的性能提出了很高的要求。
以ResNet-152為例,這是一個152層的卷積神經(jīng)網(wǎng)絡,它處理一張224*224大小的圖像所需的計算量大約是226億次,如果這個網(wǎng)絡要處理一個1080P的30幀的攝像頭,他所需要的算力則高達每秒33萬億次,十分龐大。
實際上自動駕駛領域99%的視覺數(shù)據(jù)在AI處理中是無用的背景。這就好像檢測鬼探頭,變化的區(qū)域是很小一部分,但傳統(tǒng)的視覺處理仍然要處理99%的沒有出現(xiàn)變化的背景區(qū)域,這不僅浪費了大量的算力,也浪費了時間。亦或者像在沙礫里有顆鉆石,AI芯片和傳統(tǒng)相機需要識別每一顆沙粒,篩選出鉆石,但人類只需要看一眼就能檢測到鉆石,AI芯片和傳統(tǒng)相機耗費的時間是人類的100倍或1000倍。
事件相機的工作機制是,當某個像素所處位置的亮度發(fā)生變化達到一定閾值時,相機就會回傳一個上述格式的事件,其中前兩項為事件的像素坐標,第三項為事件發(fā)生的時間戳,最后一項取值為極性(polarity)0、1(或者-1、1),代表亮度是由低到高還是由高到低,也常被稱作Positive or Negative Event,又被稱作On or Off Event。
就這樣在整個相機視野內(nèi),只要有一個像素值變化,就會回傳一個事件,這些所有的事件都是異步發(fā)生的(再小的時間間隔也不可能完全同時),所以事件的時間戳均不相同,由于回傳簡單,所以和傳統(tǒng)相機相比,它具有低時延的特性,可以捕獲很短時間間隔內(nèi)的像素變化,延遲是微秒級的。
事件相機的靈感來自人眼和動物的視覺,也有人稱之為硅視網(wǎng)膜。生物的視覺只針對有變化的區(qū)域才敏感,比如眼前突然掉下來一個物體,那么人眼會忽視背景,會將注意力集中在這個物體上,事件相機就是捕捉事件的產(chǎn)生或者說變化的產(chǎn)生。在傳統(tǒng)的視覺領域,相機傳回的信息是同步的,所謂同步,就是在某一時刻t,相機會進行曝光,把這一時刻所有的像素填在一個矩陣里回傳,一張照片就誕生了。一張照片上所有的像素都對應著同一時刻。至于視頻,不過是很多幀的圖片,相鄰圖片間的時間間隔可大可小,這便是我們常說的幀率(frame rate),也稱為時延(time latency)。事件相機類似于人類的大腦和眼睛,跳過不相關的背景,直接感知一個場景的核心,創(chuàng)建純事件而非數(shù)據(jù)。
除了冗余信息減少和幾乎沒有延遲的優(yōu)點外,事件相機的優(yōu)點還有由于低時延,在拍攝高速物體時傳統(tǒng)相機會發(fā)生模糊(由于會有一段曝光時間),而事件相機幾乎不會。再就是真正的高動態(tài)范圍,由于事件相機的特質(zhì),在光強較強或較弱的環(huán)境下(高曝光和低曝光),傳統(tǒng)相機均會“失明”,但像素變化仍然存在,所以事件相機仍能看清眼前的東西。
傳統(tǒng)相機的動態(tài)范圍是無法做寬的,因為放大器會有線性范圍,照顧了低照度就無法適應強光,反過來適應了強光就無法顧及低照度。事件相機在目標追蹤、動作識別等領域具備壓倒性優(yōu)勢,尤其適合自動駕駛領域。
空中扔一個球,看看兩種相機的軌跡記錄:
事件相機的出現(xiàn)對高算力AI芯片是致命打擊,它只需要傳統(tǒng)高算力AI芯片1%甚至0.1%的算力就可完美工作,功耗是毫瓦級。事件相機基于流水線時間戳方式處理數(shù)據(jù),而不是一幀幀地平面處理各個像素。傳統(tǒng)卷積算法可能無用,AI芯片最擅長的乘積累加運算可能沒有用武之地。為了準確檢測行人并預測其路徑,需要多幀處理,至少是10幀,也就是330毫秒。這意味著相關系統(tǒng)可能需要數(shù)百毫秒才能實現(xiàn)有效探測,而對于一輛以60公里每小時行進中的車輛來說,330毫秒的時間就能行駛5.61米,而事件相機理論上不超過1毫秒。
03車路協(xié)同是偽命題
自動駕駛的技術路線從廣義上看分為兩種:
一是單車智能,通過攝像頭、雷達等傳感器以及高效準確的算法,賦予車輛自動駕駛的能力
二是車路協(xié)同,主要通過5G和高精地圖,來感知路況從而具備無人駕駛功能
不同于單車智能,車路協(xié)同更多追求通過車輛與周遭事物的互聯(lián)來實現(xiàn)自動駕駛。再加上很火熱的 5G 概念(更快的峰值網(wǎng)絡傳送速率能讓通訊更快捷)加持,通過車路協(xié)同來實現(xiàn)自動駕駛似乎更可期了。但是,現(xiàn)實似乎并非如此。
首先是交通系統(tǒng)屬性發(fā)生了變化。車路協(xié)同使車輛中原本在傳統(tǒng)交通系統(tǒng)中不易顯現(xiàn)特性凸現(xiàn)出來,如自組織、網(wǎng)絡化、非線性、強耦合、泛隨機及異粒度,由此導致傳統(tǒng)交通流的研究方法已經(jīng)不再適用
其次是交通的組織成分發(fā)生了變化。隨著車路協(xié)同的發(fā)展,網(wǎng)聯(lián)汽車應運而生,加之自動駕駛引進,在自動駕駛車和人駕駛車長期共存的場景下,需要的模型將更加復雜
再次是交通系統(tǒng)的邊界問題,按照交通的結(jié)構(gòu),交通系統(tǒng)中沒有了主次之分,沒有統(tǒng)一目標,只要有人存在的地方就有交通系統(tǒng),因此交通系統(tǒng)將被視為開放的復雜系統(tǒng)
站在車企的角度,單車智能顯然更為重要。短期內(nèi)車路協(xié)同不可能普及,作為汽車產(chǎn)品,既要賣到國內(nèi)也要賣到國外,既要符合城市道路需求,也要面向鄉(xiāng)村道路,過于依賴車路協(xié)同,無疑是自我束縛。
以高速公路車路協(xié)同系統(tǒng)來看,在感知層面主要分為兩類:車端感知和路端感知。路端感知一般采用攝像頭、毫米波雷達、激光雷達、各類環(huán)境傳感器來實現(xiàn)信息采集,同時還有信號燈、交通標識線等交通設施輔助;車載端同樣也需要一定的協(xié)同設備,接收相關信息;并使用 4G、5G、有線光纖等進行通訊;此外,還需要管控平臺,通過布置在車端、路端以及云端的計算平臺進行復雜系統(tǒng)信息融合和數(shù)據(jù)分析。
從感知上來看,智慧的路只有范圍夠大才能真正起到協(xié)同作用,但是目前的狀態(tài)是車路協(xié)同的覆蓋有限,路端設備的集成度不高。
目前路端監(jiān)測設備主要用的是攝像頭,但是在最需要信息時,攝像頭可能沒法提供信息,比如極端天氣(大雨、大霧等)。如果換用激光雷達,雖然可靠性上來了,但是成本高且壽命有限,路側(cè)激光雷達壽命不超過 1 年。
NR-V2X關鍵技術仍需驗證、帶寬需求有待研究、頻譜規(guī)劃有待確定等這些問題依然是車路協(xié)同落地的障礙。此外,有很多地方即便有智慧公路,可以收集到大量數(shù)據(jù),但是卻面臨數(shù)據(jù)不知道如何處理的問題,路端傳感器如何布置也沒有形成統(tǒng)一標準。
04車路協(xié)同商業(yè)模式走不通
根據(jù)《2020年交通運輸行業(yè)發(fā)展統(tǒng)計公報》,截至2020年末,全國公路總里程519.81萬公里,其中四級及以上等級公路里程494.45萬公里,二級及以上等級公路里程70.24萬公里。國道里程37.07萬公里,省道里程38.27萬公里。農(nóng)村公路里程438.23萬公里,其中縣道里程66.14萬公里、鄉(xiāng)道里程123.85萬公里、村道里程248.24萬公里。
考慮到農(nóng)村公路往往限速較低、車流稀少,除交叉路口外,配置車路協(xié)同感知系統(tǒng)的必要性不大,可先只考慮二級及以上等級公路或國省干線,總里程約70萬公里。倘若按照高速公路的標準,為之鋪設感知系統(tǒng),考慮到彎道及隧道等特殊情況,按每100米一個點位配置(大部分國省干道可只設單側(cè)感知),則每公里投資約為50萬,則全國范圍國省干道感知網(wǎng)絡建設成本約為3500億。
從商業(yè)運營上看車路協(xié)同是一個偽需求,商業(yè)模式上走不通。一公里的改造費用6個億人民帀,這個錢政府可以出,但是做了這條路,不能要求主機廠去裝—個2000-3000塊錢的OBU。為了所謂的車路協(xié)同,增加每個車的成本2000-3000政府的基建,要做這個路,車路協(xié)同的設備,做完了就完了,但是沒人跟。
以上海的這個開放道路測試區(qū)為例,73 公里的里程布置了 182 個路側(cè)單元,平均下來,每公里 2.5 個,這還只是示范區(qū),如果整個智慧的路布置下來,成本不會低。
(國家智能網(wǎng)聯(lián)汽車(上海)試點示范區(qū) – 開放道路測試區(qū))
我們一直都說有 5G 加持的車路協(xié)同將創(chuàng)造更大的價值,但是有沒有考慮到 5G 的實現(xiàn)難度有多大。
5G 雖然速度快,但是能夠輻射范圍很小,要想完成同等范圍的輻射范圍,5G 基站至少是 4G 的 2-3 倍。而且建造成本不低,一個 5G 基站就需要需要 50 萬-60 萬左右(至少),而且 5G 基站功耗很高,之前就有新聞報道,洛陽聯(lián)通在夜間休眠部分 5G 基站,以降低電費成本。根據(jù)中國鐵塔的數(shù)據(jù),單個 5G 基站單租戶年綜合電費約 2.3-3 萬元/年。
而對于 5G V2X 來說,需要完成規(guī)模覆蓋才能真正起到車路協(xié)同的作用。所以,實際上 5G-V2X 的推進難度要比想象中大的多。
05壟斷和數(shù)據(jù)安全:車聯(lián)網(wǎng)正被互聯(lián)網(wǎng)化
入局車路協(xié)同的熱潮發(fā)生在2018年,這一年互聯(lián)網(wǎng)大廠動作頻繁,讓沉寂在造車背后的車路協(xié)同走上了臺前。
這一年,時任百度智能駕駛事業(yè)群組總經(jīng)理的李震宇在媒體溝通會上宣布,將正式開源Apollo車路協(xié)同方案,向業(yè)界開放百度Apollo的技術和服務。
同年九月的云棲大會上,阿里成立的“2038超級聯(lián)盟”,把包括交通部公路院、國家電網(wǎng)、中國聯(lián)通、一汽集團、英特爾、福特汽車等多方力量集合起來打造智慧高速,不過阿里的車路協(xié)同是在自家的封閉系統(tǒng)下搭建的。
在阿里的實踐中,阿里云承擔搭建云控平臺的任務,為車路協(xié)同場景提供全局掌控能力;AliOS搭建車路云協(xié)同計算系統(tǒng),完成車路協(xié)同的具體能力;達摩院負責研制路測要安裝的感知硬件,同時,高德、千尋等提供高精度地圖,支付寶解決高速支付場景,在加上菜鳥聯(lián)盟和ET城市大腦的場景支持,阿里在自家的生態(tài)體系內(nèi)建立的“封閉”的車路協(xié)同生態(tài),足以看見他的野心。
一直處于觀望態(tài)度的騰訊也在之后姍姍來遲,依然是平臺化的輕運營模式,把自身定位劃為車和路的連接器。在單車智能和道路智能化后,依賴騰訊平臺的大數(shù)據(jù)支撐,面向C端發(fā)展。
和BAT一同在場的,還有華為,在最初的智能汽車領域偏向通信運營商的角色。基于自身的ICT技術,華為早年間的布局多在車路協(xié)同的基礎設施建設上,提供智能硬件產(chǎn)品。但在2018年底也開始了BAT賣解決方案,賣軟件的的打法,推出了“TrafficGo1.0”,對標阿里的城市大腦,百度的ACE智能交通引擎,以及騰訊的“We Transport”。
如果將車路協(xié)同比作是一場叢林探險的話,車路協(xié)同企業(yè)應該可以被分為五大陣營:以BAT為代表的互聯(lián)網(wǎng)科技企業(yè);以華為為代表的ICT企業(yè);還有汽車供應商、車路協(xié)同方案解決商以及以福特為主的汽車主機廠。在同一陣營之中,各個大廠也都在順應自己的優(yōu)勢選擇對應的道路,路的盡頭則是豐厚的報酬。
據(jù)統(tǒng)計,目前我國的汽車保有量為3.8億輛。其中,智能網(wǎng)聯(lián)汽車數(shù)量快速增加。預計到2022年,智能網(wǎng)聯(lián)汽車數(shù)量將會超過7800萬輛;鶖(shù)龐大的同時,數(shù)據(jù)產(chǎn)生的速度也相當迅猛。隨著感知技術、自動駕駛技術等相繼成熟,未來的智能網(wǎng)聯(lián)汽車,其智能網(wǎng)聯(lián)、智能駕駛等每天產(chǎn)生的新增數(shù)據(jù),可能得按照TB來計算。
海量的數(shù)據(jù),并非全部有效,但是經(jīng)過篩查、加工,會產(chǎn)生極大的利用價值。善加利用數(shù)據(jù)自然會是未來智能駕駛的“蜜糖”,但令我們擔心的是,隨著資本的介入,“蜜糖”成了“砒霜”,對數(shù)據(jù)的妥善利用可能會逐漸轉(zhuǎn)向挪用、濫用,甚至成為資本搜刮信息、進一步增值的工具。
涉車服務和后市場隨著近年發(fā)展商業(yè)模式逐漸升級豐富:
數(shù)據(jù)變現(xiàn):車聯(lián)網(wǎng)帶來車載和道路數(shù)據(jù)的豐富,為數(shù)據(jù)變現(xiàn)打開了新的方向
通過采集用戶的行車駕駛數(shù)據(jù),可以實現(xiàn)更精準的保險定價,從而幫助保險公司精準衡量風險
二手車交易、汽車貸款等角度也可成為數(shù)據(jù)變現(xiàn)的潛在模式
廣告引流:車聯(lián)網(wǎng)設備能夠占據(jù)用戶的一定使用時長,從而得到一定的流量。針對這些流量可以采用展示廣告的方式進行變現(xiàn)。此外,也可將流量導向和車主相關的服務項目,如汽車美容等
乘用車市場圍繞V2N場景的廣播、地圖導航等輔助駕駛APP類商業(yè)產(chǎn)品正逐步成熟。眾多涉車服務和后市場服務,如網(wǎng)約車、保險、汽車美容、二手車等由于移動互聯(lián)網(wǎng)的迅猛發(fā)展也得以百花齊放。那么問題來了,隨著車聯(lián)網(wǎng)市場的繼續(xù)發(fā)展,百花齊放會不會也變成寡頭壟斷?
2021年2月份,博泰車聯(lián)網(wǎng)舉報騰訊壟斷,打響了車聯(lián)網(wǎng)反壟斷第一槍,至今依然沒有實質(zhì)性結(jié)論。博泰車聯(lián)網(wǎng)和上汽通用五菱就騰訊涉嫌壟斷一事共同向國家市場監(jiān)管總局反壟斷局提交了反壟斷舉報書。
隨著V2X的興起,整車廠原來在汽車行業(yè)的主導地位受到了挑戰(zhàn)。由于缺乏互聯(lián)網(wǎng)等跨界技術的積累,不得不與互聯(lián)網(wǎng)、科技公司合作,但競爭中整車廠也在不斷布局新技術,試圖在汽車智能化的過程中繼續(xù)掌握主導權(quán)。隨著行業(yè)競爭的愈加激烈,車企與科技公司、互聯(lián)網(wǎng)巨頭之間的技術競備賽已經(jīng)升級到話語權(quán)的爭奪,從幾年前的暗潮涌動發(fā)展為現(xiàn)在的對簿公堂。
這些汽車工業(yè)的“闖入者們”,帶著智能化的風,改變著汽車的屬性,試圖讓傳統(tǒng)汽車的世界變得不再枯燥無味,而是充滿了無限可能性,與此同時,變革者也帶來了互聯(lián)網(wǎng)的很多壞基因,最為突出的當屬數(shù)據(jù)壟斷和信息安全,互聯(lián)網(wǎng)時代踩過的雷,恐怕也會革了車聯(lián)網(wǎng)的命。
06寫在最后
現(xiàn)在的AI本質(zhì)上還是一種蠻力計算,依靠海量數(shù)據(jù)和海量算力,對數(shù)據(jù)集和算力的需求不斷增加,這顯然離初衷越來越遠。
文明的每一次進步都帶來效率的極大提高,唯有效率的提高才是進步,而依賴海量數(shù)據(jù)和海量算力的AI則完全相反,效率越來越低,事件相機才是正確的方向。
自動駕駛的未來,單車智能還是車路協(xié)同?
從技術操作上,一個比較現(xiàn)實的問題是,車路協(xié)同并不是所有的區(qū)域都能做,比如農(nóng)村,如果要大量鋪設支持車路協(xié)同的智能化基礎設施,明顯不經(jīng)濟。另外還有國外是否接受這種路線,并大規(guī)模鋪設相關的基礎設施,也存在極大的不確定性。
對于車廠來說,開發(fā)的汽車顯然不能只適用于特定區(qū)域——除非是專門研發(fā)特定用途汽車的企業(yè),而是應該同時滿足城市、鄉(xiāng)村、國內(nèi)、國外等多個不同市場的需求,這種情況下單車智能路線顯然更合適。
從商業(yè)模式上,車路協(xié)同耗資巨大,百億甚至千億級別,投入如此資金卻僅僅只能在高速、省干道實現(xiàn)自動駕駛,實在得不償失。并且建成后后期的維護運營成本巨大,難以長久。
車路協(xié)同更多的是解決路權(quán)分配的問題,把大數(shù)據(jù)流量和車鏈接起來就可以了,沒有必要做得那么復雜,重點還是依賴于車端。
單車智能還遠遠沒有達到其頂峰,在物理規(guī)則之內(nèi),我相信沒什么是目前看起來單車智能攻克不了,而必須要通過V2X來解決。對于自動駕駛甚至無人駕駛,車路協(xié)同是錦上添花的事情,單車智能才是必經(jīng)之路。