ロードマップでわかる!当世プロセッサー事情 第902回
なぜGPUとTPUを混載するのか? あえてCPUを外しFP8も捨てたWaymo独自プロセッサーの徹底した割り切り
2026年11月16日 12時00分更新
carTPUの負荷を劇的に下げる独自開発ISPとイーサネット経由のホスト出力
ついでにISPについても説明があった。下の画像が内部ブロックである。
ここで、以下の処理をしている。
| ISPの仕組み | ||||||
|---|---|---|---|---|---|---|
| MIPI ingest | カメラからRAWデータを取り込み、これをグレースケール化してAlignment Pyramidの生成、(複数のカメラの画像を同期させるために、ピラミッド型の校正ターゲットと呼ばれるデータを生成する)、カメラのエラー補正をする。 | |||||
| ISP | RAWデータをYUV経由でRGBに変換(この際にノイズ削減も実施)、静止画像のコーデック処理、それとYUVベースのピラミッドも生成する。 | |||||
| Patch extractors | YUV Pyramidをベースに注目領域(ROI:Region of Interest)の生成や色空間の変換、それとHDR画像を生成する。 | |||||
ちなみに最後のROIは、物体検出やセグメンテーション、超解像などで利用されるので、これをISP側で生成することでcarTPU側の処理をその分軽減できる。
一般にISPはIPの形で多く存在するし、またイメージセンサーメーカーも自社のイメージセンサー用のISPを提供するのが一般的だ。ただWaymoはもっと踏み込んだ処理をISPにさせたかったために自社で開発した、ということがよくわかる。実際にこのISPを利用した結果が下の画像となる。
上が通常のISP、下がWaymoのISPを利用した結果で、色が正しく認識されたり、エッジがちゃんと検出できたりといった違いがあるとする(が、筆者の目が曇ってるせいかよくわからない。確かに色目は違うが)
ちなみにRadar/LiDARに関しては基本GPUで処理することになる。こちらは点群データだからcarTPUには向いてないという話は先に触れたが、MIPIのI/Fないしイーサネット経由でRadar/LiDARの点群データを取得したら、これを利用できる形に変換して検出なり推定なりを行なうまでがCPUの処理となる。
おもしろいのはここからで、その結果はPCIeではなくイーサネットでホスト側に送り出すことだ。PCIeは本当にホストからSFPの制御をするためだけに存在しているのかもしれない。
AIチップの説明というよりも、自動運転向けのAIとはどうあるべきなのかに対する1つの回答を示した講演、という感じの内容であった。
本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事
-
第901回
PC
Teslaの「カメラ単体」を否定する理由 Waymoが明かした自動運転の壁と自社製プロセッサー -
第900回
PC
元Samsung副社長が率いるBOSの勝算 Tenstorrent製NPUとオープン規格で挑む車載AI「Eagle-N」 -
第899回
PC
NVLink追撃の現実解「UALoE」 AMD Instinct MI400が挑む次世代ラック実装とBlackwell対抗 -
第898回
PC
AI特化とは一線を画すHPCの怪物! 富士通「Monaka」が目指す3D積層と256bit SVE2の真価 -
第897回
PC
NVIDIA独自コア「Olympus」の真価 Vera CPUが見せたIPC全振りの重厚構造とメモリー帯域依存 -
第896回
PC
Arm自社設計「AGI CPU」の全貌、10-wideデコードと2ダイ構成で見せた優等生的な実力 -
第895回
PC
IBM ZがArmを取り込む衝撃! 次世代メインフレーム「z18(仮)」のネイティブDual-ISA戦略の狙い -
第894回
PC
AMD「Ryzen AI Embedded X100」のリアルタイムAI制御が、Jetsonの弱点であるCPU性能を突く -
第893回
PC
インテル製GPU「Crescent Island」の正体、容量480GBメモリーでエージェント型AIとKVキャッシュ問題に挑む -
第892回
PC
Hot Chipsで明かされた「Wildcat Lake」の全貌 Foverosを捨てMCPを選んだインテルの舞台裏 - この連載の一覧へ
















