このページの本文へ

前へ 1 2 3 次へ

ロードマップでわかる!当世プロセッサー事情 第902回

なぜGPUとTPUを混載するのか? あえてCPUを外しFP8も捨てたWaymo独自プロセッサーの徹底した割り切り

2026年11月16日 12時00分更新

文● 大原雄介(http://www.yusuke-ohara.com/) 編集●北村/ASCII

  • この記事をはてなブックマークに追加
  • 本文印刷

carTPUの負荷を劇的に下げる独自開発ISPとイーサネット経由のホスト出力

 ついでにISPについても説明があった。下の画像が内部ブロックである。

ISPの仕組み。YUV Pyramidは1フレーム未満の時間で生成されるという

 ここで、以下の処理をしている。

ISPの仕組み
MIPI ingest カメラからRAWデータを取り込み、これをグレースケール化してAlignment Pyramidの生成、(複数のカメラの画像を同期させるために、ピラミッド型の校正ターゲットと呼ばれるデータを生成する)、カメラのエラー補正をする。
ISP RAWデータをYUV経由でRGBに変換(この際にノイズ削減も実施)、静止画像のコーデック処理、それとYUVベースのピラミッドも生成する。
Patch extractors YUV Pyramidをベースに注目領域(ROI:Region of Interest)の生成や色空間の変換、それとHDR画像を生成する。

 ちなみに最後のROIは、物体検出やセグメンテーション、超解像などで利用されるので、これをISP側で生成することでcarTPU側の処理をその分軽減できる。

 一般にISPはIPの形で多く存在するし、またイメージセンサーメーカーも自社のイメージセンサー用のISPを提供するのが一般的だ。ただWaymoはもっと踏み込んだ処理をISPにさせたかったために自社で開発した、ということがよくわかる。実際にこのISPを利用した結果が下の画像となる。

これは先週の講演でも出てきたもの。上が1フレームの画像からの結果で、下が複数フレームを利用したデノイズを実施した結果

上が通常のISP、下がWaymoのISPを利用した結果で、色が正しく認識されたり、エッジがちゃんと検出できたりといった違いがあるとする(が、筆者の目が曇ってるせいかよくわからない。確かに色目は違うが)

HDRの効果。向かいからのヘッドライトがあってもその奥が見える、トンネルの出口の先がちゃんと認識できるなど、こちらはHDRの効果がわかりやすい

 ちなみにRadar/LiDARに関しては基本GPUで処理することになる。こちらは点群データだからcarTPUには向いてないという話は先に触れたが、MIPIのI/Fないしイーサネット経由でRadar/LiDARの点群データを取得したら、これを利用できる形に変換して検出なり推定なりを行なうまでがCPUの処理となる。

この処理用にはGPU側にも相応にメモリーが必要と思うのだが、おそらくこれは外付けのLPDDR5xでカバーする方向なのだろう

 おもしろいのはここからで、その結果はPCIeではなくイーサネットでホスト側に送り出すことだ。PCIeは本当にホストからSFPの制御をするためだけに存在しているのかもしれない。

検出結果や推定だけでなく、点群データもホストに戻すようだ

 AIチップの説明というよりも、自動運転向けのAIとはどうあるべきなのかに対する1つの回答を示した講演、という感じの内容であった。

前へ 1 2 3 次へ

カテゴリートップへ

本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事

ASCII倶楽部

注目ニュース

  • 角川アスキー総合研究所

プレミアム実機レビュー

ピックアップ
1
KIOXIA(キオクシア) 旧東芝メモリ microSD 128GB UHS-I Class10 (最大読出速度100MB/s) Nintendo Switch動作確認済 国内サポート正規品 メーカー保証5年 KLMEA128G
KIOXIA(キオクシア) 旧東芝メモリ microSD 128GB UHS-I Class10 (最大読出速度100MB/s) Nintendo Switch動作確認済 国内サポート正規品 メーカー保証5年 KLMEA128G
¥2,413
2
【Amazon.co.jp限定】 ロジクール 静音 ワイヤレス トラックボール マウス M575SPd Bluetooth Logibolt 無線 windows mac iPad OS Chrome トラックボールマウス ブラック M575 M575SP 国内正規品 ※Amazon.co.jp限定 壁紙ダウンロード付き
【Amazon.co.jp限定】 ロジクール 静音 ワイヤレス トラックボール マウス M575SPd Bluetooth Logibolt 無線 windows mac iPad OS Chrome トラックボールマウス ブラック M575 M575SP 国内正規品 ※Amazon.co.jp限定 壁紙ダウンロード付き
¥7,313
3
エレコム 電源タップ 6個口 3m 雷ガード 個別スイッチ ほこりシャッター付 耐熱 PSE技術基準適合 ブラック T-K6A-2630BK
エレコム 電源タップ 6個口 3m 雷ガード 個別スイッチ ほこりシャッター付 耐熱 PSE技術基準適合 ブラック T-K6A-2630BK
¥1,899
4
CIO フラットスパイラルケーブル CtoC (Type-C/USB-C) PD 急速充電 平型 磁石 マグネット吸着 まとまる 充電ケーブル PD 240W データ転送 480Mbps 形状記憶 iPhone 17 / 16 / 15 Macbook Pro/Air/iPad用/ノートパソコン Galaxy Google Pixel Android (ライトブラック, 1.5m)
CIO フラットスパイラルケーブル CtoC (Type-C/USB-C) PD 急速充電 平型 磁石 マグネット吸着 まとまる 充電ケーブル PD 240W データ転送 480Mbps 形状記憶 iPhone 17 / 16 / 15 Macbook Pro/Air/iPad用/ノートパソコン Galaxy Google Pixel Android (ライトブラック, 1.5m)
¥2,290
5
Anker USB Type C ケーブル PowerLine USB-C & USB-A 3.0 ケーブル iPhone 17 / 16 / 15 /Xperia/Galaxy/LG/iPad Pro/MacBook その他 Android 等 USB-C機器対応 テレワーク リモート 在宅勤務 0.9m ホワイト
Anker USB Type C ケーブル PowerLine USB-C & USB-A 3.0 ケーブル iPhone 17 / 16 / 15 /Xperia/Galaxy/LG/iPad Pro/MacBook その他 Android 等 USB-C機器対応 テレワーク リモート 在宅勤務 0.9m ホワイト
¥740
6
Anker Zolo USB-C & USB-C ケーブル (240W, 高耐久ナイロン) 1.8m ブラック iPhone 17 / 16 / 15 Galaxy iPad Pro MacBook Pro/Air 各種対応
Anker Zolo USB-C & USB-C ケーブル (240W, 高耐久ナイロン) 1.8m ブラック iPhone 17 / 16 / 15 Galaxy iPad Pro MacBook Pro/Air 各種対応
¥1,590
7
Anker Nano Charging Station (7-in-1, 100W, 巻取り式 USB-C ケーブル) (USBタップ 電源タップ) 【PSE技術基準適合】MacBook iPad iPhone Galaxy Android ブラック
Anker Nano Charging Station (7-in-1, 100W, 巻取り式 USB-C ケーブル) (USBタップ 電源タップ) 【PSE技術基準適合】MacBook iPad iPhone Galaxy Android ブラック
¥9,990
8
Anker iPhone充電ケーブル PowerLine II ライトニングケーブル MFi認証 超高耐久 iPhone 14 / 14 Pro Max / 14 Plus / 13 / 13 Pro / 12 / 11 / X/XS/XR / 8 Plus 各種対応 (0.9m ホワイト)
Anker iPhone充電ケーブル PowerLine II ライトニングケーブル MFi認証 超高耐久 iPhone 14 / 14 Pro Max / 14 Plus / 13 / 13 Pro / 12 / 11 / X/XS/XR / 8 Plus 各種対応 (0.9m ホワイト)
¥990
9
Verbatim バーベイタム 1回録画用 ブルーレイディスク BD-R 25GB 50枚+3枚増量パック インクジェットプリンタ対応 ホワイト 片面1層 1-6倍速
Verbatim バーベイタム 1回録画用 ブルーレイディスク BD-R 25GB 50枚+3枚増量パック インクジェットプリンタ対応 ホワイト 片面1層 1-6倍速
¥2,480
10
ソニー ゲーミングイヤホン INZONE Buds:WF-G700N Fnatic監修/ワイヤレス / 低遅延2.4GHzワイヤレス接続 USBType-Cトランシーバー同梱/LE Audio対応/アクティブノイズキャンセリング/立体音響 / 最大約24時間バッテリー / 急速充電/マイク付き / PS5 スマホ PC Switch グラスパープル
ソニー ゲーミングイヤホン INZONE Buds:WF-G700N Fnatic監修/ワイヤレス / 低遅延2.4GHzワイヤレス接続 USBType-Cトランシーバー同梱/LE Audio対応/アクティブノイズキャンセリング/立体音響 / 最大約24時間バッテリー / 急速充電/マイク付き / PS5 スマホ PC Switch グラスパープル
¥20,800

Amazonのアソシエイトとして、ASCII.jpは適格販売により収入を得ています。

デジタル用語辞典

ASCII.jpメール デジタルMac/iPodマガジン