高性能なだけ、あるいは低消費電力なだけではダメ
AIプロセッサーは性能と消費電力のバランスが重要
ただここまでやっても中身がどうなってるのかに関する説明がなかったのだが、今年3月のLiney Spring Processor Conferenceでやっと中身に関して若干であるが解説があった。もっとも最初のページからして下の画像の通り。ざっくりとしすぎである。
ResNet-50をフルにぶん回すと1223fps/3Wだから、407.7fps/Wということになる。連載614回のexpedraが主張する2000fps/Wにはおよばないが、この数字は決して低くはない。
そもそも、精度とパフォーマンス、消費電力はトレードオフの関係にある、というのがHailo Techの主張である。
例えば監視用カメラの場合、精度とスループットは重視されるが、(外部の電源が期待できるから)消費電力に関しての要求は低い。これがビデオを利用した人物確認(人間の数を数えるだけ)などで良ければ、解像度は落とせる(=精度を下げられる)ので、より高い性能をより少ない消費電力で実現できるとする。
ところが移動式ロボットなどになると精度も重要だし、電池式の稼働になるから消費電力は落としたい。しかし、処理性能を高めにしないとロボットの稼働速度が遅くなるのでバランスが重要になる。
この場合、カメラの解像度は720P以上が必要だが、カメラそのものは1台で済ます(逆に複数台カメラが必要なら、それだけHailo-8の数を増やす)というバーターでこれを実現するとしている。
この連載の記事
-
第796回
PC
Metaが自社開発したAI推論用アクセラレーターMTIA v2 Hot Chips 2024で注目を浴びたオモシロCPU -
第795回
デジタル
AI性能を引き上げるInstinct MI325XとPensando Salina 400/Pollara 400がサーバーにインパクトをもたらす AMD CPUロードマップ -
第794回
デジタル
第5世代EPYCはMRDIMMをサポートしている? AMD CPUロードマップ -
第793回
PC
5nmの限界に早くもたどり着いてしまったWSE-3 Hot Chips 2024で注目を浴びたオモシロCPU -
第792回
PC
大型言語モデルに全振りしたSambaNovaのAIプロセッサーSC40L Hot Chips 2024で注目を浴びたオモシロCPU -
第791回
PC
妙に性能のバランスが悪いマイクロソフトのAI特化型チップMaia 100 Hot Chips 2024で注目を浴びたオモシロCPU -
第790回
PC
AI推論用アクセラレーターを搭載するIBMのTelum II Hot Chips 2024で注目を浴びたオモシロCPU -
第789回
PC
切り捨てられた部門が再始動して作り上げたAmpereOne Hot Chips 2024で注目を浴びたオモシロCPU -
第788回
PC
Meteor Lakeを凌駕する性能のQualcomm「Oryon」 Hot Chips 2024で注目を浴びたオモシロCPU -
第787回
PC
いまだに解決しないRaptor Lake故障問題の現状 インテル CPUロードマップ -
第786回
PC
Xeon 6は倍速通信できるMRDIMMとCXL 2.0をサポート、Gaudi 3は価格が判明 インテル CPUロードマップ - この連載の一覧へ