カメラ映像から作業者の動きをAIが検知し、マニュアルを自動生成する工場向けアプリをrenueが開発

2026.08.18 12:00

PR TIMES

株式会社renue
撮りためた録画も、現在のカメラ映像も取り込み、できたマニュアルは品番・図面の版と紐づけて管理。AIの下書きから人が確認・承認した内容のみを正本として記載する仕組みを実装

株式会社renue（本社：東京都港区、代表：山本悠介、以下「renue」）は、作業動画を取り込むと、映像に映る作業者の動きをAIが検知し、マニュアルの下書きを自動で作成する工場向けアプリを開発し、自社の本番環境で実証しました。
工場の自動化（FA）を進める前提として、まず現場の作業をマニュアルとして正確に文書化できているか、という問題があります。
本アプリは、何が確認できていて何が不足しているかを可視化し、正確なマニュアルづくりを支援するものです。本リリースでは、この仕組みと実証内容を事例として紹介します。動画の入り口は、Safieカメラ映像（録画の切り出し・ライブ撮影）・YouTube等の公開URL・ローカルファイルの3経路です。AI（LLM）の役割は手順候補の抽出までに限定し、正式工程・製品構成・投入実績の確定は、人の確認と決定論的な制約で行う設計です。

アプリの概要

本アプリは、工場の作業動画を入力として、品質管理・工程情報との紐づけ・部品トレーサビリティを組み込んだマニュアル文書の作成を支援します。映像に映る作業者の動きをAIが検知して手順の下書きを起こし、正本にする判断は人が行います。

動画は、ローカルファイルのアップロード、YouTube・Vimeo・Loom等の公開URL、Safieのカメラ映像（録画の切り出し・ライブ撮影）の3経路から取り込めます。取り込んだ動画は、品質確認・解析のフローで処理されます。

設計上の最大の特徴は、AI（LLM）の役割を手順候補の抽出に限定している点です。正式工程・製品構成・投入実績の確定は、人の確認と決定論的な制約で行います。マニュアル正本の見出し・本文も、人が承認した作業ステップと確認済みの設備・工具・作業ゾーンだけから機械的に整形され、生成AIの自由な文章は正本へ採用しません。AIの出力はあくまで確認用の下書きであり、確認を通らない情報が正本へ入り込む経路を設計で断っています。

出力されるマニュアル（HTML/Markdown）には、品番・図面改訂・版・承認者などのメタデータと、承認時点の内容と突き合わせるための正本SHA-256ハッシュが付与されます。複数品種が混在するセッションは対象品ごとに別々のマニュアルとして生成され、文書の混在を防ぐ構造です。

開発の背景と目的

製造現場の技能承継は、日本の製造業が長年抱える構造的な課題です。2026年版ものづくり白書によると、技能継承のための取組で最も多いのは、「再雇用や勤務延長などで高年齢の従業員に勤務を続けてもらう」ことで、54.8%を占めます。多くの現場が、熟練者本人の在籍に頼り続けている状態です。一方、「継承すべき技能の見える化（テキスト化・マニュアル化・デジタル化）」に取り組む事業所は31.2%にとどまります。人材育成にも課題が残ります。能力開発や人材育成に問題があるとする製造業の事業所のうち、62.8%が「指導する人材が不足している」を挙げ、45.4%が「人材育成を行う時間がない」と回答しています。技能を口頭で教える人も、文書に残す時間も足りない状況が続いています。熟練者の在籍に頼る対応と並行して、技能を文書という資産に変える取組が求められています。

技能を受け継ぐ側も減っています。製造業の若年就業者（34歳以下）は2002年の384万人から2025年には258万人へ減少しました。65歳以上の就業者は85万人と、製造業全体の8.2%を占めます。他方で、工場ではIoTカメラやクラウド録画サービスで作業映像を常時記録できる環境が広がりつつあります。映像という一次記録は蓄積されつつあるにもかかわらず、それをマニュアルという文書に変換する工程だけが、依然として人手に残されています。

さらに、製造現場のマニュアルには一般的な文書にない品質管理上の要件が伴います。どの品番・どの図面改訂版に基づく手順なのか、どの部品がどのlot・serialで投入されたのかが文書に紐づいていなければ、トレーサビリティの観点で文書としての価値が限定されます。文書化は、単なる書き起こしではなく品質管理の一部です。

工場の自動化（FA）を進める前提として、まず現場の作業をマニュアルとして正確に文書化できているか、という問題があります。本アプリは、この「映像から文書へ」の工程を支援し、何が確認できていて何が不足しているかを可視化する目的で開発しています。AIが候補を抽出し、人が確認・承認する設計により、未確認のAI文が正本に混入することを防ぎながら、文書化の作業負荷を軽減します。文書化の入口を既にある映像に置くことで、現場の記録負担を増やさずに、技能の見える化を進められると考えています。Safieカメラ映像への対応は、カメラ導入済みの工場が追加のカメラ設備なしに映像を活用できる経路として実装しました。

従来の課題

映像があっても、文書化は手作業のまま
IoTカメラで作業映像を記録できても、マニュアルへの変換は生産技術担当者の手作業に依存しています。映像の再生と巻き戻しを繰り返しながら手順を書き起こし、設備・工具・部品の情報を別途確認して付記する作業には、工程によっては1件あたり数時間を要することもあります。作業者の異動・退職や工程変更のたびに同じ工数が発生するため、マニュアルの更新は後回しになりがちです。結果として「撮ってはあるが、文書になっていない」映像が積み上がっていきます。

品番・図面改訂の混在が文書の信頼性を損なう
複数品種を同一ラインで扱う混流生産では、どの品番のどの図面改訂版に基づく手順かを明示しなければ、マニュアルの信頼性を担保できません。図面が改訂されても旧版のマニュアルが現場に残り続けたり、品番ごとの手順差異が一つの文書に混在したりするケースは、品質トラブルの原因になります。監査や顧客審査で旧版の残存が指摘されれば、是正対応の負担も発生します。版管理を別の台帳で行う運用には、台帳自体の更新漏れという別のリスクも伴います。

部品投入の確認が目視・口頭に依存している
投入部品の正しさや、lot・serialが要件を満たしているかの確認は、目視と口頭に依存しがちです。誤部品・未承認代替品・同一serialの再使用といったミスは、後工程や出荷後に発覚するまで検知されないおそれがあります。確認の記録が紙のチェックシートに散在する運用では、後から工程単位で検索・集計することも困難です。部品にGS1バーコードが付与されていても、工程を止める仕組みと連動していなければ、バーコードは記録用途にとどまります。

生成AIの文章を、そのまま正本にできない
生成AIで文書作成を省力化しても、LLMが生成した文章をそのままマニュアルに採用する構成では、誤った手順や部品情報が載ったときの影響が品質・安全に直結します。もっともらしい文章であっても、正式工程や承認済みの設備・工具と照合されていなければ、現場の正本としては信頼できません。かといってAIの全文を人が突き合わせて直す運用では、書き起こしの工数が校閲の工数へ置き換わるだけで、負荷の構造は変わりません。必要なのは、AIの文章を丸ごと校閲することではなく、構造化された手順の候補に人の確認を絞れる仕組みです。

アプリの特長

Safieカメラ映像を含む、3経路の動画入稿

作業動画の追加画面。端末の動画・動画のURL・Safie（録画の切り出し／今から撮影）から選べる

入稿経路は、ローカルファイルのアップロード、YouTube・Vimeo・Loom等の公開URL、Safieのカメラ映像の3つです。Safieの経路では、クラウドに録画済みの映像から必要な区間を切り出す方法と、いま現場を映しているカメラでライブ撮影する方法を選べます。Safieを導入済みの工場では、追加のカメラ設備なしに、撮りためた録画も含めて文書化の入力へ回せます。

Safieの経路はSafie Developers APIキーを設定した場合のみ有効になり、選択できるのは許可済みカメラだけです。ライブ撮影の時間は最小10秒から最大3600秒の範囲で設定できます（初期値600秒。最大値は設定上の上限で、長時間撮影の実測は今後の検証項目です）。取得した映像はMP4化され、既存の非同期取り込み・品質確認・解析フローへ接続されます。取得時刻はマニュアルのメタデータにも記録されます。URL入稿については動画取得ライブラリを更新し、カナリア方式のデプロイとロールバック機構を備えることで、外部サービスの仕様変更に追随する運用体制を整えています。

品番・図面改訂・正式工程と紐づく正本管理

作業標準書ドラフトの文書管理情報。未確認項目が残るため「作業使用不可」で止まり、文書ID・版・正本SHA-256が付与されている

品番・図面改訂は、セッション全体または動画内の時間区間へ登録できます。1本の動画に複数品種の作業が続けて映っている場合でも、時間区間ごとに品番を割り当てられます。複数品種が混在する混流セッションは対象品ごとに別々のマニュアルとして生成されるため、品番ごとの手順差異が一つの文書に混ざりません。

製品図面はPDF・画像形式で品番・図番・改訂ごとに登録でき、新版は管理者が明示的に適用するまで現場に反映されません。マニュアル正本の見出しと本文は、人が承認した作業ステップの動作と、確認済みの設備・工具・作業ゾーンだけから機械的に整形されます。出力には文書ID・工場・工程・品番・図面改訂・製品構成・版・承認者・日時・取得時刻と、承認時点の内容と突き合わせるための正本SHA-256ハッシュが付与されます。

本番環境の実例では、7分38秒の作業動画からAIが起こした12手順を人がすべて確認したうえで、作業標準書のドラフト（v1）を生成しています。このドラフトはBOMや安全条件など9項目が未確認のため「作業使用不可」の下書きにとどまり、承認済みの現行版が存在しない状態として管理されます。未確認の情報が残る文書は、現場で使える正本になりません。

撮影・根拠カバレッジ画面。確認済み・未確認が項目ごとに表示され、何が不足しているかが一覧できる

どの項目が確認できていて、どの項目が不足しているかは、撮影・根拠カバレッジの画面に項目ごとに表示されます。不足を隠さずに示し、次に撮るべき映像・集めるべき資料を具体的に案内することで、マニュアルを正確な文書へ近づける確認作業そのものを支援します。

誤部品の投入を、工程完了前に止めるGS1読取ゲート

現場で使う手順書を開く画面。製品コードを読み取ると、承認済みの現行版だけが表示される

本アプリは、手順の文書化と同じ品質管理の一環として、工程で投入する部品の確認も支援します。GS1バーコードは、GTIN（商品識別コード）やlot・serialといった情報を1つのコードに収められる、製造・物流の国際標準です。本アプリはGS1-128・DataMatrix・QRコード・括弧付きAI（アプリケーション識別子）表記・GS1 Digital Linkの読み取りに対応し、GTINはチェックデジットまで検証します。工程別BOM（部品表）の部品を読取点へ割り当てると、現物のGS1コードを確認済みの部品対応へ完全一致で照合する、実行ゲートとして機能します。

誤部品・未承認の代替品・過剰数量・lot・serialの欠落・同一serialの再使用は拒否され、すべての要求を満たすまで工程を完了できません。読み取り結果の確定や訂正も人の確認と決定論的な制約で行われ、AIが投入実績を書き換えることはありません。なお、作業開始の記録はPLC等の物理的な安全インターロックを代替するものではないことを、設計上明記しています。

現場で手順書を開く入口も、製品コードです。GS1コードやlot・serialを読み取ると、サイト・工程・品番・図面改訂・構成を照合し、承認済みの現行版が一意に決まった場合だけ手順書を表示します。旧版や未承認の下書きが現場で使われることを、仕組みで防ぎます。

空間と時間から捉える、現場全体の可視化

サイトレイアウトの3D表示画面。図面から登録したゾーン・設備・カメラの配置を立体で確認できる

本アプリは、1本の動画を文書にする機能に加えて、現場全体を空間と時間の両面から可視化する機能を備えています。現場図面を取り込み、ゾーン・設備・カメラの位置を図面上に登録すると、現場のレイアウトを2D・3Dで確認できます。自社実証環境の汐留オフィスでは、フロア図面上に21のレイアウト要素と8つの作業範囲、2台の固定カメラを登録し、この空間モデルの上で作業の発生を管理しています。

時間×位置ビューの3D表示画面。指定期間に作業が発生した場所と回数が図面上の密度で表示される

固定カメラの映像からは、作業が発生した時間帯を自動で検知します。検知した作業は、いつ・どこで・何回起きたかを図面上の密度として表示する時間×位置ビューのほか、1日のタイムライン、作業パターン別の頻度サマリとしても確認できます。どの作業がどの場所でどれだけ繰り返されているかが見えるため、どの作業からマニュアル化するかの選定や、カメラに写っていない作業範囲の把握といった、文書化の前段の判断に使えます。

想定される効果

文書化工数の削減
- 手順の書き起こしをAIの候補抽出から始められるため、映像を見ながら一から文書を起こす工数を削減できます（削減幅の実測値は今後の検証で取得します）
- 品番・図面改訂・工程情報をセッション単位で管理でき、混流セッションも品番ごとに別々のマニュアルへ分かれて生成されるため、複数品種の文書を作り分ける手間を減らせます
- 版・承認者・正本SHA-256が出力へ付与され、改訂履歴を別台帳で管理する運用の置き換えを見込めます
- 見出し・本文が承認済みの作業ステップと設備・工具の情報から機械的に整形されるため、書き手ごとの文書構成や体裁のばらつきを抑えられます

品質管理上のリスク低減
- 図面は品番・図番・改訂ごとに登録され、新版への切り替えが管理者の明示適用に統一されるため、どの版が現行かが曖昧なまま旧版が使われ続けるリスクを抑えられます
- GS1読取の実行ゲートが誤部品・同一serial再使用・lot欠落を工程完了前に拒否し、後工程・出荷後に発覚するトレーサビリティ不備を減らせます
- 生成AIの自由な文章を正本に採用しない設計により、AIの文章が人の確認を経ないまま手順書へ混入する経路を断ちます
- 文書ID・品番・図面改訂・承認者などのメタデータが常に付与され、監査時の文書追跡が容易になります
- 今回の一連の機能追加の時点でバックエンドの自動テスト116件の通過を確認しており、既存フローへの影響を検証したうえで機能を加えています

導入のしやすさ
- Safieを導入済みの工場では、追加のカメラ設備なしにライブ映像の入稿経路を利用できます（Safie Developers APIキーの設定が必要です）
- ローカルファイル・URL入稿にも対応するため、過去に撮りためた動画ファイルも活用できます
- 品番・図面改訂はセッション全体にも動画内の時間区間にも登録できるため、複数品種が続けて映る録画にも対応できます

今後の展開

短期的には、残課題として管理しているERP・MESとの三者照合機能の実装を目指しています。工程別BOMの照合が本アプリ内で完結しても、ERPの払出実績・MESの消費実績との突き合わせがなければ、製造現場の品質管理要件を完全には満たせません。lot混合・数量許容差への対応、工程完了後のトレーサビリティ訂正、認証付き承認（承認者の本人確認を伴う承認）についても順次対応する方針です。

中期的には、Vimeo・Loom等のURL入稿の本番動作検証を完了させ、3経路すべてで安定した入稿体験を提供することを目標としています。あわせて、Safieライブ撮影の長時間運用をはじめとする運用条件の実測検証を進め、製造業の生産技術部門・品質管理部門・情報システム部門を対象とした提供を本格化させる予定です。図面上にゾーンやカメラを配置して作業の発生を2D・3Dで確認できる、空間モデルの拡充も続けます。

renueは、生成AIを製造現場の実務に組み込む際に「AIが決める」のではなく「AIが候補を出し、人が確定する」設計を一貫して採用しています。本アプリはこの設計思想を、工場のマニュアル文書化という具体的なユースケースで実証した取り組みです。実証で得た設計と知見は、製造業の顧客へのAIコンサルティング・開発支援へ展開します。作業者の手順が映像のまま眠らず、品質管理に耐える文書として現場に残る状態を目指します。

※記載されている会社名・サービス名は、各社の商標または登録商標です。