Copilotで画像・スクショの内容を読み取る手順
この記事の要点
MicrosoftのCopilotは画像やスクリーンショットを直接アップロードして内容を説明・分析させることができる。この記事ではアップロード方法・プロンプト例・活用シーンを解説する。
結論
Copilotは画像・スクリーンショットを直接アップロードして内容を説明・分析できる。グラフの解釈・スクリーンショットからのテキスト抽出・写真の内容説明など、テキストだけでは依頼しにくかった作業を視覚情報を使って依頼できるようになる。
前提:必要なプランとアクセス方法
スタンドアロン版(copilot.microsoft.com) Microsoftアカウントがあれば無料で画像のアップロードと読み取りが利用できる。画像を貼り付けるかアップロードアイコンからファイルを選択するだけで利用できる。
Copilot for Microsoft 365(M365統合版) Word・Excel・PowerPoint内にあるCopilotでも画像や図表を参照した指示が可能。例えばExcel内のグラフを対象にして「このグラフの傾向を説明して」と指示できる。
画像の読み取り機能の対応状況・上限・料金の詳細は公式サイト(microsoft.com/ja-jp/microsoft-copilot)で確認してほしい。
手順1:読み取りたい画像・スクリーンショットを用意する
Copilotに送れる画像の種類:
- JPEG・PNG・GIF・WebPなどの一般的な画像フォーマット
- スクリーンショット(デスクトップのスクショ、スマホのスクショ)
- グラフや図表のスクリーンショット
- PDFのスクリーンショット(PDFそのものは別途対応が必要)
- 手書きメモの写真
機密情報・個人情報が写っている場合は、事前にモザイクやマスク処理を行うこと。
手順2:Copilotを開いて画像をアップロードする
スタンドアロン版の操作
- ブラウザで copilot.microsoft.com にアクセスしてサインインする
- チャット入力欄の左側に画像アップロードアイコン(画像マークまたはクリップアイコン)がある
- アイコンをクリックしてファイルを選択するか、画像をドラッグアンドドロップで入力欄に貼り付ける
- 画像のプレビューが表示されたら、テキストで指示を入力して送信する
スクリーンショットの場合はクリップボードにコピー後、入力欄にCtrl+Vで直接貼り付けることもできる。
手順3:プロンプトを送る
画像と一緒に指示を送る。以下のプロンプト例を参考にしてほしい。
プロンプト例(グラフの分析)
添付したグラフを分析してください。
以下の点を教えてください:
1. グラフが示している全体的な傾向
2. 目立つピーク・谷・異常値があればその箇所と考えられる理由
3. このデータから読み取れる示唆(ビジネス観点から)
グラフの種類:月次売上推移の折れ線グラフ(2023年1月〜2024年12月)
利用シーン:社内の月次振り返り資料に使うコメント文を作りたい
プロンプト例(スクリーンショットからテキストを抽出)
このスクリーンショットに含まれているテキストをすべて書き出してください。
書き出しの形式:
- ヘッダー・本文・フッターを区別して記載
- テキストの改行・段落構成を元の画像に合わせる
- 読み取れない部分は[読取不可]と記載する
プロンプト例(表・データの読み取り)
添付した表の内容を以下の形式でまとめてください。
出力形式:
1. 表の概要(何のデータか・列と行の内容)
2. Markdownの表形式で再現する
3. 注目すべき数値や傾向を3点挙げる
この表は◯◯に関するデータです。社内資料のサマリーに使うため、箇条書きで要点もまとめてください。
プロンプト例(プレゼンスライドの読み取り)
このスライドの内容を以下のようにまとめてください。
1. スライドのタイトル
2. 本文の要点を箇条書き(3〜5点)
3. グラフや図がある場合はその説明
4. このスライドが伝えたいメッセージを1文で要約
この要約を使って、スライドの発表時に使うスピーカーノートを作成してください。
プロンプト例(写真の説明・alt文作成)
この写真の内容を詳しく説明してください。
以下の用途で使います:
- Webサイトのalt属性(視覚障害者向けの代替テキスト)として使えるよう、画像に写っているものを具体的かつ簡潔に説明してください
- 文字数の目安:100字以内
また、SNS投稿のキャプション案も1つ作成してください。
プロンプト例(手書きメモの内容整理)
この手書きメモを読み取り、内容をデジタルテキストとして整理してください。
出力形式:
1. 読み取った内容をそのままテキスト化する
2. 読み取れなかった部分は[不明]と記載する
3. 内容が会議メモである場合、議題・決定事項・アクションアイテムに分類して整理する
手順4:出力を確認して追加指示を出す
読み取り結果を確認する際のチェックポイント:
- テキストの誤読がないか(特に数値・固有名詞・単位)
- 表やグラフの読み取りが正確か
- 日本語テキストの認識精度に問題がないか
誤りがあれば同じ会話で修正を依頼する。
3行目の「12,500」が「12,500」ではなく「12.500」と点で区切られています。数値は「12,500」が正しいので修正してください。また最後の合計行が抜けているので追加してください。
活用シーン別ガイド
シーン1:競合他社の資料・Webサイトのスクリーンショット分析
競合のランディングページや広告のスクリーンショットを送り、「この競合のLP構成を分析して、強みと改善点を指摘してください」のように依頼すると、マーケティング観点での分析文を生成してくれる。
シーン2:エラー画面・システムスクリーンショットの説明
IT担当者への問い合わせや報告書に使う文章を作るとき、エラー画面のスクリーンショットを送り「このエラー画面の状況を技術担当者に説明するための文章を作ってください」と依頼する使い方もある。
シーン3:グラフ・分析データの自動コメント生成
月次レポートや週次KPIのグラフスクリーンショットを送って「このグラフを見て、上司への週次報告で使える1段落コメントを書いてください」と依頼すると、定型的なレポートコメント作成の時間を削減できる。
シーン4:名刺・申込書のデジタル化
名刺や手書きの申込書の写真を送り、テキストとして書き出してもらう使い方もある。ただし個人情報の扱いには十分注意が必要で、社内のデータ管理ポリシーに従って判断すること。
M365統合版特有の使い方
M365統合版のCopilotでは、Officeアプリ内のコンテンツをそのまま参照できる。
Excel グラフや表を選択した状態でCopilotに「このグラフの傾向を説明して」「この表で最も数値が高い行はどこ?」と聞ける。スクリーンショットを撮ってアップロードする手間がない。
PowerPoint スライドを選択した状態でCopilotに「このスライドの内容を要約して」「このスライドに合った発表ノートを作って」と依頼できる。
これらの機能はM365統合版でのみ利用できる。スタンドアロン版では画像をアップロードする手順が必要になる。
うまくいかないときのポイント
テキストが正確に読み取れない 解像度が低い画像や斜めに撮影した写真は認識精度が下がる。可能な限りシャープで正面から撮った画像・スクリーンショットを使う。手書き文字は活字と比べて認識率が低い。
表の列が崩れる 表をMarkdownで再現する場合、列数が多い・セルの幅が不均一だとずれることがある。「列の並びが崩れているので修正してください」と追加依頼するか、「表の再現ではなく、各セルの内容を行ごとにリスト形式で書き出してください」と形式を変えると実用的な結果が得られる。
グラフの数値読み取りが不正確 目盛りが細かいグラフや色が近い複数の線が重なる折れ線グラフは、数値の正確な読み取りが難しいことがある。Copilotに読み取らせた数値は必ず元データと照合すること。
画像をアップロードできない ファイル形式・サイズが制限に引っかかる場合がある。PNG形式でサイズを縮小(5MB以下を目安)してから再試行する。
関連記事
よくある質問
CopilotはExcelやPowerPointのスクリーンショットも読み取れますか?
読み取れる。グラフ・表・スライドのスクリーンショットを貼り付けて「このグラフの傾向を説明してください」「スライドの内容を箇条書きでまとめてください」のように依頼できる。
日本語の文字が含まれた画像でもテキストを読み取れますか?
日本語テキストの読み取りにも対応している。ただし手書き文字や低解像度の画像では誤認識が起こる場合がある。
複数の画像を同時に送れますか?
スタンドアロン版では1会話で複数枚送ることができる。ただし一度に送れる枚数や容量に制限がある場合があるため、多数の画像は複数に分けて送ることを推奨する。
個人情報が写っている画像を送っても大丈夫ですか?
プライバシーポリシーや社内の情報管理規定に従って判断してほしい。機密情報・個人情報が含まれる場合はマスク処理をしてから送ることを推奨する。詳細な利用規約はMicrosoftの公式サイトで確認してほしい。