OCRのために手書き文章を二値化した話
紙に書いた手書き文章の画像を、Copilotに添付して二値化してもらいました。
手順：
[ 画像1. 紙に書いた手書きの文章 ]
上記の画像をCopilotに添付し、以下のプロンプトを送ってみました。（上記画像は、サイズを縮小しています。）
<プロンプト>添付画像は、紙に手書きで文章が書かれています。これを二値化して、文字だけを黒くしてください。
これに対し、Copilotは以下の画像を出力しました。
[ 画像2. Copilotが出力した画像 ]
結果：
単純に二値化してほしかったのですが、Copilotが勝手に画像を補完して、文字を書き換えてしまっています。たとえば、以下のように、文字が乱れています。
[ 画像3. 乱れた文字 ]
今回は、
• 手書き文章から文字だけを二値化によって抽出
↓
• 抽出した文字をOCRにかける
↓
目的：手書き文章から高精度で文章を抽出する
という狙いでした。しかし、二値化が今回はうまく行きませんでした。
まとめ：
生成AIに手書き文章の画像を二値化してもらいましたが、思うようにはうまく行きませんでした。
なお、二値化前の画像をChatGPTに添付して文章を抽出してもらったところ、以下の結果が得られました。二値化しなくても、かなりの精度で正しく文章を抽出してくれました。
ChatGPTによる文章抽出結果
私は以前、OCRを利用して文章をテキストデータ化しようと
したことがありました。手書きの文章をカメラで撮影して
テキストデータ化することで、文章情報を効率化することが
目的でした。
今回は次のような方法を試してみようと思います。
1. この紙をスマホのカメラで撮影する。
2. 撮影した画像をパソコンでダウンロードする。
3. 生成系AIを利用して、画像を二値化する。
4. 二値化した画像を生成AIに読み込ませる。
上記のような手順を踏んで、この手書き文章の
テキストデータ化を試みます。前回と大きく
違うのは、今回は「二値化」というステップを
入れているということです。二値化することで
文字が鮮明になり、文字や背景の境界が明確に
なるのではないかと思います。私は今回、画像の
処理を自作サイトの画像に利用していくつ
か試してみましたが、OCRの精度が上がるだ
けでなく、画像のサイズを削減するための効果や
文字画像の背景の「紙の色」や「写り込んだ影」など
の情報は無駄不要です。二値化することで、
それらの不要な情報が取り除かれて、画像の
データが軽くなります。
関連記事：