2018-05-27

喋る同人誌が作りたい！③ プロトタイプ編

Android コミケ同人誌画像処理

同人誌を喋らせる方法として，スマホのカメラと画像処理で何とかしてページめくりを検出しようという話でした．前々回で技術的な壁を確認し，前回はそれをリアルタイムに処理するためにOpenCV（ネイティブライブラリ）を取り込みました．

今回は実際の本に実装してみて使用感を見てみます．

取り敢えず結論から

youtu.be

2018-05-22

Androidでリアルタイム画像処理の限界について（メモリ）

Android OpenCV 画像処理

画像処理は大きなデータをそれぞれ数回ずつ計算するという処理が多く，そこでボトルネックになるのが，CPUメモリ間の速度です．当然，解像度が大きくなればなるほどそれは顕著になります．例えば1920x1080xrgbを60fpsで転送するだけで，およそ0.4GB/secが消費さます．スマートフォンやPCのメインメモリ帯域は理論値5GB/sec＋なので10回も転送すればフレーム落ちは避けられない計算，480pでもこの7倍の70回程度が理論的な上限です．

このような計算が実機でどのようになるのか調べてみました．


機種	arrows M02
SoC	Snapdragon 410
CPU	Cortex-A53
コア数	4
クロック	1.2 GHz
メモリ	32bitバス LPDDR2/3-1066 533MHz x1ch
メモリ量	2GB
メモリ速度	4.2GB/s

Wikipediaより

2018-05-21

喋る同人誌が作りたい！② OpenCV編

OpenCV Android コミケ同人誌画像処理

©Google

前回，Android OSのAPI（android.camera2）を直接利用することでカメラを使っていましたが，後の画像処理を見据えてOpenCVを使ったカメラ利用の実装にしていきたいと思います．

前回

wallstudio.hateblo.jp

2018-05-15

喋る同人誌が作りたい！① 技術検証編

Android コミケ同人誌画像処理

次は受かれば夏コミです．
同人誌にスピーカ埋め込んでページめくりに合わせて読み上げ…なんてアイディアがありましたが，画期性が乏しいのでまたかんがえ中．

Each of Voice（JBS|ちぇびっと）とゆかパラは都合が微妙なのでまだ未定ですが可能なら出たいですね．
— うｐﾊｼ [C94?]💾WallStudio (@yukawallstudio) 2018年5月6日