論文が出版されました

村田さんとの共著論文が出版されました！

簡単に内容を紹介します．

内容紹介

２次元と３次元の情報を統合することで３次元的な葉縁を定量化する手法を提案した研究です．

Murata, H., Noshita, K.*, 2024. Three-Dimensional Leaf Edge Reconstruction Combining Two- and Three-Dimensional Approaches. Plant Phenomics 6, 0181. https://doi.org/10.34133/plantphenomics.0181

葉は，植物の最も重要な器官の一つです．そのため生息環境に応じた様々な機能的ニーズを満たす多様な形態学的特性を示します．従来，葉形態は２次元（2D）的に定量化されることが多く，葉の機能の３次元（3D）側面を十分には捉えられていません．

3Dデータ取得が高精度・簡便になってきていますが，葉（薄い構造）の３次元再構築は未だに難しい課題です．例えば，SfM/MVSなどにより対象表面を点の集合（点群）として再構築する方法では，特に葉縁の形態を正確に定量化することは困難です．

本研究では，2D画像でのインスタンスセグメンテーションと曲線ベースの3D再構成を組み合わせた3D葉縁定量化の方法を提案しました．この手法は主に以下の５つの要素からなります．

１．まず，多視点画像のそれぞれに対して葉一枚一枚を個別に認識するモデルをMask R-CNNで作成しました（A）．得られた葉のマスク画像からは簡単にその２次元輪郭が抽出できます（B）．

２．同時に，SfMによりカメラの位置と向きと疎な点群を推定します（C）．

３．画像間での葉のマッチング．１で推定した葉それぞれが多視点画像間でどう対応するのかは自明ではありません．2で推定した疎な点群を３次元的に領域分割し投影行列に基づいて各画像に再投影することで対応関係を導きました（D）．（このステップは今後改良を予定しています）

４．曲線ベースの3D再構成による3D曲線フラグメントの推定．２次元輪郭のペアに対して３次元再構築をおこなうことで小さな曲線片（曲線フラグメント）を多数再構築します．この再構築手法はFabbri and Kimia (2010) で提案された曲線ベース多視点ステレオに相当します．

５．最後に，B スプライン曲線フィッティングにより3D曲線フラグメントを葉縁モデルとして閉曲線に統合します．

結果は以下のようになります．例えば，シミュレーションで作った１枚の葉や個体を想定した複数の葉について再構築できています．

実際の植物の画像データからも再構築できます．これはダイズの例．

もっと複雑な葉形態にも対応できます．例えば切れ込みのある葉や穴が空いている場合などでも再構築できます．ただし，現状ではセレーションのような細かい構造や細長い葉の先端部などの高い曲率を持つ部分などでは精度が下がります．この辺も今後の改善を狙っている部分になります．

本研究では，対象の構造に注目した2D/3Dの解析を組み合わせることで，点ベースのアプローチでは難しかった葉縁を捉えることに成功しました．

本手法は，3D植物フェノタイピングにおける重要なツールになると考えています．今後はさらに様々な解剖学的構造の３次元空間中での統合を進めていきます！

また，今回使ったデータセットはZenodoで公開しています．ご活用頂けると嬉しいです！ Morphometrics Group Dataset Collection