NEWS & COLUMN お知らせ&コラム
【Learning Vol-23】構造光型3Dスキャンの仕組みとは?
■テクニカルレポーター:マシュー・マクミリオン(Matthew McMillion)
■概要:
世界最高の3Dスキャナが、どのようにあらゆるサイズや複雑な対象物を捉えるのかを真に理解するためには、まず、構造化光の仕組みについて詳しく知る必要があります。この読みやすい記事では、CMMマシンやCGI写真測量など、他のテクノロジーと比較した場合の構造化ライトの利点についても説明します。そして、構造光3Dスキャナにとって困難と思われる表面をいくつか取り上げます。
はじめに
構造化光源を使った3Dスキャナが、どのようにして驚くべき速度と精度で対象物を捉えることができるのかを知る前に、まず構造化光源とは何なのかを理解する必要があります。
実際の用語では、構造化光とは、3Dスキャナがスキャンする対象物に照射する、精密に調整された白色または青色の光のパターンのことを指します。通常、このパターンは、一連の平行線、縞模様、または格子状になっています。
構造化光が対象物の表面に当たると、光のパターンは、曲線、窪み、隆起した部分を横切って落ちるため、歪みます。
スキャナーのプロジェクター(左)から照射された白色光は、中央のグリッドを通過した後、ライン(縞模様)に構造化される。グリッドのバーが太く、間隔が狭いほど、”出口 “の光の線は細くなります。この直線は、花瓶の曲面に当たると歪んでしまうのです。
スキャナのカメラは、この歪んだ光の反射パターンを次々と撮影し、スキャナ・ソフトウェアはそのパターンを解析して、スキャン対象物の全表面をデジタル3Dで正確に再現しています。
スキャンする対象物の大きさやスキャン時間にもよりますが、1回のスキャンで、3Dスキャナは数十、数百、数千のフレームを撮影することができます。
【キーポイント】----------------------------------------
構造化光とは、3Dスキャナがスキャンする対象物に照射する、精密に調整された白色または青色の光のパターンのことです。
反射光を高精細な3Dモデルに変換する
スキャニングソフトウェアのパターン認識と再構成のアルゴリズムは、光の帯がところどころ太くなったり細くなったりする場合、表面上のその点がそれぞれカメラから近くなったり遠くなったりすることを意味し、その他の形状や構造は構造化された光のパターンのさまざまな種類の変形によって決定されると理解しています。
また、3Dスキャナには、物体の “質感 “を撮影するカメラも搭載されています。3Dスキャンとモデリングの世界では、テクスチャとは物体の色やその他の目に見える表面の特徴を指します。
撮影したフレームは、スキャニングソフトウェアで処理することで3Dモデルに変換されます。このとき、さまざまなツールを使って不要なデータを取り除き、フレームを合わせてシームレスな3Dモデルに仕上げます。
【キーポイント】----------------------------------------
3Dスキャンやモデリングの世界では、テクスチャーは物体の色やその他の目に見える表面の特徴を指します。
スキャン中にテクスチャーフレームがキャプチャされた場合は、その後、3Dモデルに「マッピング」され、現実世界のオリジナルとほぼ同じ外観と寸法を持つ最終3Dモデルへの道が開かれます。
こうして完成した3Dモデルは、医療、エンジニアリング、考古学、CGIなど、さまざまなアプリケーションにエクスポートして使用することができるようになります。
静止した物体をスキャンする、またはターンテーブルを使用する
ハンドヘルド3Dスキャナの場合、対象物のあらゆる面をキャプチャするために、スキャナを手に取って対象物の周りを移動させ、スキャナの構造化された光がさまざまな角度や位置から対象物の表面に照射され、表面の詳細な情報を膨大な量で収集します(一部のスキャナは毎秒数百万の表面データ点を収集!)。
ターンテーブルを使えば、小さな物体を回転させて四方八方からスキャンすることもできます。
クリック&スキャンによる3Dスキャンワークフローの自動化
据え置き型の構造化光スキャナ、例えばデスクトップ型のArtec Microでは、スキャンする対象物を小さなスキャン台に取り付けるだけで、あとはスキャナが処理をしてくれます。
ワンクリックでスキャンアームが動き出し、スキャニングプラットフォームを様々な角度でスムーズに位置決めし、スキャナーが対象物の見える面をすべて捉えることができるようになります。あとは、対象物をひっくり返して、隠れていた面を取り込むだけです。
また、固定式の構造化光3Dスキャナもあり、手動で位置を変えるか、ロボットアームに取り付けられ、正確に計算された位置や角度で対象物を捉えるようにあらかじめプログラムされています。
物体サイズについて:ゼンマイから鯨の顎骨まで
構造光3Dスキャナの最大の特長は、小さなものから巨大なものまで非破壊でキャプチャできることで、ソリューションによっては10ミクロン(白血球の半分以下の大きさ)という高い精度を実現しています。
【キーポイント】----------------------------------------
常に特定のタイプやサイズのオブジェクトを扱う場合は、タスク用に設計されたスキャナを選択しましょう。
スキャナーを使えば、さまざまな対象物のデジタルツインを高精度で作成することができますが、特定のサイズの対象物を扱うことが多い場合は、最適なスキャナーを検討する必要があります。
ポケットサイズのあらゆるモノを撮影する方法
例えば、時計の部品(バネ、歯車、ホイール、宝石など)を定期的にスキャンする必要があるとします。もしかしたら、そのような部品が箱に入っていて、取り込むのを待っているかもしれません。このような場合、青色構造光Artec Microのようなデスクトップ型構造光スキャナーを真剣に検討することになるでしょう。
CNCフライス加工されたバルブ、ねじボルト、スイッチ、シリンダーなど、非常に小さな航空宇宙部品にも同じことが言えます。デスクトップ型構造光スキャナーは、わずか数分でこれらの部品を厳密にキャプチャすることを可能にします。
一方、対象が人など、より大きなスケールであれば、人間の髪の毛の幅の1/7の精度は必要ないことがほとんどでしょう。
スピードとポータビリティ
ワークフローに人間や動物のデジタルキャプチャが含まれる場合、高速スキャンが可能なソリューションが必要です。
このような場合、興味のあるスキャナーのFPS(frames per second)キャプチャレートを必ず確認してください。動かないことが確実な対象物を扱うのでなければ、高ければ高いほどよいでしょう。
【キーポイント】----------------------------------------
高いFPSは、スキャンする対象物に起こりうる動きを補うことができます。
高速、最高の携帯性、妥協のない精度を目指して設計された3Dスキャナの一例が、最大80FPSのフレームレートと3500万点/秒のデータ取得速度を誇るプロ用ハンドヘルドArtec Leoです。
タッチスクリーンを内蔵した100%ワイヤレスのこの3Dスキャナは、風洞の中でプロのサイクリストの周りを操縦したり、ロープにぶら下がって地上高くから古代大聖堂の石細工を撮影したりと、実質的にどこでもスキャンできる能力を備えています。
ハンディタイプの3Dスキャナで大きな物体を捉える
より大きな対象物であれば、部屋の大きさであっても、高品質のハンドヘルド構造光3Dスキャナであれば、汗をかかずに仕事をすることができます。100%ワイヤレスの携帯型3Dスキャナを使って、超リアルなフライトシミュレータ用にエアバスA380のコックピットと胴体の内部をキャプチャしたり、同じソリューションを使ってマンション全体の複数階のファサードをスキャンしたりすることができます。
とはいえ、構造光源を使った3Dスキャナソリューションを評価する際には、実際にそのスキャナを使用して、扱う対象物と同じものを撮影するデモを見ることが賢明です。さらに、自分で試してみるのもよいでしょう。対象物のセットアップやスキャン、スキャン結果の処理などがいかに簡単か(あるいは難しいか)、細心の注意を払いましょう。
他の技術と比較した場合の構造化光の強み
構造化光3Dスキャナが、何年も前から世界中の何千人ものユーザーに選ばれている技術であるのには、理由があります。実は、その理由はたくさんあるのです。ここでは、最も広く認知されている長所と、その長所が最も大きな影響を及ぼしている分野とを紹介します。
非接触:多くの種類の対象物では、接触測定(CMM)やターゲットを使った写真測定のような取り扱いはできません。例えば、考古学的な標本や博物館の作品、個人コレクションの高価な品物などです。
構造化光源は、そのような対象物をサブミリメートルレベルの精度で全体的に捉えることを可能にし、ほとんどの場合、ほとんど、あるいは全く接触することなく、その対象物を捉えることができます。法医学や考古学の分野では、対象物やその周辺の景観を損なわないよう、発見されたままの状態でスキャンされることがほとんどです。
このため、たとえわずかでも接触による損傷のリスクは最低限に抑えられます。
高速性:急ぎのプロジェクトがあるとき、道具のせいでスピードが落ちてしまうのは避けたいところです。スピードは、構造化ライト3Dスキャナの最も魅力的な特徴の一つです。従来の写真測量、CMMマシン、手動計測ツールでは丸一日かかるような作業も、構造光3Dスキャナならわずか1~2時間で完了することも少なくありません。
プロジェクトに必要な精度を確保しながら、何時間も時間を割くことができれば、ワークフローや生産性にどのような影響があるかは明らかです。
もうひとつ、高速なソリューションが重要な理由は、前述の通り、人など1~2秒以上静止できない対象物があるためです。このような場合、前述したような位置ズレの可能性だけでなく、スキャンするものの形状が変化してしまい、不満が残ることになります。
例えば、超高性能な自転車用スキンスーツを作るためにアスリートをスキャンする場合、ゆっくりした測定方法だと、アスリートが腕を胴体に軽く押し付けるだけで手足の形が変わってしまい、スキャンが正確でなくなってしまいます。
卓越した精度:ノギスや定規、あるいはCMMマシンのような昔ながらの測定方法とは異なり、構造化光による3Dスキャンワークフローでは、単に表面の個別のポイントや直線的なストレッチではなく、オブジェクトやシーン全体をキャプチャするための手段を備えています。これは、測定する対象が靴箱などより複雑なものである場合に特に当てはまります。
現実の世界では、私たちが扱う製品、部品、その他の種類の物体は、通常、多数の表面で構成され、通常、測定用に選択される数点の選択点の間には、数百万のデータポイントが存在する可能性があります。構造化光源を用いた3Dスキャンでは、サブミリ単位の精度ですべてをキャプチャし、対象物やシーンのすべてを網羅した高精度のデジタル記録を作成することができます。
人に安全:構造化光は、長年にわたり、医療業界のさまざまな分野で広く使用されてきました。病院、学校、企業など、小さなお子さんから体の弱い高齢者まで、あらゆる人に使用できるよう、広範なテストと医学的な承認がなされています。
レーザー光を長時間浴びると視力が低下する可能性があるレーザースキャナーや、放射線を用いて物体の表面や内部の形状を捉えるCTスキャナーとは異なり、構造化光は危険性がなく、効果的なスキャン技術として断トツの実績があります。
構造光3Dスキャン&2種類のフォトグラメトリー
CGIや芸術作品に使用する写真測量は、専用の3Dスキャナを必要とせず、印象的なテクスチャを持つ3Dモデルを作成することができますが、欠点がないわけではなく、最も顕著な欠点は高精度であることです。
次章で説明するように、精度が要求されるプロジェクトでは、計測器レベルの性能が求められるため、別の種類の写真測量ソリューションが存在します。しかし、ここでは、先に紹介したCGIチームや3Dモデラーに人気のある、従来の写真測量に焦点を当てます。
CGIの写真測量は、撮影に時間がかかるため、前述したように人物の撮影にはほとんど使えませんし、スキャン中に動いてしまうと、最終的なモデルの精度や位置合わせに大きな影響を与えます。
また、時間的な制約があるプロジェクトも問題外です。製造業の品質検査などでは、信頼性の高い正確な結果を数分で出すことが、サプライチェーンのボトルネックを回避するために重要な要素になります。
さらに、この種の写真測量では、数百枚から数千枚の画像を処理するために、高性能なコンピュータが必要になることもあります。
また、アーティスティックフォトグラメトリーの問題点として、フィードバックの遅れが挙げられます。つまり、対象物を完全にカバーできたかどうかは、画像処理をしてみないとわからないのです。そして、その時点で手遅れになる可能性もあります。
考古学の分野では、遠征先や発掘先で出会った遺物や化石を、そのまま持ち出すことはできないし、持ち出すべきでもない、ということがよくあります。
しかし、写真測量ですべてを把握できず、再び現地に行く必要がある場合、略奪者や破壊者、自然災害が先に来ていないことを祈るしかないでしょう。このようなプロジェクトでは、アンデス山脈を馬で横断するような遠征でも、携帯型3Dスキャナを持参することで、世界のすべての違いを生み出すことができます。
計測の相乗効果:3Dスキャン+計測写真測量
最近のデジタルキャプチャソリューションは、3Dスキャニングのワークフローで使用できる特別なフォトグラメトリーキットがあります。DPAフォトグラメトリーです。CGIの写真測量とは異なり、このソリューションは非常に正確で、何枚もの写真をつなぎ合わせるために何時間もかけて処理する必要がありません。
DPA写真測量は、3Dスキャニングとの相乗効果で、物やシーンの正確な物理的寸法を取得するためにプロセスの最初の段階でのみ使用され、その後、非常に正確な(最大10ミクロン)点群という形で3Dスキャニングソフトウェアに渡されます。
スキャナで取り込んだ3Dポリゴンメッシュと写真測量用の点群を合成することで、非常に高い精度と解像度を持つ3Dモデルが完成し、さまざまな計測機器に応用できます。
構造化光3Dスキャンの一般的なアプリケーション
レガシーパーツやアセンブリのリバースエンジニアリング
多くの企業では、古い機器を修理したり、交換したりする必要がありますが、元のメーカーがその製品を供給していなかったり、廃業していたりすることがよくあります。
このような場合、構造化光源3Dスキャンソリューションによってパーツを再現すれば、膨大なコストと膨大な労働時間を節約できる可能性があります。これらのパーツを手作業で測定し、CADで丹念に描くのに必要な時間と専門知識を考えると、ハンドヘルド3Dスキャナはプラチナのような価値があると言えます。
このようなレガシーでソースが難しい部品は、ヘルスケアのさまざまな領域で見られます。例えば、人工装具の部品は、完全に生産中止になっていたり、法外な製品コストや納品リードタイムを要する場合があります。このような部品は、社内でスキャンし、患者の解剖学的構造に合うようにCADでカスタマイズし、オンデマンドで3Dプリントすることが可能です。
考古学的、文化的、歴史的な遺物の文書化
世界中の博物館や研究者にとって、構造光3Dスキャナは、最も貴重な遺物や化石を危険にさらすことなく、その表面の詳細をすべて捉えることを可能にしています。
先史時代の石器や中世の城壁、古代人類の祖先の頭蓋骨など、正確なデジタルアーカイブを作成する必要がある場合もあるでしょう。しかし、これらの対象物は、損傷を避けるために最小限の扱いしかできません。世界中の博物館の学芸員は、構造光3Dスキャンがこのニーズに最も適していると口を揃えて言っています。
超リアルなフルカラーCGIや特殊効果の作成
映画、テレビ、ゲームなどのリアルなコンピュータグラフィックスを生成するために、構造光3Dスキャンを使用することは、今や業界標準となっています。Artec Leoのような携帯型ハンドヘルド3Dスキャナを使えば、セットやスタジオを訪れ、俳優や小道具、さらにはシーン全体のデジタルダブルをスキャンし、加工し、展開することが、スキャン後数分で簡単にできるようになります。
衣服にぴったりフィットする身体測定
人体を正確に測定する場合、巻尺やノギスでは限界があります。そこで、構造化光3Dスキャンが、アナログの前身である3Dスキャンと一線を画しています。特に、ワイヤーやケーブルが邪魔にならない高速のハンドヘルド3Dスキャナなら、人の周りを簡単に移動しながら、あらゆる角度から数分でデジタル撮影することができます。そうすることで、最も緻密な仕立て屋もうらやむような正確な寸法を得ることができるのです。
製造ラインにおける光計測・検査
生産前、生産中、生産後の製品検査において、多くのメーカーが抱える本質的な悩みのひとつは、意外にも精度だけではありません。製品の物理的な構造のばらつきを正確に検出・定量化し、かつ製品にダメージを与えないことです。
構造光型3Dスキャンは、まさにそのような能力を備えています。ノギス、マイクロメーター、CMMマシンなどの物理的な測定ソリューションとは異なり、3Dスキャナでは、表面に傷をつけたり、変形させたりする可能性はありません。
また、3Dスキャンソフトウェアでは、ライン上や搬入口など、検査する場所に関係なく、サブミリ単位の精度で製造上のばらつきを視覚的に確認することが可能です。
構造化光スキャナーの潜在的な弱点
新しい技術について判断する前に、その長所と短所を理解することが重要です。この点で、構造化光は前者の要素が非常に強いと言えます。しかし、ある種の構造化ライト3Dスキャナの限界に挑戦する可能性がある条件を紹介します。
スキャン中の対象物の過度な移動
ハンドヘルドの構造化ライト3Dスキャナで対象物をキャプチャする場合、スキャンする対象物は静止しているか、ターンテーブルで回転させるなど制御された方法で動いていることが想定されます。
どの3Dスキャナも多少なりともこのようなデメリットを抱えていますが、結果はスキャナのFPSキャプチャレートに大きく依存します。例えば、対象物やスキャナーの動きが激しいと、スキャナーの追従性が失われることがあります。この場合、同じ場所をもう一度スキャンし直し、スキャナーの追従性が回復するのを待つ必要があります。しかし、FPSが非常に高い構造化ライトスキャナの場合、このような問題は起こりにくいでしょう。
これはワークフローの問題であり、再スキャンが必要なため、スキャンセッションの時間が不必要に長くなってしまうということです。この問題を解決するには、最初から速度を落として、対象物を規則正しく、着実にスキャンすることが効果的です。人や生物をスキャンする場合は、できるだけ静止させるようにしましょう。
少しでも動きがある場合は、十分な速度のスキャナー、特にスキャンする人や生き物の周りを素早く簡単に操作できるスキャナーを用意することが、ここでの大きな違いとなります。重要なプロジェクトの前に、スキャナーの能力をチェックしてください。特に、キャプチャする必要がある対象が短い時間しかそこに存在しない場合、スキャナーの能力をチェックしてください。
3Dスキャナやフォトグラメトリーで撮影が困難な表面
3DスキャナやCGIフォトグラメトリーで撮影するのが難しい表面はいくつかあります。しかし、だからといってスキャンが不可能というわけではありません。適切な準備と高品質の3Dスキャナを使用することで、デジタル技術の成功の可能性を大きく広げることができます。
非常に暗い表面:この種の表面はあまり一般的ではありませんが、実際に存在し、構造化光を十分に吸収してしまうため、スキャナのカメラにパターンが正しく反射されないことがあります。
超暗黒面をスキャンするためのヒント:ソフトウェアで感度を調整できるスキャナをお持ちの場合、スキャンのプレビュー中に、スキャナから表面が見えるようになるまでスキャナの感度を上げてみてください。
反射率の高い表面(クロムなどの光沢のある金属):構造化された光がこのような表面に当たると、予測できない方向に跳ね返ることがあり、スキャナーのカメラが歪んだ光のパターンを正確に捉えることは技術的に不可能です。
反射率の高い表面をスキャンする際のコツ:対象物から様々な角度や距離でスキャンしてみることです。スキャナーの位置を変え、角度を調整することで、対象物に直接垂直にスキャンしないようにすることもできます。
こうすることで、構造化された光は、カメラにまっすぐ反射するのではなく、より緩やかに分散することができます。この方法を試してみると、これまで撮影できなかった面が突然撮影できるようになるかもしれません。
ガラス質、透明、あるいは半透明な表面:薄い水の層から氷のシート、車の窓ガラス、場合によっては宝石や複合材料まで、あらゆるものがこれに該当します。スキャナーの構造化された光が素材を通過したり、通過中に拡散したりすると、カメラに跳ね返って表面の形状を正確に記録することができません。
ガラスや半透明の表面をスキャンするときのコツ:これらの表面は、構造化された光を吸収したり拡散したりするのではなく、適切に反射させるためのさまざまなオプションがあります。DIYでは、コーンスターチやベビーパウダーをスキャンする対象物に振りかける方法があります。
また、数分から数時間で消えてしまう高品質なマットスプレーもあり、対象物全体を上から下までスキャンするのに十分な時間を確保することができます。
毛むくじゃらの表面:構造化された光がこの種の素材に当たると、光が複数の方向に跳ね返ることがあり、スキャナーのカメラは通常、物体の実際の表面形状を区別するのに十分な光パターンを捉えることができない。
毛髪、羽毛、または類似の素材をスキャンするためのプロヒント:スキャナーのソフトウェアに感度設定がある場合は、それをかなり高くして、髪の毛の微妙な形状をスキャナーが感知できるようにします。また、頭部をスキャンする場合は、頭頂部に向かってスキャナを上に移動させ、反対側には頭頂部を超えるように、「耳から耳へ」スキャンしてください。
また、首や肩もできるだけスキャナーの視野に入れておくと、スキャンソフトがこれらの特徴を基準として追跡するので、スキャナーはより簡単に髪を追跡して捉えることができます。
非常に薄い物体(または物体の断面):それは、構造化された光に照らされ、スキャナーのカメラに十分な量の光を反射することができる表面積が十分でないことに起因しています。例えば、スキャナーが物体の薄いエッジを捉えようとするとき、幅数ミリ(あるいはそれ以下)の表面領域が存在することがあります。
非常に薄いオブジェクトをスキャンするためのプロヒント:スキャナーの視野にカラフルな色や模様のある背景を入れることで、このハードルを越えることができる場合があります。これは、テキストや幾何学的な形や模様のある紙を、スキャンする薄い物体や表面のすぐ後ろに置いておくという簡単なものです。
凹面や深いアンダーカットの場合:どんなに高性能なスキャナであっても(ハンドヘルドスキャナであれば、これらの領域に到達するのは容易です)、構造化光がキャプチャするオブジェクトやシーンの一部分に到達できず、スキャナのカメラに跳ね返る場合、スキャナは単にそれを「見る」ことができず、キャプチャされないということになる。
凹面をスキャンする際のコツ:スキャナによっては、これが得意なものもあります。同様に、この種の届きにくい表面に対する最も効果的なソリューションの1つは、スキャンに含まれる膨大な数の部分的特徴を視覚的に認識し、これらの表面を高解像度カラー3Dで驚くべき精度でデジタル再構成するAIを活用したスキャニングソフトウェアです。
まとめ
上記の概要から明らかなように、今日、構造化光3Dスキャン技術は、さまざまなサイズや複雑さを持つ物体やシーンをキャプチャするための、迅速で使いやすく、正確で効果的なアプローチを提供しています。このことは、世界中の何千人もの熱心なユーザーも間違いなく同意してくれるでしょう。
さらに、東から西まで、学校や大学が3Dスキャンソリューションを導入する数は増え続けており、教育だけでなく、製造、科学捜査、CSI、ヘルスケア、研究など、あらゆる産業において、未来は実に明るいと思われます。