【3D生成AI】ComfyUI+Trellis.2を使ってみた【RTX5060Ti 16GB】 

2026-07-19

当ブログはアフィリエイト広告を利用しています。
This blog uses affiliate advertising.

どうもこんにちは、クララです。

AIの普及に伴い、3DCGや映像制作で使えるAIツールが増えてきています。

前回の記事では「ComfyUI+Trellis」を使ったAIによる3D生成について紹介しましたが、今回の記事ではその進化版にあたる「Trellis.2」のインストール方法や実際のアウトプットを紹介していきたいと思います。

これまで紹介したHunyuan3D-2やTrellisよりも、インプットした画像を詳細に3Dモデル化することが可能です。

前回のComfyUI+Trellis導入時に比べて今回はスムーズに環境構築できましたが、実際のやり方や発生しやすいエラー・解決方法について具体的な手順を交えて紹介します。

また、今回使用したVisualbruno氏によるTrellis.2のフォーク版「ComfyUI Wrapper for Microsoft Trellis.2」の特徴や使い方についてもあわせて紹介していきたいと思います。

ご意見・質問等はクララのTwitter(https://twitter.com/klala_lab)まで(^^)/

ノードベースで生成AIワークフローを作成・保存できるオープンソースのGUIツールComfyUI、およびMicrosoftや清華大学などが共同開発した3D生成AITRELLISの詳細については、前回記事で紹介しているのであわせて参照ください。

広告/AD

ComfyUI+Trellis.2のインストール

こちらの項目では、「ComfyUI+Trellis.2」のインストール方法について紹介していきます。

また、インストール時の注意点や、私がインストールを行った際に実際に発生したエラー・対処法についてもまとめます。

Trellis.2インストール方法の選択肢

Trellis.2には、前回記事で紹介したTrellisと同様に、「単独で使う」方法と、「ComfyUIのノードとして使う」方法があります。

Trellisのインストール方法
  • マニュアルインストール(Python)
  • インストーラ版(trellis-stable-projectorz)
  • ComfyUIへの導入

「単独で使う」方法としては、Python環境からマニュアルインストールする方法と、インストーラを使った方法があります。

Trellis 公式GitHub

以下リンクの”Installation”の項目に、マニュアルインストール方法の説明があります。

https://github.com/microsoft/TRELLIS.2

Trellisインストーラ版(trellis-stable-projectorz)

非公式ですがWindowsインストーラ版が存在します。

Trellis.2には、IgorAherne氏が作成したフォーク版(公式バージョンから独自に改良を施したバージョン)が存在します。

https://github.com/IgorAherne/TRELLIS.2-stableprojectorz

インストーラ版は、IgorAherneのフォーク版をWindowsインストーラ化したものです。

https://github.com/IgorAherne/TRELLIS.2-stableprojectorz/releases/tag/latest

単独で使用する場合、Hunyuan3Dの"Image to 3D"と同じようなUIで、画像から3Dモデルの作成を行うことができるようです。

本記事では取り上げませんが、公式版よりもメモリー消費量を抑えられており比較的低スペックのPCでも動作するようなので、興味がある方は上記リンクからインストーラ版を入手して試してみてください。

Reddit 'I optimized Trellis.2 to fit inside 8GB gpus, – even with 1024^2 voxel detail. Made a single-click installer, works like A1111. RTX 3060 completes in 13 minutes. It’s detail is insane’より

https://www.reddit.com/r/StableDiffusion/comments/1ssx9wg/i_optimized_trellis2_to_fit_inside_8gb_gpus_even

「ComfyUIのノードとして使う」方法については、後のセクションで説明します。

こちらのように、ComfyUIのノードベースのUI上で3Dモデルの生成を行うことができます。

ComfyUIインストール方法の選択肢

ComfyUIには、インストーラ版、ポータブル版、マニュアルインストールの3通りのインストール方法があります。

手軽に使うにはインストーラ版やポータブル版がおすすめですが、Python開発環境を構築・活用したい場合はマニュアルインストールがおすすめです。

ちなみに、Python開発環境の構築方法にもいろいろあり、標準インストーラ・WinPython(ポータブル版)・Conda・WSL2などのオプションがあります。

ComfyUIのインストール方法
  • Windowsインストーラ版
  • Windowsポータブル版
  • マニュアルインストール(Python)
    • Python標準インストーラ
    • WinPython(ポータブル版)
    • Conda(Anaconda, Miniconda)
    • WSL2(Windows Subsystem Linux)

前回のComfyUI+Trellisの時と同様に、今回もWSL2環境でのインストールを実施しました。

WSL2環境でのインストール方法(RTX5060Tiの場合)

ここでは、私の自作PC(RTX5060Ti環境)ComfyUI+Trellis.2のインストール手順を例として紹介します。

手順は以下の通りです。

1~6までの手順は、前回のComfyUI+Trellisのときとほぼ同様ですが、CudaやPython, Pytorchのバージョンはより新しいものを使用しています。

ComfyUIのインストール方法
  1. (事前準備)WSL2の有効化
  2. (事前準備)pyenvの有効化・インストール
  3. (事前準備)python 3.13のインストール・仮想環境有効化
  4. (事前準備)基本ツールのインストール
    • LINUX開発基本ツール
    • Nvidia cuda repo
    • Cuda Toolkit 13.3
    • Pytorch
  5. フォルダ構成の作成
  6. ComfyUIのインストール
  7. Trellis.2のインストール
  8. TRELLIS依存ライブラリ
  9. ComfyUI Managerインストール
  10. モデルダウンロード
  11. ComfyUI+Trellis.2 起動

かなり複雑で、実際にやってみると必ずと言っていいほどエラーが出て止まってしまうと思いますが、一つずつ説明します。

以降はしばらくコマンド(命令文)やそれに対するPCからのアウトプットの表示が並ぶ、まるで呪文のような(?)内容が続きます。
ComfyUI+Trellis.2の画面操作・使用感についてすぐに知りたい方はComfyUI+Trellis.2を実際に使ってみたまでスキップしてください。

本記事で紹介するComfyUI+Trellisのインストールには、Pythonの基礎知識が必要です。

また、インストール方法の安全性は検証しておりませんので、自己責任でお願いします。

事前にシステム・データを外部ドライブ等にバックアップすることを推奨します。

1. (事前準備)WSL2の有効化

今回、「WSL2」上にPython環境を構築し、そちらにComfyUI+Trellisをマニュアルインストールします。

WSLとは「Windows Subsystem Linux」の略で、Windows OS上でサブシステムとしてLinux OSを使えるようにできるWindowsの標準機能です。

詳細はMicrosoft公式サイトを参照ください。

https://learn.microsoft.com/ja-jp/windows/wsl/about

WSL2は仮想マシン上でLinuxを動かす、新しいバージョンのWSLです。

Microsoftによると「WSL 2 の方がパフォーマンスが向上し、システム呼び出しの互換性が 100% するため、WSL 2 を使用することをお勧め」だそうです。

https://learn.microsoft.com/ja-jp/windows/wsl/compare-versions

ただし、BIOSの初期設定次第ではWSL2が使えないケースがあります。

まず、タスクマネージャー (Ctrl+Shift+Esc) を起動し、CPUの項目で「仮想化:有効」になっているか確認してみてください。

上の例のように「無効」となっていた場合は、いったんPCを再起動しBIOS(UEFI)を起動してください(ブート画面で「Delete」または「F2」を連打)。

BIOS画面が起動したら、「Advanced」→「Security」→「Chipset」→「Processor」→「Virtualization」→「Enable」を設定・設定を保存し(マザーボードのベンダーによって項目が異なる可能性あり)、Windowsを起動します。

参考サイト:https://qiita.com/matarillo/items/98d7452967987fe5d633

再度タスクマネージャーを確認し、CPUの項目で「仮想化:有効」になっていることを確認してください。

仮想化を有効化したら、「Windows PowerShell」をアプリ一覧で検索し、右クリックで「管理者として実行」を選択します。

以下のような画面が起動するはずです。

以下コマンドを入力します。

wsl --install

一度、コンピュータを再起動する必要があります。

再起動後、Linux OSがWSL2にインストールされます。

コマンドプロンプト(アプリ一覧で「cmd」と入力して表示される、Windows標準のCUIアプリケーションです)を立ち上げて"wsl"と入力すると、WSL2が起動します。

WSL2起動後に以下コマンドを入力すると、Linux OSとバージョンを確認できます。

lsb_release -a

以下のように"Ubuntu"の"バージョン24.04″のインストールが確認できればOKです。

C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools>wsl 
(User name)@(Computer name):/mnt/c/Users/user$ lsb_release -a 
No LSB modules are available. 
Distributor ID: Ubuntu 
Description: Ubuntu 24.04.4 LTS 
Release: 24.04 
Codename: noble

2. (事前準備)pyenvの有効化・インストール

今後Stable Diffusionなど他のAIツールを使うことを考慮し、ComfyUI+Trellis.2専用のPython環境を構築することにしました。

(一つの環境の中に異なるバージョンのPythonやライブラリが混在するとさまざまなエラーを引き起こす可能性が高いため。)

前回のComfyUI+Trellisと同様に、Pythonのバージョン管理ツール"Pyenv"(パイエン)を使うことで古いバージョンのPythonが使える上、異なるバージョンのPython環境を複数構築できるようになります。

参考記事:

https://zenn.dev/tsaeki/articles/bc868a8d8fd6ae

https://zenn.dev/hr0t15/articles/8ae3564bde2cce

今回は、以下の方法で「comfy_trellis2」というpyenvを作成しました。

まずはWSL2を起動し、以下コマンドをインプットして必要パッケージをインストールします。

sudo apt update
sudo apt install -y build-essential curl git libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev \
libffi-dev liblzma-dev

次に、以下コマンドでpyenvをインストールします。

curl https://pyenv.run | bash

以下の通り、pyenvを起動できるように環境変数・シェル設定をします(コマンドラインシェルにBashを使用している場合)。

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
source ~/.bashrc

3. (事前準備)python 3.13のインストール・仮想環境有効化

以下コマンドを入力し、python 3.13をインストールします(今回使用した「Visualbruno」版のTrellis.2がPython3.13対応だったため)。

pyenv install 3.13.13

仮想環境を作成します。

pyenv virtualenv 3.13.13 comfy_trellis2

以降の手順は、以下コマンドで仮想環境を有効化した状態で行っていきます。

pyenv activate comfy_trellis2

4. (事前準備)基本ツールのインストール

ComfyUI・Trellisのプログラムをビルド・コンパイルするために、さまざまなツールをインストールする必要があります。

WSL環境用開発基本ツール

以下の各種ツールをインストールします。

WSL環境用開発基本ツール
  • build-essential: GCC (C/C++コンパイラ)、Makeなど、パッケージのビルドに必須となるツール群をまとめてインストールするメタパッケージ。
  • linux-headers-generic: 現在動作しているカーネルに対応するヘッダーファイル。カーネルモジュール(ドライバなど)をビルドする際に必要となる。
  • cmake: コンパイラに依存しない、クロスプラットフォームなビルド管理ツール。Makefileを自動生成する。
  • ninja-build: ビルドツール。Makeよりも高速なビルドを目指して開発されたツール。
  • pkg-config: コンパイル時やリンク時に、ライブラリのヘッダーファイルや共有ライブラリの場所(パス)を自動的に取得するツール。

参考サイト:

https://qiita.com/h_tyokinuhata/items/431a56fb054145468c16

https://kazuhira-r.hatenablog.com/entry/2020/11/30/204027

https://manpages.ubuntu.com/manpages/bionic/man7/cmake-modules.7.html

以下コマンドを入力することで、これらの開発ツールを一括でインストールできます。

sudo apt update
sudo apt install -y build-essential linux-headers-generic cmake ninja-build pkg-config

NVIDIA CUDA リポジトリ追加

インストールするUbuntuとCUDA Toolkitのバージョンに合わせたNvidia CUDA公式リポジトリをインストールします。

参考サイト:https://www.kkaneko.jp/tools/ubuntu/ubuntu_cudnn.html#S5

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

CUDA Toolkit 12.8

CUDA Toolkitは、「NVIDIA製GPUを使って並列計算や機械学習などのプログラムを開発・実行するために必要な総合開発パッケージ(SDK)」とのことです。

参考サイト:https://qiita.com/GeneLab_999/items/091d3fc7945bc7a7722

今回使用したVisualbruno版のComfyUI-Trellis2は、比較的新しいPytorch2.11+Cuda13に対応しています。

https://github.com/visualbruno/ComfyUI-Trellis2

以下コマンドで、RTX5000番台に対応するCUDA Toolkit 13.3をインストールしました。

sudo apt update
sudo apt install -y cuda-toolkit-13-3

環境変数追加

CUDA Toolkitを実行するために、以下コマンドを入力しパスを通す必要があります。

echo 'export CUDA_HOME=/usr/local/cuda' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

“nvcc –version"をインプットして以下のように表示されればOKです。

(User)@(Computer):/mnt/c/Users/user$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2026 NVIDIA Corporation
Built on Tue_Jun_09_02:43:40_PM_PDT_2026
Cuda compilation tools, release 13.3, V13.3.73
Build cuda_13.3.r13.3/compiler.38244171_0

PyTorch

PyTorch(パイトーチ)は、「Meta(旧Facebook)のAI研究グループが開発したPython向けの代表的なオープンソース機械学習・深層学習ライブラリで、画像認識、自然言語処理、生成AIなどの最先端技術の開発や学術研究で最も広く利用されている」とのこと。

参考サイト:https://pe-bank.jp/guide/skill/251121-01/

以下のコマンドを入力して、CUDA 13.0向けのホイール(コンパイル済みのバイナリを含むパッケージ)をインストールしました。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

PyTorchが正常にインストールできたか確認するために、

python -c "import torch; print(torch.__version__); print(torch.cuda.get_device_capability(0))"

と入力し、

2.11.0+cu130
(12, 0)

などと出ればOKです。

(使用したpytorchのバージョンは2.11です。)

広告/AD

5. フォルダ構成の作成

Windows側で、ComfyUI・Trellis.2のインストールを行うフォルダを作成します。

「C:\ComfyUI_TRELLIS2」など深くない階層が良いと思います。

WSL上で、フォルダに移動します。

cd /mnt/c/ComfyUI_TRELLIS2

6. ComfyUIのインストール

GithubからComfyUIをインストールし、"requirements.txt"に記載されたライブラリをインストールします。

以下コマンドを入力することで一発で実行できます。

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt

以下のように、Successfully installed ~が表示されればOKです。

7. Trellis.2のインストール

ComfyUIインストールフォルダの"custom_nodesフォルダ"に、Trellis.2をインストールします。

以下コマンドでGithubからインストールしました(Visualbrunoによるフォーク版)。

cd custom_nodes
git clone https://github.com/visualbruno/ComfyUI-Trellis2

2026年7月時点でのTrellis.2の主なフォーク版としては、本記事で紹介するVisualbruno版のほかに、PozzettiAndrea版があります。

私は最初こちらを試しましたが、Windows環境を前提としているのか、WSL2環境ではエラーが発生してしまいうまくいきませんでした。
ComfyUI Windowsインストール版またはPortable版をお使いの方は、こちらを試してみてもよいと思います。
https://github.com/pozzettiandrea/ComfyUI-TRELLIS2

8. TRELLIS.2依存ライブラリ

Visualbruno版のインストールを、以下Githubの「Installation Guide」の手順に沿って進めていきます。

お使いのハードウェアやPythonのバージョンによってインストール元のファイルが変わってきます。

作業を始める前に必ず「Installation Guide」に目を通して内容を理解するようにしてください。

https://github.com/visualbruno/ComfyUI-Trellis2

まずは、コピーした「ComfyUI-Trellis2」の下にある「wheels」(コンパイル済みのpythonファイル)のファイルを使って、「cumesh」「flex_gemm」「nvdiffrast」「nvdiffrec_render」「o_voxel」をインストールします。

ちなみに、私は最初「Python 3.11+Pytorch2.7.0 + cuda128」でインストールしようとしたのですが、「o_voxel」というライブラリーのインストールのところで引っ掛かってしまいうまくいきませんでした。

ですが、Visualbruno版のLinuxのwheelに「Python3.13+Pytorch2.11.0+Cuda13.0」があったためそちらの環境で試したところインストールに成功しました。

以下コマンドでwheelをインストールします。

python -m pip install ComfyUI-Trellis2/wheels/Linux/Torch2110/cumesh-1.0-cp313-cp313-linux_x86_64.whl
python -m pip install ComfyUI-Trellis2/wheels/Linux/Torch2110/flex_gemm-1.0.0-cp313-cp313-linux_x86_64.whl
python -m pip install ComfyUI-Trellis2/wheels/Linux/Torch2110/nvdiffrast-0.4.0-cp313-cp313-linux_x86_64.whl
python -m pip install ComfyUI-Trellis2/wheels/Linux/Torch2110/nvdiffrec_render-0.0.0-cp313-cp313-linux_x86_64.whl
python -m pip install ComfyUI-Trellis2/wheels/Linux/Torch2110/o_voxel-0.0.1-cp313-cp313-linux_x86_64.whl

wheelを入れ終わったら、requirement.txtをインストールしていきます。

python -m pip install -r ComfyUI-Trellis2/requirements.txt

なお、requirements.txtには含まれていませんが、背景の削除をComfyUIのノード処理で行う場合はpythonライブラリ"rembg"をインストールする必要がありますので、以下を実施しておくことをおすすめします。

pip install "rembg[gpu]"

9. ComfyUI Manager導入

ComfyUIのカスタムノードを管理するためのツール「ComfyUI Manager」をインストールしました。

cd /mnt/c/ComfyUI_Trellis2/ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

10. モデルダウンロード

Trellis2を初めて実行する際に、Hugging faceからTrellis.2とDinov3(画像認識モデル)のモデルデータが自動ダウンロードされるようになっています。

ただし、数十GBのファイルが一度にダウンロードされるため、途中でサーバーとの接続が止まりエラーが出る可能性が高いです。

あらかじめモデルデータをインストールすることをおすすめします。

cd /mnt/c/ComfyUI_TRELLIS2/ComfyUI/models
mkdir microsoft facebook
cd microsoft
git clone https://huggingface.co/microsoft/TRELLIS.2-4B
cd ../facebook
git clone https://huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m

11. ComfyUI+Trellis 起動

インストール作業が一通り完了したところで、以下のコマンドを入力してComfy UIを起動します。

cd mnt/c/ComfyUI_Trellis2
python main.py --enable-manager

順調に起動できれば

To see the GUI go to: http://127.0.0.1:8188

というメッセージがコマンドプロンプトに表示されるはずですので、ブラウザのアドレスにhttp://127.0.0.1:8188と入力すればComfyUIの画面が開きます。

「ComfyUI\custom_nodes\ComfyUI-Trellis2\example_workflows」に保存されているワークフロー(「MeshWithTexturing.json」など)を読み込み、「カスタムノードが存在しない」等のエラーメッセージが表示されなければ、まずはTrellis.2の起動成功です。

インストール時の注意点・エラーについて

インストール時の注意点は以下のとおりです(ComfyUI+Trellisの時と同じ)。

ComfyUI+Trellisインストール時の注意点
  • Nvidia製のGPUを使用する
  • GPUのドライバーを最新にする
  • GPUのバージョンと整合したCUDA Toolkitをインストールする
  • 行き詰ったら、旧ファイル・仮想環境はすべて削除し、クリーンな環境を再作成してやり直す。

Trellis.2のインストール時に発生する可能性がある主なエラーと対処法は以下のとおりです。

エラー内容エラー表示例対処法
ライブラリが未インストールModuleNotFoundError: No module named 'xxxxx’ライブラリをインストールする
“requirement.txt"を再インストールする
CUDA Toolkit未インストールfatal error: cuda_runtime.hCUDA Toolkitをインストールする
CUDAとPyTorchのバージョン不整合RuntimeError:
The detected CUDA version (13.3)
mismatches the version that was used to compile PyTorch (xx.x)
PyTorchを入れ直す;
pip uninstall torch torchvision torchaudio -y
pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu130
python -c “import torch; print(torch.version.cuda)"
PyTorchが見つからないエラーModuleNotFoundError: No module named 'torch’pyenv環境を再構築し、setuptool wheelを更新する
Python, CUDAのバージョンと整合したpytorchを再インストールする
PyTorch更新後にrequirements.txtを再インストールする
FlashAttention関係のエラーModuleNotFoundError: No module named 'flash_attn’FlashAttentionを参照せずSDPAを参照するよう「LoadModel」ノードの設定を修正
HuggingFace認証エラーhuggingface_hub.errors.RepositoryNotFoundError: 401 Client Error.ローカルにモデルを保存する(ComfyUI_TRELLIS\ComfyUI\models\checkpoints)
ComfyUI上で参照するモデルを選択

エラーの対策方法としては、インターネット上でエラー内容を検索する他、Chat GPTなどの生成AIに質問すると原因や対処方法のアドバイスをくれるので、困ったときの対処としておすすめです(ただしインターネットやAIの回答は100%正確ではなく、時々間違ったことを言ってくる点は注意が必要です)。

広告/AD

ComfyUI+Trellisを実際に使ってみた

ここからは、ComfyUI+Trellis.2の使い方や出力結果について、設定画面や生成した3Dモデル画像を交えながら紹介していきます。

使用環境は以下のとおりです。

  • Windows 11
  • CPU Intel Core Ultra 7 265KF
  • メモリ32GB(DDR5-6000)
  • GPU RTX5060Ti(VRAM 16GB)

ComfyUI起動方法

ComfyUIのインストール手順でも紹介したとおり、通常の起動時も以下手順を行います。

コマンドプロンプトに以下のコマンドを入力してComfy UIを起動します。

以下メッセージがコマンドプロンプトに表示された後、ブラウザのアドレスにhttp://127.0.0.1:8188と入力すればComfyUIの画面が開きます。

ちなみに、毎回コマンド入力をするのは面倒なので、私は以下のようなバッチファイル(~.bat)を作成しワンクリックで起動するようにしています。

@echo off
start http://127.0.0.1:8188
wsl -d Ubuntu -e bash -lc "export PYENV_ROOT=$HOME/.pyenv && export PATH=$PYENV_ROOT/bin:$PATH && eval \"$(pyenv init -)\" && cd /mnt/(ドライブ名)/(親フォルダ名)/ComfyUI_Trellis2/ComfyUI && pyenv activate comfy_trellis2 && python main.py"
pause

Trellis.2で単一画像から3Dモデルを生成・エクスポートするまでの流れ

ComfyUI上でTrellis.2を使って3D生成を行うには、ノードを接続した「ワークフロー」を作成し実行する必要があります。

ComfyUI上でのノードの追加・接続方法などの基本的な操作方法は、前回記事で紹介したのでそちらを参照してください。

ありがたいことに、今回使用したVisualbruno版のComfyUI+Trelllis.2のパッケージには使用用途や生成する3Dモデルのサイズにあわせて19種類のワークフローが同梱されています。

ですので、一からワークフローを作成する必要はありません。

「MeshWithTexturing.json」を使うことで、単一画像からテクスチャ付きの3Dモデル(.glbファイル)を作成することができます。

まずは、ComfyUIの左側のメニューから、「MeshWithTexturing.json」を読み込んでください。

事前に、立ち絵のイラストを用意しておきます。

BlendAI株式会社のキャラクター「デルタもん」のイラストを、ChatGPTを使って3D風に変換したものをComfyUIへのインプットとして使用します。

ワークフローの左下にある「Image with Transparency」ノードで、画像が保存されているフォルダ・ファイルを選択、または画像をノードにドラッグアンドドロップすることで、読み込む画像を指定できます。

Visualbruno版ComfyUI+Trellis.2のワークフローを実行するうえで注意しておくべき点が2点あります。

1つ目ですが、「Trellis2-LoadModel」のノードの「Backend」を初期設定の「flash_attn」から「sdpa」に変更しておく必要があります。

変更しないまま走らせると「[ERROR] !!! Exception during processing !!! No module named 'flash_attn’」というエラーが出ます。

高速化ライブラリのflash attentionを追加でインストールすれば解決するはずですが、pytorch標準の「sdpa」でも問題ありません(興味がある方は試してみてください)。

2つ目ですが、インプットする画像は背景透過にしておくことをおすすめします。

私も最初、アルファチャンネルがない画像ファイルを読み込み、「Preprocess Image」ノードの「remove_background」を「false」にしたまま走らせた際に「[ERROR] !!! Exception during processing !!! index 3 is out of bounds for axis 2 with size 3」というエラーが発生しました。

原因を確認したところ、RGBA前提のインプットにRGBを読み込んだために発生したようです。

アルファチャンネルを追加し、背景透過したファイルを読み込むことでエラーが回避できます。

やり方はインターネットで調べればすぐ出てきますが、例えばこちらの記事ではGIMPを使ったやり方を解説されています。

https://qiita.com/kazuma_f/items/aab25be9969b685be839

背景透過なしのファイルを読み込みたい場合は、「Preprocess Image」ノードの「remove_background」を「True」にし、

pip install "rembg[gpu]"

で背景削除を行うPythonライブラリ「rembg」をインストールすることでエラーを回避できます。

(ただし、rembgの背景削除のクオリティがあまりよくないためか、白い服の一部が黒くなるなどの問題があります。詳細は後ほど解説します。)

ComfyUIの実行ボタンをクリックすると、ワークフローの実行が開始します。

ワークフローの実行が成功した場合は、「ジョブが完了しました」というメッセージが表示され、ワークフロー右端の3Dプレビューに生成したモデルが表示されます。

デフォルト設定の場合、アウトプットした.glbファイルは「ComfyUI_TRELLIS2\ComfyUI\output\(プロジェクト名)」のフォルダに保存されます。

.glbファイルは3DCGソフト「blender」などの外部ソフト上で見ることができます。

設定による出力結果の違い

Visualbruno版のワークフローにはいろんなノードが含まれていますが、おもに以下の項目を調整することで生成されるモデルの見た目を変更できます。

Trellis設定項目(一部)
  • 「Sparse Generator」→「Seed」: 生成プロセスのランダム性を制御。0以上の整数値で設定可能。同じ数値を設定するとほぼ同じアウトプットが生成される。
  • 「Sparse Generator」→「sparse_structure_guidance_strength」: 「インプットする画像に対する3D構造の忠実度」を調節する値で、デフォルト値7.5から大きくするほど画像に対して忠実な3D構造を作成し、数値を小さくすると画像では足りない部分を補完してまとまりのある3D構造を作成する。
  • 「Shape Cascade Generator」→「resolution」: 3Dグリッドの分解能。デフォルトが1024だがより高解像度の1536も選択できる。1536にすると細部を表現できるが計算時間が長くなる
  • 「PreProcess Image」→「remove_Background」:デフォルトは背景透過画像を前提とした「false」の設定。「true」で背景を削除できます。

各パラメータの数値を変えたときに、生成結果がどうなるか比較検証してみましたので、結果をざっとお見せします。

「Sparse Generator」→「Seed」

シードを11111, 12345で生成した結果をComfyUI上で並べています。

シードを変えると結構見た目が変わりますので、好みの結果が出るまでシードを変えてみるのも良いかもしれません。

「Sparse Generator」→「sparse_structure_guidance_strength」

sparse_structure_guidance_strengthを3, 7.5(デフォルト), 10で生成した結果です。

7.5が最もバランスよく見えます。

3は元のインプット画像から多少離れますが、手の形状などは人物モデルとして自然になっているように見えます。

10にした場合は、耳の付け根や親指の爪に突起ができたりなど形状的に不自然な部分が発生しています。

「Shape Cascade Generator」→「resolution」

左が1024(デフォルト), 右が1536で生成した結果です。

1536のほうは瞳や口角といった顔の細部まで表現できています。

「PreProcess Image」→「remove_Background」

背景透過ありの画像をインプットし、左は「remove_background」を「はい(true)」、右は「いいえ(false)」にしたときの結果です。

remove backgroundありだと、袖や指先が背景として認識されてしまうためか、黒くなってしまっています。

ですので、基本的には背景透過ありの画像をインプットして、remove backgroundは無効にした方が品質は良くなります。

ただし、以下の例のように背景ありの画像を入力する場合は、remove backgroundを有効にすると(完ぺきではないですが)かなりいい具合に背景だけ削除してくれます。

(左は「remove_background」を「はい(true)」、右は「いいえ(false)」にしたときの結果)

広告/AD

Hunyuan3D, Trellisとの比較

過去の記事で紹介した3D生成AI「Hunyuan3D」「Trellis」とのアウトプットを比較してみます。

さまざまな3Dモデルを作成した結果を比較してみました(左がHunyuan3D-2.0, 中央がTrellis、右がTrellis.2の結果)。

全体的に、Hunyuan3DやTrellisと比べて、Trellis.2は複雑な形状もかなりディテールを表現できるようになっています

その反面、Trellis.2は生成に非常に時間がかかります。

標準的な設定で、7~8分程度かかります(Hunyuan3D-2は約30秒、Trellisは1分程度)。

早く結果を出力したい方はHunyuan3D-2またはTrellis「時間がかかってもよいから精密なモデルを作りたい」という方はTrellis.2と使い分けた方がよいでしょう。

Trellis.2は、他の2つのモデルと比べて、机の形状や天板の木目模様をかなりリアルに表現できています。

Trellis.2は花びらのしわや、花の中心の細かい凹凸をよく表現できています(集合体恐怖症の人は注意!)。

自動車(MINI Cooper)

Trellis.2は、フロントグリルやエンブレムなど細部がかなり綺麗に再現されています。

機関車

こちらの例に関しては、Trellis.2の再現度の高さが他の2つを大きく引き離しています。

煙突や車輪一つ一つまで詳細をよく表現できており、3Dモデルとしてもかなり完成度が高くなっているように見えます。

写真ではよく見えない後ろ足まわりの形状はちょっと怪しいですが、猫の顔や首周りの毛のモフモフ感が表現されています。

やかん

Trellis.2は格子模様が付いているのと、取っ手の影が形状として認識されているのが気になりますが、やかんの質感や部品の詳細形状をよく表現できていると思います。

ハンバーガー

こちらの例に関しては、もともとHunyuan, Trellisでハンバーガーの形状・色合いをよく表現できていましたが、Trellis.2になってさらにディテールの解像度が上がりました。

広告/AD

まとめ

ComfyUI+Trellis.2の導入と使い方について、一通り紹介してみました。

実際に試してみて、一世代前のTrellisと比べてTrellis.2は画像を3D形状として再現する能力が格段に上がっているのがよくわかりました。

ぜひこちらの記事を参考にTrellis.2を試してみていただければと思います。

なお、AIによる3D生成をわかりやすく・親しみやすくお伝えするため、今回の記事執筆でもBlendAI株式会社のキャラクター「デルタもん」を使わせていただきましたので、最後にあらためて感謝申し上げます。

広告/AD