【3D生成AI】ComfyUI+Trellisを使ってみた【RTX5060Ti 16GB】

2026-06-28

どうもこんにちは、クララです。

AIの普及に伴い、3DCGや映像制作で使えるAIツールが増えてきています。

前回の「Hunyuan3D-2-WinPortable」に引き続き、今回の記事では3D生成AI「Trellis」のインストール方法や実際のアウトプットを紹介していきたいと思います。

Hunyuan3D-WinPortableと比べて、ComfyUI版Trellisのインストールにはかなり苦戦したので、実際のやり方や自分がつまづいたポイント・解決方法について具体的な手順を交えて紹介します。

また、今回Trellisを動かす基盤として使用した、各種AI画像・動画生成ツールをノードベースでカスタマイズしローカルPC上で実行できるソフト「ComfyUI」の使い方についてもあわせて紹介していきたいと思います。

ご意見・質問等はクララのTwitter（https://twitter.com/klala_lab）まで(^^)/

ComfyUIについて

まずは、今回Trellisを使用するにあたりプラットフォームとして利用した「ComfyUI」について紹介します！

…と言いながら、ComfyUIについて私自身これまで使ったことがなく説明できるほどは詳しくありません(^^;)

そこで、生成AI 「Google Gemini」に聞いたところ以下のように解説してくれました。

ComfyUIは、Stable Diffusionなどの画像生成AIを、ノード（機能ブロック）をつなぎ合わせて操作するオープンソースの高性能GUIです。視覚的にワークフロー（生成プロセス）を設計でき、高速・軽量で、高度な画像・動画・3D生成が可能です。

ComfyUIは、下図のように各種AIツールの機能を表現する「ノード」を「コネクタ」で接続し、直感的にAIによる画像・動画生成のパイプラインを作成できるのが特徴です。

ComfyUI上で使用できる代表的AIツールとしては以下があります。

ComfyUIは世界中に多くのユーザーがいるため(プレスリリースによると2026年4月現在約400万人)、使用方法やエラーへの対処方法についてもインターネットから情報を入手できます。

ComfyUIの全般的な説明については、以下サイトを参照してください。

Comfy.org

https://comfy.org

ComfyUI公式ドキュメント

https://docs.comfy.org/ja

ComfyUI Wiki

https://comfyui-wiki.com/ja

福山大学工学部 工学部 情報工学科 金子邦彦研究室 ComfyUI ユーザーガイド (Windows)

https://www.kkaneko.jp/cc/aiintro/comfyuidesktop.html

Trellisについて

3D生成AI「Trellis」についてもGoogle Geminiに尋ねたところ、以下のように解説してくれました。

2024年末に発表された、Microsoft、清華大学、中国科学技術大学の研究チームによる、テキストまたは1枚の画像から、高精細な3Dアセットを高速・高品質に生成するAIモデルです。 [1, 2]

• 技術の核: 「Structured Latent (SLAT)」という独自表現手法を用い、形状（ジオメトリ）だけでなくPBRテクスチャ（物理ベースレンダリング）も生成可能。
• 用途: ゲーム開発、VR/AR、メタバース用の3D素材作成。
• 特徴: 2026年時点で「Trellis.2」がリリースされており、8GBのビデオメモリ（VRAM）で動作するよう最適化されているため、ローカル環境でも動かしやすい。 [1, 2, 3, 4, 5]

下図はTrellisの使用例ですが、読み込んだ画像ファイルをもとに3Dモデルを生成してくれます(ComfyUIのノードとして使用した例)。

ローカル環境で使用できるTrellisシリーズ最新版はTrellis.2になりますが、Chat GPTとの会話の結果、まずは情報が多くトラブル解決しやすいということで、Trellis(バージョン１)のインストールに挑戦してみることにしました。

（Trellis.2については、別記事にてあらためて紹介したいと思います。）

Trellisには複数のインストール方法（インストーラ版(非公式)、マニュアルインストール、ComfyUIノードとしてインストール）があります。インストール方法については後ほど詳しく説明します。

なお、Trellisの全般的な説明については、以下サイトを参照してください。

Microsoft Trellis公式サイト

https://microsoft.github.io/TRELLIS

Trellis公式GitHub

https://github.com/microsoft/TRELLIS

Gigazine記事

https://gigazine.net/news/20241210-trellis-structured-latents

福山大学工学部 工学部 情報工学科 金子邦彦研究室 「TRELLIS による画像から3Dアセットへの変換（ソースコードと実行結果）」

https://www.kkaneko.jp/ai/labo/trellis.html

ComfyUI+Trellisのインストール

こちらの項目では、「ComfyUI+Trellis」のインストール方法について紹介していきます。

また、インストール時の注意点や、私がインストールを行った際に実際に発生したエラー・対処法についてもまとめます。

Trellisインストール方法の選択肢

Trellisには、大きく分けて「単独で使う」方法と、「ComfyUIのノードとして使う」方法があります。

「単独で使う」方法としては、Python環境からマニュアルインストールする方法と、インストーラを使った方法があります。

Trellis 公式GitHub

以下リンクの”Installation”の項目に、マニュアルインストール方法の説明があります。

https://github.com/microsoft/TRELLIS

Trellisインストーラ版(trellis-stable-projectorz)

非公式ですがWindowsインストーラ版が存在します。

Trellisには、IgorAherne氏が作成したフォーク版（公式バージョンから独自に改良を施したバージョン）が存在します。

https://github.com/IgorAherne/trellis-stable-projectorz

インストーラ版は、IgorAherneのフォーク版をWindowsインストーラ化したものです。

https://github.com/IgorAherne/trellis-stable-projectorz/releases/tag/latest

単独で使用する場合、Hunyuan3Dの"Image to 3D"と同じようなUIで、画像から3Dモデルの作成を行うことができるようです。

本記事では取り上げませんが、公式版よりもメモリー消費量を抑えられており比較的低スペックのPCでも動作するようなので、興味がある方は上記リンクからインストーラ版を入手して試してみてください。

Reddit '"Trellis image-to-3d": I made it work with half-precision, which reduced GPU memory requirement 16GB -> 8 GB’より

https://www.reddit.com/r/StableDiffusion/comments/1hudvty/trellis_imageto3d_i_made_it_work_with

「ComfyUIのノードとして使う」方法については、後のセクションで説明します。

こちらのように、ComfyUIのノードベースのUI上で3Dモデルの生成を行うことができます。

ComfyUIインストール方法の選択肢

ComfyUIには、インストーラ版、ポータブル版、マニュアルインストールの3通りのインストール方法があります。

手軽に使うにはインストーラ版やポータブル版がおすすめですが、Python開発環境を構築・活用したい場合はマニュアルインストールがおすすめです。

ちなみに、Python開発環境の構築方法にもいろいろあり、標準インストーラ・WinPython（ポータブル版）・Conda・WSL2などのオプションがあります。

今回ComfyUI+Trellisを試してみてわかったことですが、Trellisに組み込まれているプログラムが環境(OS, GPU, Cuda Toolkit, Pytorch等)との相性関係でうまく動かないことが多く、ComfyUI Windowsポータブル版とPython標準インストーラ版で試したところうまく動きませんでした。

ChatGPTのアドバイスに従い、WSL2環境でのインストールを実施しました。

WSL2環境でのインストール方法(RTX5060Tiの場合)

ここでは、私の自作PC（RTX5060Ti環境）のComfyUI+Trellisのインストール手順を例として紹介します。

手順は以下の通りです。

かなり複雑で、実際にやってみると必ずと言っていいほどエラーが出て止まってしまうと思いますが、一つずつ説明します。

1. (事前準備)WSL2の有効化

今回、「WSL2」上にPython環境を構築し、そちらにComfyUI＋Trellisをマニュアルインストールします。

WSLとは「Windows Subsystem Linux」の略で、Windows OS上でサブシステムとしてLinux OSを使えるようにできるWindowsの標準機能です。

詳細はMicrosoft公式サイトを参照ください。

https://learn.microsoft.com/ja-jp/windows/wsl/about

WSL2は仮想マシン上でLinuxを動かす、新しいバージョンのWSLです。

Microsoftによると「WSL 2 の方がパフォーマンスが向上し、システム呼び出しの互換性が 100% するため、WSL 2 を使用することをお勧め」だそうです。

https://learn.microsoft.com/ja-jp/windows/wsl/compare-versions

ただし、BIOSの初期設定次第ではWSL2が使えないケースがあります。

まず、タスクマネージャー （Ctrl+Shift+Esc） を起動し、CPUの項目で「仮想化：有効」になっているか確認してみてください。

上の例のように「無効」となっていた場合は、いったんPCを再起動しBIOS(UEFI)を起動してください（ブート画面で「Delete」または「F2」を連打)。

BIOS画面が起動したら、「Advanced」→「Security」→「Chipset」→「Processor」→「Virtualization」→「Enable」を設定・設定を保存し（マザーボードのベンダーによって項目が異なる可能性あり）、Windowsを起動します。

参考サイト：https://qiita.com/matarillo/items/98d7452967987fe5d633

再度タスクマネージャーを確認し、CPUの項目で「仮想化：有効」になっていることを確認してください。

仮想化を有効化したら、「Windows PowerShell」をアプリ一覧で検索し、右クリックで「管理者として実行」を選択します。

以下のような画面が起動するはずです。

以下コマンドを入力します。

wsl --install

一度、コンピュータを再起動する必要があります。

再起動後、Linux OSがWSL2にインストールされます。

コマンドプロンプト（アプリ一覧で「cmd」と入力して表示される、Windows標準のCUIアプリケーションです）を立ち上げて"wsl"と入力すると、WSL2が起動します。

WSL2起動後に以下コマンドを入力すると、Linux OSとバージョンを確認できます。

lsb_release -a

以下のように"Ubuntu"の"バージョン24.04″のインストールが確認できればOKです。

C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools>wsl 
(User name)@(Computer name):/mnt/c/Users/user$ lsb_release -a 
No LSB modules are available. 
Distributor ID: Ubuntu 
Description: Ubuntu 24.04.4 LTS 
Release: 24.04 
Codename: noble

2. (事前準備)pyenvの有効化・インストール

ComfyUI+TrellisをインストールするにあたりChat GPTに相談したところ、今後Stable Diffusionなど他のAIツールを使うのであれば、専用のPython環境を構築したほうが良いとアドバイスをもらいました。

例えば、Trellisで使用する「spconv」という点群計算ライブラリがあるのですが、Python 3.12ではうまくインストールできなかったため、Python 3.11または3.10という古いバージョンを使用する必要があります。

今後他のアプリケーションを利用する中で、一つの環境の中に異なるバージョンのPythonやライブラリが混在するとさまざまなエラーを引き起こす可能性が高いです。

再度ChatGPTに相談したところ、Pythonのバージョン管理ツール"Pyenv"(パイエン)を使うことで古いバージョンのPythonが使える上、異なるバージョンのPython環境を複数構築できるようになるとのこと。

参考記事：

https://zenn.dev/tsaeki/articles/bc868a8d8fd6ae

https://zenn.dev/hr0t15/articles/8ae3564bde2cce

今回は、以下の方法で「comfy_trellis」というpyenvを作成しました。

まずはWSL2を起動し、以下コマンドをインプットして必要パッケージをインストールします。

sudo apt update
sudo apt install -y build-essential curl git libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev \
libffi-dev liblzma-dev

次に、以下コマンドでpyenvをインストールします。

curl https://pyenv.run | bash

以下の通り、pyenvを起動できるように環境変数・シェル設定をします（コマンドラインシェルにBashを使用している場合）。

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
source ~/.bashrc

3. (事前準備)python 3.10のインストール・仮想環境有効化

以下コマンドを入力し、python 3.10をインストールします。

pyenv install 3.10.13

仮想環境を作成します。

pyenv virtualenv 3.10.13 comfy_trellis

以降の手順は、以下コマンドで仮想環境を有効化した状態で行っていきます。

pyenv activate comfy_trellis

4. (事前準備)基本ツールのインストール

ComfyUI・Trellisのプログラムをビルド・コンパイルするために、さまざまなツールをインストールする必要があります。

WSL環境用開発基本ツール

以下の各種ツールをインストールします。

参考サイト：

https://qiita.com/h_tyokinuhata/items/431a56fb054145468c16

https://manpages.ubuntu.com/manpages/bionic/man7/cmake-modules.7.html

以下コマンドを入力することで、これらの開発ツールを一括でインストールできます。

sudo apt update
sudo apt install -y build-essential linux-headers-generic cmake ninja-build pkg-config

NVIDIA CUDA リポジトリ追加

インストールするUbuntuとCUDA Toolkitのバージョンに合わせたNvidia CUDA公式リポジトリをインストールします。

参考サイト：https://www.kkaneko.jp/tools/ubuntu/ubuntu_cudnn.html#S5

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

CUDA Toolkit 12.8

CUDA Toolkitは、「NVIDIA製GPUを使って並列計算や機械学習などのプログラムを開発・実行するために必要な総合開発パッケージ（SDK）」とのことです。

参考サイト：https://qiita.com/GeneLab_999/items/091d3fc7945bc7a77229

以下コマンドで、RTX5000番台に対応するCUDA Toolkit 12.8をインストールしました。

sudo apt update
sudo apt install -y cuda-toolkit-12-8

環境変数追加

CUDA Toolkitを実行するために、以下コマンドを入力しパスを通す必要があります。

echo 'export CUDA_HOME=/usr/local/cuda' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

“nvcc –version"をインプットして以下のように表示されればOKです。

(User)@(Computer):/mnt/c/Users/user$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:23:50_PST_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0

PyTorch

PyTorch（パイトーチ）は、「Meta（旧Facebook）のAI研究グループが開発したPython向けの代表的なオープンソース機械学習・深層学習ライブラリで、画像認識、自然言語処理、生成AIなどの最先端技術の開発や学術研究で最も広く利用されている」とのこと。

参考サイト：https://pe-bank.jp/guide/skill/251121-01/

以下のコマンドを入力して、CUDA 12.8向けのホイール（コンパイル済みのバイナリを含むパッケージ）をインストールしました。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

PyTorchが正常にインストールできたか確認するために、

python -c "import torch; print(torch.__version__); print(torch.cuda.get_device_capability(0))"

と入力し、

2.7.x+cu128
(12, 0)

などと出ればOKです。

5. フォルダ構成の作成

Windows側で、ComfyUI・Trellisのインストールを行うフォルダを作成します。

「C:\ComfyUI_TRELLIS」など深くない階層が良いと思います。

WSL上で、フォルダに移動します。

cd /mnt/c/ComfyUI_TRELLIS

6. ComfyUIのインストール

GithubからComfyUIをインストールし、"requirements.txt"に記載されたライブラリをインストールします。

以下コマンドを入力することで一発で実行できます。

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt

以下のように、Successfully installed ～が表示されればOKです。

Successfully installed Mako-1.3.12 PyOpenGL-3.1.10 SQLAlchemy-2.0.49 aiohappyeyeballs-2.6.1 aiohttp-3.13.5 aiosignal-1.4.0 alembic-1.18.4 annotated-doc-0.0.4 annotated-types-0.7.0 anyio-4.13.0 async-timeout-5.0.1 attrs-26.1.0 av-17.0.1 blake3-1.0.8 certifi-2026.4.22 charset_normalizer-3.4.7 click-8.3.3 comfy-aimdo-0.3.0 comfy-kitchen-0.2.8 comfyui-embedded-docs-0.4.4 comfyui-frontend-package-1.42.15 comfyui-workflow-templates-0.9.68 comfyui-workflow-templates-core-0.3.225 comfyui-workflow-templates-media-api-0.3.74 comfyui-workflow-templates-media-image-0.3.134 comfyui-workflow-templates-media-other-0.3.191 comfyui-workflow-templates-media-video-0.3.83 einops-0.8.2 exceptiongroup-1.3.1 frozenlist-1.8.0 glfw-2.10.0 greenlet-3.5.0 h11-0.16.0 hf-xet-1.4.3 httpcore-1.0.9 httpx-0.28.1 huggingface-hub-1.13.0 idna-3.13 kornia-0.8.2 kornia_rs-0.1.10 markdown-it-py-4.0.0 mdurl-0.1.2 multidict-6.7.1 packaging-26.2 propcache-0.4.1 psutil-7.2.2 pydantic-2.13.3 pydantic-core-2.46.3 pydantic-settings-2.14.0 pygments-2.20.0 python-dotenv-1.2.2 pyyaml-6.0.3 regex-2026.4.4 requests-2.33.1 rich-15.0.0 safetensors-0.7.0 scipy-1.15.3 sentencepiece-0.2.1 shellingham-1.5.4 simpleeval-1.0.7 spandrel-0.4.2 tokenizers-0.22.2 tomli-2.4.1 torchsde-0.2.6 tqdm-4.67.3 trampoline-0.1.2 transformers-5.7.0 typer-0.25.1 typing-inspection-0.4.2 urllib3-2.6.3 yarl-1.23.0

7. Trellisのインストール

ComfyUIインストールフォルダの"custom_nodesフォルダ"に、Trellisをインストールします。

以下コマンドでGithubからインストールしました（IF-AIによるフォーク版）。

cd custom_nodes
git clone https://github.com/if-ai/ComfyUI-IF_Trellis.git ComfyUI_TRELLIS

8. TRELLIS依存ライブラリ

ここからの工程がかなり大変でした😅

TrellisのRequirementをインストールしていきます。

cd ./ComfyUI_Trellis
pip install -r requirements.txt
'もしくは pip install -r linux_requirements.txt

ただし、requirement.txtをそのまま実行すると、Torchの旧バージョンが勝手にインストールされてしまうので、pytorch, pyaudio関係は#でコメントアウトした方がよさそうです。

#torch>=2.5.1+cu124
#torchvision>=0.20.1+cu124

高速化ライブラリのxformersは、私のRTX5060Ti環境ではうまく動かせなかったので、いったん今回は削除することにしました。

pip uninstall xformers -y

9. kaolin、nvdiffrastインストール

kaolin, nvdiffrastは、requirement.txtのままインストールしたものがPyTorchと整合していなかったため、以下コマンドで再インストールが必要でした。

pip uninstall kaolin -y
pip install setuptools==81.0.0 #kaolinはsetuptoolバージョン=<81のみ対応のため
cd ~
git clone --recursive https://github.com/NVIDIAGameWorks/kaolin.git
cd ~/kaolin
IGNORE_TORCH_VER=1 pip install -e . --no-build-isolation

pip uninstall nvdiffrast -y
cd ~
git clone https://github.com/NVlabs/nvdiffrast.git
cd ~/nvdiffrast
pip install . --no-build-isolation

10. ComfyUI Manager導入

ComfyUIのカスタムノードを管理するためのツール「ComfyUI Manager」をインストールしました。

cd /mnt/c/ComfyUI_Trellis/ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

11. ComfyUI+Trellis 起動

インストール作業が一通り完了したところで、以下のコマンドを入力してComfy UIを起動します。

（ただし、なかなか一発ではうまくいかず何かしらのエラーが発生すると思います😅）

cd mnt/c/ComfyUI_Trellis
python main.py --enable-manager

順調に起動できれば

To see the GUI go to: http://127.0.0.1:8188

というメッセージがコマンドプロンプトに表示されるはずですので、ブラウザのアドレスにhttp://127.0.0.1:8188と入力すればComfyUIの画面が開きます。

ComfyUIの画面上の何もないところでダブルクリックし、”Trellis”と検索して以下のノードを追加します。

• Trellis Model Loader
• Trellis Image to 3D

以下のように”Trellis”と検索して何も表示されない場合は、画面上部に表示される”Manager”をクリックし、"Install Missing Custom Nodes"で不足しているノードをインストールする必要があります。

もしManagerからもTrellisのカスタムノードをインストールできない場合は、Trellisの起動に失敗している可能性が高いため、エラーを確認の上で前の手順に戻ってやり直す必要があります。

12. モデルダウンロード

Trellisを実行する場合、以下コマンドを入力し”TRELLIS-image-large”というAIモデルをインストールする必要があります。

cd /mnt/c/ComfyUI_TRELLIS/ComfyUI/models/JeffreyXiang

hf download JeffreyXiang/TRELLIS-image-large \
--local-dir TRELLIS-image-large

ただし、IF-AIフォーク版TRELLISを使う場合はダウンロードデータに”TRELLIS-image-large”も含まれるようで、モデルの個別ダウンロードは不要でした。

13. ソースコード修正

手順12まで実施することで、ようやくComfyUI上でTrellisを実行できるようになります。

ただし、RTX5000番台のGPUを使用する場合はPyTorchに関連するエラーが出る可能性が高く、私も丸2日ほどトライアンドエラーに費やしました😅

個別のエラーの対処法については、インターネットで検索するか、最近ではChatGPTなどの生成AIに聞くのがおすすめです。

私の場合、ビルドした”FlashAttention”と”GaussianRasterizer”がTrellisの元コードとうまく整合していなかったため、以下のようにソースコードを書き換えました。

FlashAttention無効化

Trellisのソースプログラムから呼ばれているFlashAttention（AIの計算を高速化してくれるアルゴリズム）が、私のRTX5060Ti環境とは相性が良くないためか、何度ビルドを試しても以下のエラーが起きてしまいうまく動きませんでした。

RuntimeError: CUDA error: no kernel image is available for execution on the device

仕方がないので、以下の通りソースプログラムを修正してFlashAttentionではなくPyTorch標準Attentionの"SDPA"を呼ぶように修正しました。

#変更前
if BACKEND == 'flash_attn':
    out = flash_attn.flash_attn_func(...)

#変更後
out = sdpa(...)

ChatGPTと会話をしながら、最終的に以下のソースファイルを修正しました。

\ComfyUI\custom_nodes\ComfyUI_TRELLIS\trellis\modules\attention\full_attn.py
\ComfyUI\custom_nodes\ComfyUI_TRELLIS\trellis\modules\sparse\attention\full_attn.py
\ComfyUI\custom_nodes\ComfyUI_TRELLIS\trellis\modules\sparse\attention\windowed_attn.py

GaussianRasterizerバージョン不一致対応

Trellisでは3D空間上に描画するプログラム"diff-gaussian-resterization"を使用しています。

ただ、Trellisのコードで参照しているGaussian RasterizerのバージョンとインストールされたGaussian Rasterizerのバージョン不整合によるエラーが発生してしまったため、ChatGPTのアドバイスに従い以下のソースファイルを修正しました。

\ComfyUI_Trellis\ComfyUI\custom_nodes\ComfyUI_TRELLIS\trellis\renderers\gaussian_render.py

修正箇所①…以下の引数を削除。

kernel_size=kernel_size,
subpixel_offset=subpixel_offset,

修正箇所②…返り値の個数を2個から３個以上に変更。

#修正前
rendered_image, radii = rasterizer(

♯修正後
ret = rasterizer(...)
rendered_image = ret[0]
radii = ret[1]

インストール時の注意点・エラーについて

インストール時の注意点は以下のとおりです。

私が遭遇した、Trellisに関する主なエラーと対処法は以下のような感じです。

エラーの対策方法としては、インターネット上でエラー内容を検索する他、Chat GPTなどの生成AIに質問すると原因や対処方法のアドバイスをくれるので、困ったときの対処としておすすめです（ただしインターネットやAIの回答は100%正確ではなく、時々間違ったことを言ってくる点は注意が必要です）。

ComfyUI+Trellisを実際に使ってみた

ここからは、ComfyUI+Trellisの使い方や出力結果について、設定画面や生成した3Dモデル画像を交えながら紹介していきます。

使用環境は以下のとおりです。

ComfyUI起動方法

ComfyUIのインストール手順でも紹介したとおり、通常の起動時も以下手順を行います。

コマンドプロンプトに以下のコマンドを入力してComfy UIを起動します。

cd mnt/c/ComfyUI_Trellis
python main.py
#または
python main.py --enable-manager
# --enable-managerなしでもManagerは起動します。

以下メッセージがコマンドプロンプトに表示された後、ブラウザのアドレスにhttp://127.0.0.1:8188と入力すればComfyUIの画面が開きます。

To see the GUI go to: http://127.0.0.1:8188

ちなみに、毎回コマンド入力をするのは面倒なので、私は以下のようなバッチファイル(~.bat)を作成しワンクリックで起動するようにしています。

@echo off
start http://127.0.0.1:8188
wsl -d Ubuntu -e bash -lc "export PYENV_ROOT=$HOME/.pyenv && export PATH=$PYENV_ROOT/bin:$PATH && eval \"$(pyenv init -)\" && cd /mnt/(ドライブ名)/(親フォルダ名)/ComfyUI_Trellis/ComfyUI && pyenv activate comfy_trellis && python main.py"
pause

Trellisノードを使用したComfyUIワークフロー作成方法について

ComfyUI上でTrellisを使って3D生成を行うには、ノードを接続した「ワークフロー」を作成する必要があります。

何もないところでダブルクリックし、ノードを追加してください。

以下のノードを追加する必要があります。

下図は簡単なノードの説明です。

ノード（仮にAとします）の右側にある小さい丸印（スロット）と、別のノード（仮にBとします）の左側のスロットをノードを接続する「ワイヤー」で結ぶことで、AからBに情報を渡します。

ノードベースのGUIは、ComfyUIだけでなく3DCGソフトのBlenderやUnreal Engineなどでも使われているので、なじみのある方も多いと思います。

ComfyUIでは、スロットからスロットへ左クリックドラッグで（ワイヤー）を追加、ワイヤーをクリックし「Delete」を選択することでノードの接続を削除できます。

最終的に、以下のように接続します。

「3Dプレビュー」の左上のメニューから「シーン」「ライト」を選択・調節することでオブジェクトの明暗や背景色を調節できます（3Dモデルのテクスチャ事態は変更せず、あくまでもライティングの変更です）。

また、3Dプレビューを複数配置することで、同時に複数のアングルから見た3Dモデル形状を確認することができます。

作成したワークフローは、.jsonファイルとしてエクスポート・インポートすることができます。

単一画像から3Dモデルを生成・エクスポートするまでの流れ

ここからは、前項で作成したTrellisのワークフローを使用して、実際に単一画像から3Dモデルを生成・エクスポートするまでの流れを紹介します。

事前に、立ち絵のイラストを用意しておきます。

BlendAI株式会社のキャラクター「デルタもん」のイラストを、ChatGPTを使って３D風に変換したものをHunyuan3Dへのインプットとして使用します。

「画像を読み込む」ノードで、画像が保存されているフォルダ・ファイルを選択、または画像をノードにドラッグアンドドロップすることで、読み込む画像を指定できます。

「Trellis Image to 3D」ノードの「project_name」で、保存されるファイル名を毎回指定する必要があるので要注意です（ファイル名が重複しているとglbファイルが保存されません）。

ComfyUIの実行ボタンをクリックすると、ワークフローの実行が開始します。

実行中は、処理が行われているノードが強調表示されます。

エラーが発生した場合は、エラーが発生したノードが赤枠で強調表示されてエラーの内容が表示されるため、エラー内容によってパラメータを修正したり、インストール手順をやり直す等の対応が必要です。

ワークフローの実行が成功した場合は、「ジョブが完了しました」というメッセージが表示されます。

デフォルト設定の場合、アウトプットした.glbファイルは「ComfyUI_TRELLIS\ComfyUI\output\(プロジェクト名)」のフォルダに保存されます。

.glbファイルは3DCGソフト「blender」などの外部ソフト上で見ることができます。

設定による出力結果の違い

「Trellis Image to 3D」のノードでは、さまざまな項目を変更できます。

各パラメータの数値を変えたときに、生成結果がどうなるか比較検証してみましたので、結果をざっとお見せします。

Seed

シードを11, 111, 1111で生成した結果をComfyUI上で並べています。

シードを変えると結構見た目が変わりますので、好みの結果が出るまでシードを変えてみるのも良いかもしれません。

SS guidance strength

SS guidance strengthを3, 7.5(デフォルト), 10で生成した結果です。

3だと元のインプット画像から多少離れますが、顔の形状などは人物モデルとして自然になっているように見えます。

10にした場合は、耳の付け根に突起ができたりなど形状的に不自然な部分が発生しています。

Mesh simplify

Mesh simplifyを0.99, 0.95(デフォルト), 0.90で生成した結果です。

数字が大きいほどポリゴン数が少なくなり、0.99はかなりポリゴン数が少なく三角メッシュがはっきりと見えています。

Hunyuan3Dとの比較

前回の記事紹介した3D生成AI「Hunyuan3D」とのアウトプットを比較してみます。

さまざまな3Dモデルを作成した結果を比較してみました(左がHunyuan3D-2.0, 右がTrellisの結果)。

全体的に、Hunyuan3Dと同様に複雑な形状のものについてはディテールが省略されてしまう傾向があります。

Hunyuan3D(-2.1)と比べてテクスチャの詳細さは劣りますが、3D形状を正確に再現する能力はTrellisに軍配が上がります。

机

Trellisのほうが、Hunyuan3Dでは表現できていなかった机の脚の傾きを表現できていますが、正面図からは解釈できなかったためかよく見ると物入れの奥の部分が省略されてしまっています(「seed」の数値を変えるとそのあたりの結果も変わります)。

花

テクスチャの繊細さはHunyuan3Dの方に軍配が上がりますが、Trellisの方が花弁1枚1枚の形状をよく再現できていると思います。

自動車（MINI Cooper）

Hunyuan3D(左)ではBピラーが曲がっていたりなど3D形状のゆがみが生じていましたが、

Trellis3D(右)では、車のボディーの3D形状がかなり綺麗に再現されています。

機関車

こちらの例に関しては、元画像の形状が複雑なためか煙突や車輪が欠けてしまい、3D形状をうまく表現できませんでした😅

猫

ディテールは省略されてしまったいるものの、Trellisの方が猫の顔や体の形状をよく表現できている（気がします）。

やかん

背景に映り込んだ影の部分が形状の一部としてとらえられてしまったためか、Trellisの方はちょっと変な形状になってしまいました😅

ハンバーガー

こちらの例に関しては、Hunyuan, Trellisともにハンバーガーの形状・色合いをよく表現できていると思います。

肉の質感はTrellisの方がリアルに見えます。

まとめ

ComfyUI+Trellisの導入と使い方について、一通り紹介してみました。

正直、私はまだまだAIの知識・スキルともまだまだ初心者レベルのため、Trellis3D, ComfyUIのポテンシャルをうまく発揮できているかあまり自信がありません😅

ですので、ぜひこちらの記事を参考にTrellis3D・ComfyUIをお使いになり、ご自身の手で試してみてください！！

なお、今回の記事執筆でAIによる3D生成をわかりやすく・親しみやすくお伝えするため、BlendAI株式会社のキャラクター「デルタもん」を使わせていただきましたので、最後にあらためて感謝申し上げます。