P006 ComfyUi オーディオ生成

ace_step_v1_3.5b.safetensorsは、中国のチームである**StepFunとACE Studioが共同開発した、オープンソースの音楽生成基盤モデル「ACE-Step」**のチェックポイントファイルです。

このモデルの主な特徴とComfyUIでの活用方法は以下の通りです。

1. モデルの概要

• 高品質な生成と編集: 効率的かつ柔軟に、高品質な音楽の生成や編集を行うことができます。

• ライセンス: Apache-2.0ライセンスで公開されており、商用利用が可能です。

• 拡張性: LoRAによるファインチューニングや、今後公開予定のControlNetなどを通じて、特定のニーズに合わせたカスタマイズが可能です。

2. ComfyUIでの主な機能

このモデルをComfyUIに導入することで、主に以下の2つのワークフローが実行できます。

• Text-to-Audio (テキストからオーディオ生成): スタイルを指定するタグや歌詞を入力することで、ゼロから音楽を生成します。

• Audio-to-Audio (オーディオからオーディオ生成): 既存の音源を入力し、それをベースに再サンプリングして新しい音楽を生成したり、編集したりできます。

3. プロンプトの構成

ACE-Stepでは、以下の2つのフィールドを使用して生成内容を制御します。

• tags（タグ）: 音楽のジャンル（pop, rock, electronicなど）、楽器（piano, guitarなど）、雰囲気（fast tempo, slow tempo）などをカンマ区切りで指定します。

• lyrics（歌詞）: 実際に歌わせる歌詞を入力します。[verse], [chorus], [bridge]といった構造タグを使用して曲の構成を指定することも可能です。

4. 多言語対応

ACE-Step V1は日本語を含む19言語をサポートしています。

• 日本語の扱い: ComfyUI上では現在、ひらがなとカタカナの入力が実装されています。

• 言語指定: 歌詞の冒頭に言語コード（日本語の場合は [ja]）を記述することで、言語を明示できます。

5. 調整パラメーター

• ボーカル音量の調整: LatentOperationTonemapReinhardノードのmultiplier値を変更することで、ボーカルの存在感を調整できます。

• 類似度の制御: Audio-to-Audioの際、Ksamplerのdenoise値を調整することで、元の音源とどれくらい似せるか（値を小さくすると元の音源に近づく）を制御できます。

このモデルは、**「プロの音楽プロデューサーに、ジャンル・楽器・歌詞を記した指示書を渡して曲を作ってもらう、あるいは既存のデモテープを元にアレンジを依頼する」**というプロセスを、AIを使ってデジタル上で行うための強力なツールと言えます。

ACE-Stepを使用してテキストから音楽を生成（Text-to-Audio）する際の主な要点は、以下の通りです。

1. プロンプト（TagsとLyrics）の使い分け

ACE-Stepでは、生成する内容を制御するために2種類の入力フィールドを使い分けることが重要です。

• Tags（タグ）: 音楽の全体像を定義します。ジャンル（pop, rock等）、楽器（piano, guitar等）、雰囲気、テンポ（110 bpm, fast tempo等）などの要素を英語のカンマ区切りで入力します。

• Lyrics（歌詞）: 歌わせたい歌詞を入力します。楽器名を直接入力してインストゥルメンタル曲にすることも可能です。

2. 楽曲構造の指定

歌詞を入力する際、構造タグを使用することで曲の構成（Aメロ、サビなど）を明確に制御できます。

• [verse]: Aメロ、Bメロなどの節

• [chorus]: サビ

• [bridge]: ブリッジ（間奏や転換部）

• [outro]: アウトロ（終奏）

3. 日本語および多言語への対応

ACE-Step V1は日本語を含む19言語をサポートしていますが、ComfyUIにおけるテキストからの生成では以下の点に注意が必要です。

• 日本語の入力: 現時点ではひらがなとカタカナの入力が実装されています。

• 言語コードの使用: 歌詞の冒頭に [ja] のような言語コードを記述することで、言語を明示的に指定できます。

4. 生成パラメーターの調整

ワークフロー内の特定のノードを操作することで、音質や楽曲の性質を微調整できます。

• 楽曲の長さ: EmptyAceStepLatentAudio ノードで、生成する音楽の時間を設定できます。

• ボーカルの強調: LatentOperationTonemapReinhard ノードの multiplier 値を調整します。数値を大きくすると、バックグラウンドの演奏に対してボーカルの音量がより際立つようになります。

5. モデルのセットアップ

基本として、Load Checkpoints ノードに ace_step_v1_3.5b.safetensors が正しくロードされていることを確認してください。

ACE-Stepを使用して既存の音楽ファイルから新しい音楽を生成・編集する手法は、**Audio-to-Audio（またはRepainting）**ワークフローと呼ばれます。この手法の主な要点は以下の通りです。

1. 音楽ファイルの読み込み

• LoadAudioノードを使用して、ベースとなるオーディオファイルをアップロードします。

• 読み込まれた音声は、VAEEncodeAudioノードを通じてモデルが処理できる形式（Latent）に変換されます。

2. 類似度の制御（Denoise設定）

元の音源とどれくらい似せるかは、KSamplerノードのdenoiseパラメーターで調整します。

• 値を小さくする: 元のオーディオに近い、高い類似度を維持します。

• 値を大きくする: 元のオーディオからの変化が大きくなり、類似度が低くなります。

• 1.0に設定: 元の入力がない状態（Text-to-Audio）とほぼ同等になります。

3. プロンプトと歌詞の重要性

オーディオの編集やリペイントを行う際、テキストによる指示も併用します。

• 歌詞の提供: オーディオ編集（Repainting）において、元の歌詞や変更後の歌詞を入力することは非常に重要です。これにより、特定の箇所の歌唱内容を変更するなどの制御が可能になります。

• タグの指定: TextEncodeAceStepAudioノードのtagsフィールドに、スタイル（例：male voiceからfemale voiceへの変更など）を入力することで、元の音源の雰囲気を引き継ぎつつ特徴を変化させられます。

4. 日本語での入力

テキスト生成時と同様に、日本語を使用する場合は以下の点に注意してください。

• 現在、ComfyUI上ではひらがなとカタカナの入力が実装されています。

• 歌詞の冒頭に [ja] という言語コードを記述して言語を指定します。

5. その他の調整

• ボーカル音量: LatentOperationTonemapReinhardノードのmultiplierを調整することで、生成されるオーディオ内のボーカルの目立ち具合を制御できます。

音楽ファイルから生成するプロセスは、**「既存の楽曲（デモテープ）をAIに聴かせ、そのメロディや構成を活かしながら、 denoise値という『アレンジの自由度』を与えて新しい曲に作り替える」**ような作業だと言えます。

🎤 ACE‑Step の歌詞指定の基本ルール

① 歌詞は “ローマ字 or 英語” で書く

ACE‑Step は多言語対応だけど、内部では 英語読み に変換して歌う仕組みになっている。
だから、日本語を歌わせたい場合は ローマ字化 が必須。

[ja]kono sekai wa kagayaku yo

② 最初に言語コードを書く

ACE‑Step は歌詞の言語を [ja] のように指定しないと、正しく発音してくれない。

対応例：

• 日本語 → [ja]
• 中国語 → [zh]
• 韓国語 → [ko]
• 英語 → [en]
• スペイン語 → [es]
• フランス語 → [fr]

例：

[ja]kimi no koe ga hibiku yo

③ 歌詞は “発音できる文字” で書く

ACE‑Step は 発音できるテキスト＝歌うべき歌詞 と判断する。

OKな例：

[ja]yume no naka de dakishimete [en]I feel the light inside of me

NGな例（発音できない記号だけだと歌わない）：

[ja]---- .... ....

④ セクション名（Verse, Chorus など）は自由に使える

ACE‑Step は [Verse] や [Chorus] を見て、
「ここから曲の雰囲気が変わる」と判断してくれる。

例：

[Verse]
[ja]kaze ga fuite kokoro ga yureru

[Chorus]
[ja]kimi e to todoke ai no uta

⑤ 1行＝1フレーズとして扱われる

ACE‑Step は改行ごとにフレーズを区切るので、
歌わせたいリズムに合わせて行を分けると自然になる。

[ja]kono sora no shita de
[ja]kimi to deaeta koto
[ja]kiseki dato omou yo

🎶 実際に使える “正しい歌詞指定テンプレ”

✔ 日本語（ローマ字）で歌わせる例

[Verse]
[ja]kono sora no shita de
[ja]kimi to deaeta hi kara
[ja]bokura no jikan wa
[ja]yasashiku nagarete yuku

[Chorus]
[ja]kagayaku mirai e to
[ja]te o tsunaide yukou
[ja]kimi ga iru dake de
[ja]sekai wa mabushii yo

✔ 英語で歌わせる例

[Verse]
[en]Walking through the morning light
[en]I can feel the world ignite

[Chorus]
[en]Hold me close and let me fly
[en]We will paint the endless sky

🎵 歌詞を綺麗に歌わせるための追加テクニック

✔ lyrics_strength を 0.7〜0.9 にする

歌詞の反映度が上がって、発音が安定する。

✔ tags に “female vocal / male vocal / soft singing” などを入れる

声質や歌い方が安定する。

例：

soft female vocal, emotional singing, clear pronunciation

✔ 行を短くする

長い文章は発音が崩れやすいので、短い行に分けると綺麗に歌う。

ACE‑Step は「声の種類」や「声質」を tags（タグ）で指定することでコントロールします。方向性を強く誘導するイメージ。

🎤 ① 男性・女性の声を指定する方

✔ 女性ボーカル

female vocal, soft female singing, clear female voice

✔ 男性ボーカル

male vocal, deep male voice, soft male singing

✔ 中性的・少年声

androgynous vocal, soft boyish voice, light male vocal

✔ 少女・アニメ声

cute female vocal, anime girl voice, high-pitched female singing

🎶 ② 声質（ボイスカラー）を指定する方法

ACE‑Step は声質の形容詞にかなり反応するよ。

✔ 柔らかい・優しい

soft vocal, warm tone, gentle singing

✔ 透明感・クリア

clear vocal, airy voice, bright tone

✔ 力強い・太い声

powerful vocal, strong chest voice, deep tone

✔ ウィスパー（ささやき）

whisper vocal, breathy voice, soft whisper singing

✔ ボカロ風

vocaloid style, synthetic voice, digital singing

🎧 ③ 実際に使える tags の例

✔ 女性・透明感のある声

female vocal, clear voice, airy tone, emotional singing, bright timbre

✔ 男性・低音で落ち着いた声

male vocal, deep voice, warm tone, calm singing, smooth timbre

✔ アニメ風・かわいい声

cute female vocal, anime voice, high-pitched, bright tone, energetic singing 

✔ ウィスパー系

soft whisper vocal, breathy voice, intimate singing, gentle tone

🎼 ④ 歌詞側で声質を補強することもできる

歌詞の最初に「歌い方の指示」を入れると安定するよ。

例：

[style] soft female vocal, airy tone

または：

[style] deep male vocal, calm singing

これを lyrics の最初に置くと、声の方向性がより固定される。

🎮 ACE‑Step で作れるゲームSEの種類

ACE‑Step は“音楽モデル”だけど、テキスト誘導が強いから、こんなSEなら十分作れるよ。

• UI音（クリック、決定、キャンセル）
• 魔法音（キラキラ、チャージ、発射）
• SF音（レーザー、ビーム、電子音）
• ファンタジー系（風、光、ヒール音）
• コメディ系（ポヨン、ピコッ）
• ホラー系（低いドローン、金属の軋み）

逆に苦手なのは：

• 完全な環境音（雨、川、風などリアル系）
• 生録音っぽい音（足音、ドア音など）

🔧 SEを作るときのコツ

✔ tags に「no vocals」「sound effect」を必ず入れる

sound effect, no vocals, short, clean, game ui sound

✔ lyrics は「発音できない記述」にする

歌詞扱いになると歌い出すので、
SEの場合は 歌詞欄＝音の説明だけ にする。

[se]
short click sound, bright tone, no vocals

✔ seconds を短くする（1〜3秒）

SEは短い方が扱いやすい。

🎮 ① UIクリック音（決定音）

✨ ② 魔法のキラキラ音

🔫 ③ SFレーザー音

💫 ④ 回復・ヒール音

👻 ⑤ ホラー系の不穏な音