プロンプトで指定する音源分離

音を言葉で指定すれば、その音だけのトラックになります。

SAM Audio Lab は、混み合った録音から目的の音をテキストプロンプトひとつで取り出します。ステムのプリセットも、手作業のスペクトル編集も不要です。指定した音と、その隣に残りのミックスが並びます。

音声ファイルにも、動画のサウンドトラックにも使えます。

できること

ひとつのプロンプトで、きれいなステムをひとつ。音声も音楽も日常の物音も同じように。

テキストプロンプト

「2人目の話し手」「雨」「ベースライン」のように、普通の言葉で書くだけです。覚えるべきクラス一覧も、選択肢が固定されたステムもありません。

クリックで指定

言葉にするより見せたほうが早い音は、聞こえている箇所の映像上でマークしてください。指し示した対象をモデルが取り出します。

時間範囲プロンプト

その音が含まれるタイムライン上の区間を選びます。ターゲットを特定するのに必要なのは、たいてい数秒のきれいな部分だけです。

組み合わせプロンプト

テキスト、映像上の指定、時間範囲は重ねて使えます。単独では決まらないターゲットも、弱い手がかりを2つ合わせれば定まることがほとんどです。

あらゆる層をひとつのモデルで

音の種類を問わない分離

自分のファイルで試す

専用ツールを連ねるのではなく、ひとつのモデルが混合音全体を扱います。ターゲットが人の声でも、楽器でも、通り過ぎる車でも、同じプロンプト操作で済みます。

使い方

3ステップ、セッション設定は不要

インストールも、最初の実行前の設定も必要ありません。

  1. 01

    録音を用意する

    音声ファイル、またはサウンドトラックを扱いたい動画をアップロードします。映像は飾りではなく手がかりとして使われます。

  2. 02

    取り出す音を指定する

    ターゲットを入力するか、映像上でクリックするか、鳴っている秒数をドラッグで選びます。プロンプトは何度でも調整して再実行できます。

  3. 03

    両方を持ち帰る

    分離したターゲットと残りのミックスを別々のトラックとしてダウンロードし、そのまま編集ソフトに戻せます。

使われる場面

二度と録り直せない録音のために

残す価値のある音の多くは、誰も制御できない場所で一度だけ録られています。

ポッドキャストと取材の整音

背後のカフェの音からゲストの声を引き離しても、部屋の響きがトンネルのように潰れません。

映像のポストプロダクション

ロケ収録から使えるセリフを救い出したり、元のステムが残っていないミックスから効果音を取り出したりできます。

音楽の練習と分析

録音から楽器を1つだけ抜き出してパートを覚える。あるいはその楽器を消して、残りに合わせて演奏する。

フィールド録音と自然音

実際には静かではなかった風景の中から、鳥1羽、エンジン1台、声1つを取り出します。

字幕とアクセシビリティ

よりきれいな音声トラックを文字起こしに渡せば、重なった言葉を字幕が推測せずに済みます。

データセットの準備

雑然とした実環境の録音を捨てるのではなく、単一音源のクリップとして組み立てられます。

実行の内側

ターゲットとそれ以外を、並べて

分離は引き算ではありません。1回の実行で、プロンプトで指定した音と、それが含まれていた残差ミックスの両方が返ります。何も失われず、どちらを残すかは選べます。

プロンプト観客ではなくサックス

ターゲットステム

指定した音だけのトラック。

残差ミックス

プロンプトが選ばなかったすべて。同期はそのまま。

オリジナル

無加工。両方の出力とA/B比較するために。

実行イメージの図です。実際の操作画面はツール側にあります。

FAQ

最初によく聞かれること

プロンプト指定の分離ができること、そして難しくなる場面。

ボーカル・ドラム・ベース・その他といった固定メニューから選ぶのではなく、欲しい音を言葉で説明するか指し示すと、その音が分離されます。取り出せる対象はモデルの出力に固定されておらず、開かれています。

必要な音を、その音だけのトラックに

録音を持ち込み、取り出したい音を説明し、両方を持ち帰ってください。

録音を分離する

プラグインの連結も、ステムのプリセットも不要です。