Picsart AI Compare (12G VRAM) によって起動された Text2Video-Zero コードと重み

pip setup -r necessities.txt

でお気に入りのポーズ マネキン ウエイトを入手 ControlNet

wget -P annotator/ckpts https://huggingface.co/lllyasviel/ControlNet/derive to the bottom of/main/annotator/ckpts/hand_pose_model.pth wget -P annotator/ckpts https://huggingface.co/lllyasviel/ControlNet/ /main/annotator/ckpts/body_pose_model.pthの下部に派生

テキストからビデオへのエッジガイダンスとドリームブース a SD1.4 Dreamboot マネキンを ControlNet に を使用して) このスキーム。 マネキンを models/control_db/

に読み込みます。 Dreambooth モデルは、 から取得することもできます。 CIVITAI. アニメ

の魅力的なマネキンの記録データを提供しています。 (キーワード 女の子1名 )、難解なファッション

(キーワード 難解なファッション ) アバター (キーワード アバターファッション ) と gta-5 ファッション

(キーワード gtavファッション ))。 これを行うには、マネキンの記録データを からダウンロードします)。 google power を抽出して models/control_db/

. 推論API クリープ推論は マネキンクラス

輸入  松明 
から  マネキン  輸入 
マネキン  マネキン = 
マネキン(プラン
=  「クーダ」 , dtype  
=
  松明. フロートと一緒にスケダドル16)
  テキストからビデオへ
テキストからビデオへの変換ツールに急に名前を付けるには、この python をクリープします。 tmp/text2video/A_horse_galloping_on_a_street.mp4 : 
から  pathlib  輸入 コース  その場で  = 
「大通りを疾走する馬」   params[03/28/2023]  
={ "t0"
: 
44, "t1" : 47  , "motion_field_strength_x"
 : 12 , "motion_field_strength_y"
 : 12 , "video_length": 
8} 
out_path , 
 fps 
= コース(
f"tmp/text2video/
 {その場で.. 変化('',
 '_'
)}
.mp4"), 
4
   もしも
  これ以上  out_path . 親.
あります
(): out_path . 親. mkdir
 (私たちの
=
真実)) 
マネキン。 process_text2video(
その場で , 
fps =  fps , 
コース =
  out_path 。 as_posix (), params)
 ハイパーパラメータ (必須ではなくなりました) 多分多分多分次のハイパーパラメータを明確にします:    トレック自制力:  motion_field_strength_x=
$delta_x$ と motion_field_strength_y=$delta_x$ (私たちの論文を見てください、セクション.  3.3.1)。 デフォルト: 運動場の強さx=運動場の強さ_y=12 .   $T$ と $T'$
 (私たちの論文、セクション 3.3.1 を見てください)。 アウトライン値 t0 と t1 変化中{0,...,50}。 デフォルト: t0=44、 t1=47 (DDIM ステップ)。 タイムステップに対応  と 941、それぞれ.  動画の長さ: 概要非現実的なフレーム数 video_length が生成されます。 デフォルト: video_length=8.    ポーズ管理によるテキストからビデオへ 唐突に私たちの名前を付けるにはポーズ調整を備えたテキストからビデオへのジェネレーター、このpythonの繰り返しをクリープ：
から pathlib
   輸入 コース  その場で  =
 
「アウターホームで踊る宇宙飛行士」  motion_path =  コース(
'__assets__/poses_skeleton_gifs/dance1_corr.mp4') 
out_path
 =
  コース(f'./{
その場で
}
.gif') 
マネキン. process_controlnet_pose (
モーションパス. as_posix (), 
その場で=
 その場で , 
save_path=out_path .
as_posix
())
     
エッジ管理によるテキストからビデオへ
 エッジ調整を使用してテキストからビデオへのジェネレーターに突然名前を付けるには、この python の繰り返しをクリープします:  
から
  pathlib  
 輸入 コース
 その場で
=
 「鹿の油絵、繊細で緻密な専門家の写真」
 
video_path
 =
  コース( '__assets__/canny_videos_mp4/deer.mp4')) 
out_path
 = コース(f'./
{
その場で }
 .mp4') マネキン. process_controlnet_canny (video_path . as_posix (), その場で
 =その場で, save_path =
out_path. as_posix ())
  ハイパーパラメータ Canny エッジ検出の次のハイパーパラメータを明確にしてください:    低しきい値 。 アウトライン価値 low_threshold
 は変化します  $(0, 255)$
。 デフォルト: low_threshold=100.   
 高しきい値 。 アウトライン価値 high_threshold
 は変化します  $(0, 255)$
。 デフォルト: high_threshold=200。  high_threshold であることを確認してください。>  低閾値.   ハイパーパラメータを引数として mannequin.process_controlnet_canny
     )テキストからビデオへのエッジガイダンスと Dreambooth の専門化 dreambooth マネキンをロードし、エッジガイダンスを使用したテキストからビデオへ  
から  pathlib   輸入 コース  その場で =
 
「その場で」   video_path  
=  コース(
'course/to/your/ビデオ') dreambooth_model_path  =
 
コース('course/to/your/dreambooth/mannequin' ) 
アウトパス
 =コース
 ( f'./{
 その場で}
 .gif' )
マネキン. process_controlnet_canny_db (dreambooth_model_path. as_posix
 (), 
video_path .[03/27/2023] as_posix(), その場で =その場で , save_path 
=
out_path. as_posix ())
 
ビデオ怒鳴る-Pix2Pix
 pix2pixビデオの改善を導き出すには、これをクリープしますpython 繰り返し:  
から
 pathlib   輸入
  コース その場で = 
 「ゴッホの星月夜にしよう」  video_path  = コース(
'__assets__/pix2pix video/camel.mp4'
 ) out_path =
 コース(f'./{
その場で
 }.mp4') マネキン. process_pix2pix (  video_path.
 as_posix (), その場で=
その場で , save_path =
 out_path.[03/27/2023] as_posix())
   

 低メモリ推論
 上記の起動されたインターフェイスはどれも、メモリが少ない設定ではおそらくクリープです。 最小限のセットアップでは、12 GB VRAM を搭載した GPU で十分です。  メモリ使用量を減らすには、  を追加します) chunk_size=okay 間違いなく 1 つを呼び出すときの追加パラメータとして上記で定義された基本的な推論 API の整数値  わかりました  は、変数