メタ AI が巨大な多言語音声コード、1000 以上の言語に対応するガジェットを公開

Vastly Multilingual Speech (MMS) ミッションは、1,100 以上の言語 (10 を超える言語) をサポートする単一の多言語音声認識モデルを構築することにより、音声技術を約 100 言語から 1,000 以上の言語に拡張します。、4,000 を超える言語 (40 を超える言語) を識別する空間内の言語識別ガジェット、1,400 を超える言語をサポートする事前トレーニング済みガジェット、およびテキストの音声肯定ガジェット1,100以上の言語に対応。私たちのスキームは、ファイルに安全にアクセスし、最も適切に受け入れられている言語のデバイスを使用することの難しさを軽減することです。

おそらくあなたもそうするでしょう。論文 Scaling Speech Technology to 1000+ language およびウェブログ送信で事実を入手してください。

MMS に並ぶ言語の第一級レベルの概念は、おそらくここでもつまづくでしょう。

事前トレーニングされたガジェット

事前トレーニングされたガジェットを微調整するためのインスタンス命令は、おそらくつまずく可能性もあります )ここ。

微調整されたガジェット

ASR

コラムでは、英語のトークン辞書のサルベージリンクを紹介します。モデルでサポートされている言語のトークンディクショナリをサルベージするには、URL 内の言語コードを適切に変更します。例として、ヒンディー語用の FL102 モデルのトークン辞書を安全にするには、this リンクを使用します。 .

TTS 1107 言語の ISO コードのチェックリスト。 、config.json 、vocab.txt 。 G_100000.pth ) は 100K 更新のジェネレーターエキスパートです、config.json はコーチング構成、vocab.txt

は TTS モデルの語彙です。

 
# 例: wget https://dl.fbaipublicfiles.com/mms/tts/eng.tar.gz # 英語 (eng) wget https://dl.fbaipublicfiles.com/mms/tts/azj-script_latin.tar.gz #北アゼルバイジャン語 (azj-script_latin)  
 蓋

バスリング推論へのコマンド

ASR

)これは 1 つ以上の音声ファイルの転写に関連しています:

CD /course/to/fairseq-py/ Python サンプル/mms/asr/infer/mms_infer.py --model

/course/to/asr/model "

 --lang lang_code  --audio "
 /course/to/audio_1.wav " "/course/to/audio_2.wav "  "/course/to/audio_3.wav "
 
 詳細については、構成と CER の計算について説明します。 WER では、次の形式でフォルダを整理してマニフェスト フォルダを準備するとよいでしょう:
 $ ls /course/to/manifest dev.tsv dev.wrd dev.ltr dev.uid # dev.tsv すべての行には     $ cat dev.tsv / /course/to/audio_1 180000 /course/to/audio_2 200000 $ cat dev.ltr this | は |  1つ | これ | は |  2 |  $ cat dev.wrd これは 1 これは 2 $ cat dev.uid audio_1 audio_2   
採用以下に関連して:
 lang_code= PythonPATH=。  PREFIX=INFER HYDRA_FULL_ERROR=1 python 例/speech_recognition/fresh/infer.py -m --config-dir 例/mms/config/ --config-identify infer_common decoding.kind=viterbi dataset.max_tokens=4000000 distribution_training.distributed_world_size=1 "common_eval.course='/course/to/asr/model'" assign.files='/course/to/manifest' dataset.gen_subset="${lang_code}:dev" common_eval.post_process=letter     手持ちの代替品:   
 
 生の性格に基づいたほとんどの出力を安全にするために、特定の人は common_eval.post_process=none )
 
GPU 効率を最大化するため、またはメモリ不足 (OOM) を回避するために、特定の人が調整できます
 dataset.max_tokens=??? 測定 
言語モデルのデコードを容易にするには、
  を利用して Flashlight Python バインディングをインストールします。 git clone --recursive git @github.com:flashlight/flashlight.git cd 懐中電灯;  git checkout 035ead6efefb82b47c8c2e643603e87d38850076 cd bindings/python python3 setup.py install 
教えてください
 KenLM 言語モデル にレキシコン ファイルを準備します  この形式です。
  LANG= # インスタンスとして - 'eng', 'azj-script_latin' PYTHONPATH=。  PREFIX=INFER HYDRA_FULL_ERROR=1 python Examples/speech_recognition/fresh/infer.py --config-dir=examples/mms/asr/config  --config-identify=infer_common decoding.kind=kenlm distribution_training.distributed_world_size=1  デコーディング。 unique_wer_file=単純に decoding.beam=500 decoding.beamsizetoken=50  assign.files= common_eval.course=' ' decoding.lexicon= decoding.lmpath=  decoding.results_path= dataset.gen_subset=${LANG}:dev decoding.lmweight=???  decoding.wordscore=???   
 
 
普段は掃除をしています lmweight 0～5の変動と wordscore 変動中 -3 ～いくつかの。 出力ディレクトリには、デコーダからの参照出力と仮説出力が含まれます。
完全に言語ガジェットがほとんどを占めるパーソナリティベースのデコードの場合は、空の辞書ファイル ( decoding.lexicon=),  decoding.unitlm=Accurate およびスイープオーバーdecoding.silweight wordscore ).
 
TTS
表示: クローンを作成してインストール   VITS 作業推論の前進。
  ## 英語 TTS $ PYTHONPATH=$PYTHONPATH :/course/to/vits Python サンプル/mms/tts/infer.py --model-dir /course/to/model /eng  --wav ./instance.wav --txt "音声テクノロジーの言語範囲の拡大  
 は、より多くの人々に対してファイルへの安全なアクセスを強化する能力を持っています "   #
 #マイティリTTS  $ PYTHONPATH=$PYTHONPATH:/course/to /vits Python 例/mms/tts/infer.py --model-dir /course/to/model/mai  --wav ./instance.wav --txt   " मुदा आइ धरि ई तकनीक सौ सं किछु बेसी भाषा तक स ीमित छल जे सात हजार   
 "
instance.wav には、その言語の合成音声が含まれています。蓋
2つのファイルをこの形式でまとめて入れます。 すべてのマニフェスト行には and  が含まれます。 
 )#/course/to/manifest.tsv / /course/to/audio1.wav 180000 /course/to/audio2. wav 240000 /course/to/audio3.wav 160000 # /course/to/manifest.lang eng 1 eng 1 eng 1  
Glean モデルと、LID モデルの対応する辞書ファイル。 次の演習は喧騒の推論に関連します -
 $ PYTHONPATH= ' .」  python3 例/mms/lid/infer.py /course/to/dict/l126 / --course /course/to/gadgets/mms1b_l126.pt  --assignment audio_classification --infer-manifest /course/to/manifest.tsv --output-course  < OUTDIR>
上記の関係では、 という名前のファイルがあると想定しています。 dict.lang.txt  /p
 ) 𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺