メタ AI が巨大な多言語音声コード、1000 以上の言語の単位を宣言

Vastly Multilingual Speech (MMS) ミッションは、1,100 以上の言語 (10 を超える言語) をサポートする単一の多言語音声認識モデルを構築することにより、音声技術を約 100 言語から 1,000 以上の言語に拡張します。、4,000 を超える言語 (以前よりも 40 のケースが多い) を確立する準備ができている言語識別ユニット、1,400 を超える言語をサポートする事前トレーニング済みユニット、および1,100の言語。私たちの目的は、人々が好みの言語で知識にアクセスしたり、デバイスを利用したりできるようにするためのシステムをより簡単に構築することです。

紙面内の分も印刷する必要があるだけです

スピーチ能力を 1000 以上の言語に拡張およびウェブログ投稿。

MMS で使用される言語の概要については、こちらを参照してください。

事前訓練済みユニット

事前トレーニングされたユニットを微調整するためのインスタンスの命令は、ここでつまずく可能性もあります。

微調整された単位

ASR

Dictionary 列、英語のトークン辞書のダウンロードハイパーリンクを提供します。モデルでサポートされているさまざまな言語のトークン辞書をダウンロードするには、URL 内の言語コードを正確に変更します。たとえば、ヒンディー語用の FL102 モデルのトークン辞書を取得するには、this ハイパーリンクを使用します。

`TTS`

チェックリストの導出1107 言語の

の ISO コード。

G_100000.pth 、config.json 、vocab.txt 。 G_100000.pth ) は、100Ok 更新用にトレーニングされたジェネレーターです。 config.json  は教育用の設定、vocab.txt
 は TTS モデルの語彙です。

# 例: wget https://dl.fbaipublicfiles.com/mms/tts/eng.tar.gz # 英語 (eng) wget https://dl.fbaipublicfiles.com/mms/tts/azj-script_latin.tar.gz #北アゼルバイジャン語 (azj-script_latin)

蓋

推論から逃げるコマンド

ASR

)この再集計に進み、1 つまたは追加の音声ファイルを文字起こしします:

CD /course/to/fairseq-py/ Python サンプル/mms/asr/infer/mms_infer.py --model

/course/to/asr/model "

 --lang lang_code  --audio "
 /course/to/audio_1.wav " "/course/to/audio_2.wav "  "/course/to/audio_3.wav "
 
追加された近似構成の場合、CER/を計算しますWER では、次の形式のフォルダーを作成して、マニフェスト フォルダーを追加で準備します:
 $ ls /course/to/manifest dev.tsv dev.wrd dev.ltr dev.uid # dev.tsv 各行は  で構成されます   $ cat dev.tsv / /course/to/audio_1 180000 /course/to/audio_2 200000 $ cat dev.ltr this | は |  1つ | これ | は |  2 |  $ cat dev.wrd ここは 1、ここは 2 $ cat dev.uid audio_1 audio_2    フォローしました再集計による: 
    lang_code= PythonPATH=。  PREFIX=INFER HYDRA_FULL_ERROR=1 python 例/speech_recognition/unique/infer.py -m --config-dir 例/mms/config/ --config-title infer_common decoding.style=viterbi dataset.max_tokens=4000000 distribution_training.distributed_world_size=1 "common_eval.course='/course/to/asr/model'" task.knowledge='/course/to/manifest' dataset.gen_subset="${lang_code}:dev" common_eval.post_process=letter     市場内での代替案: 
    生のペルソナベースのほとんどの出力を獲得するには、ユーザーは common_eval.post_process=none )
    GPU 効率を最大化するか、特定の回想外 (OOM) を制御するために、ユーザーは調整できます  dataset.max_tokens=??? ディメンション
     言語モデルのデコードを回避するには、
  を使用して Flashlight Python バインディングをセットアップします。  git clone --recursive git@github.com:flashlight/flashlight.git cd 懐中電灯;  git checkout 035ead6efefb82b47c8c2e643603e87d38850076 cd bindings/python python3 setup.py セットアップ      を準備してくださいKenLM 言語モデル にレキシコン ファイルを準備します  この
形式です。
     LANG= # 説明のため - 'eng', 'azj-script_latin' PYTHONPATH=。  PREFIX=INFER HYDRA_FULL_ERROR=1 python Examples/speech_recognition/unique/infer.py --config-dir=examples/mms/asr/config  --config-title=infer_common decoding.style=kenlm distribution_training.distributed_world_size=1  デコーディング。 unique_wer_file=正しいデコーディングの試行.beam=500 decoding.beamsizetoken=50  task.knowledge= common_eval.course=' ' decoding.lexicon= decoding.lmpath=  decoding.results_path= dataset.gen_subset=${LANG}:dev decoding.lmweight=???  decoding.wordscore=???   
 
 
私たちは絶えず掃除をしています  lmweight 0～5の変動内および wordscore -3 から三つ。 出力の項目化には、デコーダーからの参照出力と仮説出力が含まれます。
ほとんどの言語単位をペルソナベースでデコードする場合は、空の辞書ファイル ( decoding.lexicon=),  decoding.unitlm=Honest をスイープオーバー decoding.silweight でwordscore の保存).
 
TTS
マスク: クローンとセットアップ  VITS
 実行推論の前進。  ## 英語 TTS $ PYTHONPATH=$PYTHONPATH :/course/to/vits Python サンプル/mms/tts/infer.py --model-dir /course/to/モデル/eng  --wav ./example.wav --txt  " 音声技術の言語保護の拡大
 は、さらに多くの人々の知識へのアクセスを強化する可能性があります皆さん"   ## マイティリ語 TTS $ PYTHONPATH=$PYTHONPATH:/course/to/vits Python Examples/mms/tts/infer.py --model-dir /course /to/model/mai  --wav ./example.wav --txt
 " सी भाषा      "   
example.wav は、その言語の合成音声で構成されます。
 
LID
この形式のファイルを2つ用意します。 各マニフェスト行は と  で構成されます。
 #/course/to/manifest.tsv / /course/to/audio1.wav 180000 /course/to/ audio2.wav 240000 /course/to/audio3.wav 160000 # /course/to/manifest.lang eng 1 eng 1 eng 1 
LID モデルの派生モデルと対応する辞書ファイル。 推論から逃れるために次の再集計を実行します -
 $ PYTHONPATH= ' .」  python3 例/mms/lid/infer.py /course/to/dict/l126 / --course /course/to/units/mms1b_l126.pt  --task audio_classification --infer-manifest /course/to/manifest.tsv --output-course < OUTDIR>
上記の再計算では、 という名前のファイルがあると仮定しています。 dict.lang.txt   𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺