EleutherAI の前回のふりかえりから 365 日以上が経過し、膨大な数の問題が修正されました。 最初の 365 日以内に、一部の TPU 愛好家によって作成された Discord サーバーとして始まったものは、注目に値する、より大きく、より活気のあるコミュニティに成長しました。 それ以来、EleutherAI 集団は随分前から多くの問題を制定し、インスピレーションを与える独創的なレベル、足がかり、そしてその寄稿者のための踏み台、そしてテンプレートに変化し、オリジナルの組織を積み重ねています.
私たちが2 回目の回顧展に参加することは非常に注目に値するため、貴重なポイントと発表をここにまとめました。 パンチラのネタバレお待ちしております
調べる
私は、80% 以上の ImageNet 精度を達成するコード、変更 280 としての 278 トークンの使用について、ブランド独自の芸術の開示を住居の位置に擁護します。 、Namelessらを破った。 (2021)さらに輸入と併せて から torch.nn import def c(h,d,sufficient,p,n): S,C,A=シーケンシャル,Conv2d,ラムダ x:S(x,GELU(),BatchNorm2d(h));R=種類('',(S,),{'前方'： ラムダ s,x:s 0+x});return S(A(C( 3,h,p,p)),d],AdaptiveAvgPool2d((1,1)),Flatten(),Linear(h,n))
私は、80% 以上の ImageNet 精度を達成するコード、変更 280 としての 278 トークンの使用について、ブランド独自の芸術の開示を住居の位置に擁護します。 、Namelessらを破った。 (2021)さらに輸入と併せて
から torch.nn import def0+x});return S(A(C(
3,h,p,p)),d],AdaptiveAvgPool2d((1,1)),Flatten(),Linear(h,n))
オリジナルソタ、275文字
from torch.nn 輸入def c
オリジナルソタ、275文字
from torch.nn 輸入def c
(h,d,sufficient,p,n): S,C,A=シーケンシャル,Conv2d,ラムダ x:S(x,GELU(),BatchNorm2d(h));R=親切('',(S,),{'進む'
: ラムダ s,x:s0
+x});リターン S(A(C(( 3,h,p,p)),*[S(R(A(C(h,h,k,1,k//2,1,h))),A(C(h,h,1)))for _ in[0]*d],AdaptiveAvgPool2d ((1,1)),Flatten(),Linear(h,n))
1)),Flatten(),Linear(h,n))
EAI 環境 SotA in staunch time
EleutherAI の寄稿者は 28 の論文を執筆しました。数十のガジェットをトレーニングし、過去 18 か月で 10 のコードベースを立ち上げました。 いくつかのよく知られたハイライトは、
これこの論文では、これまでで最大の発信元 LLM に関する私たちの取り組みについて説明しています。 フリーアップ時
、それは最高で最もパフォーマンスの高い元のソースの自己回帰言語マネキンでした.
EleutherAI の寄稿者は 28 の論文を執筆しました。数十のガジェットをトレーニングし、過去 18 か月で 10 のコードベースを立ち上げました。 いくつかのよく知られたハイライトは、
これこの論文では、これまでで最大の発信元 LLM に関する私たちの取り組みについて説明しています。 フリーアップ時
、それは最高で最もパフォーマンスの高い元のソースの自己回帰言語マネキンでした.
わずか365日ですが、ようやくOGのテキストから画像への作業を書き上げました!
トレーニングに導入されたマルチタスクにより、ゼロショットタスクの一般化が可能になります
この BigScience 主導の論文は、T0 言語マネキンを立ち上げ、職務構造記録への情熱を急上昇させました.
EleutherAI: 以前の「Launch Science」から「Science in the Launch」へ この紙、 NeurIPS Broadening Examine Collaborations Workshop in ML のために書かれたこの本は、コラボレーション科学を生み出す私たちの能力を詳細に説明し、組織の学位について熟考する私たちの内省を示しています。
OpenFold: AlphaFold2 の再学習一般化のためのメカニズムと能力を発見することへの現代的な洞察をもたらします
この紙、 NeurIPS Broadening Examine Collaborations Workshop in ML のために書かれたこの本は、コラボレーション科学を生み出す私たちの能力を詳細に説明し、組織の学位について熟考する私たちの内省を示しています。
OpenFold: AlphaFold2 の再学習一般化のためのメカニズムと能力を発見することへの現代的な洞察をもたらします
EleutherAI は、この論文でマイナーな機能を果たしました。解釈作業、コンピューティング、および HPC の知識を主にサポートします。 これは、いつでも非常に優れた論文であり、すべての非常に大きな解釈可能性と、わずかに小規模なトレーニングを後援することの影響を比較したものです.
