HN に通知: Oxen.ai – 迅速な非構造化レコードデータバージョンの規制

Oxen は、コードをモデル化するのと同等の機械学習データセットをモデル化するのに役立ちます.

# 機械学習の最初のステップは「oxen clone」である必要があります https://hub.oxen.ai/ox/CatDogBoundingBox

Oxen は、構造化されたデータと非構造化されたデータの種類で高速になるように最適化されました。時代遅れのモデルが、テキストアサートマテリアルファイルとコード用に最適化されやすいウォッチオーバーメソッドを保持するのとは異なり、Oxen はかつて地面から迅速に構築されました写真、ビデオ、オーディオ、テキストの主張資料などについて

)

🔥 速い (現在のツールより 10 ～ 100 倍早い)

🧠 教えられやすい (同じgit としてのコマンド)

🗄️ 大量のファイルのインデックスを作成します (何千もの写真? アサートなし) 🎥 大容量ファイル (写真、ビデオ、オーディオ、テキストアサートマテリアル、寄木細工、矢印、json、アイテム、など)

📊 ネイティブデータフレームプロセス ssing (oxen df データ探索のために存在) 📈 時間の経過に伴う調整を追跡します (事前に恐れることなく、データの誓いを捨てる必要はありません) 🤝 乗組員と協力する (牛サーバーに同期)

👀

でのより優れたデータ視覚化OxenHub

への移行) Plan 2.0 は、機械学習アイテムとトレースを変更している確立が発生しています。広々としたデータセット。複雑な機械学習が混在することなく、計画はすでに進んでいます。データとアイテムが時間の経過とともに進化するにつれて、調整のメモを保存するためのより良いツールが必要です.

ハブを使用すると、乗組員がデータセットを目で見て、見て、協力して、取り組むことができます.

https://www.oxen. ai/register ハブへの早期オプトアップエントリを登録して、データセットをホストすることもできます

「牛」 🐂 は、ツールがデータを耕し、保存し、モデル化し、適切な農家が畑を耕す傾向があるという事実に由来します 🌾. Oxen にインフラストラクチャの問題の処理を任せて、製品に対するそのトピックの高度な段階の ML の問題に焦点を当てることができるようにします。

いいえ現在の

Oxen Remark Line Interface (CLI) ミラー git は非常に多くの方法で実行されるため、git を使用したコードのバージョン管理に慣れている必要があります。 Oxen を使用してデータセットをモデル化します

数秒のトピックで何千枚もの写真を Oxen リポジトリにコミットするので、賞賛してください 🚀

Macをお使いの方へ

`$ brew tap Oxen-AI/oxen $ brew setup oxen`
他のプラットフォームの場合は、インストール n 命令 .

Oxen に変換された通常のコマンドの簡単な概要を次に示します。

ユーザー設定

あなたの犯した古代の過去、ネイティブのOxenユーザー名と電子メールを評判にする必要があります. これは、oxen ログまたは OxenHub ダッシュボードで、誰が何を変更したかを証明するものです

$ oxen config --name 」あなたの名前" - Eメール "あなたのメールアドレス」

ローカルリポジトリの作成

まず、現在のリストを作成し、そこに移動して作成します

舞台記録データ

あなたも oxen add を使ってコミットすることに引き寄せられた調整を上演できること肉厚のファイルコースまたはリストを提示して提供します。

ゲイズオンラインページ

どのデータが追跡されているか、ステージングされているか、またはまだリポジトリに追加されていないかを確認するには、評判 あります.

ビジュアルディスプレイユニット: 多くのファイルを含む膨大なデータセットに直面しているため, repute は、調整をロールアップして要約します。

e76dd52a4fc13a6f コミットするディレクトリを追加: 写真追加された 8108 個のファイルを使用してコミットする Recordsdata: current file: pictures/000000000042.jpg current file: photos/000000000074.jpg current file: pictures/000000000109.jpg current file: pictures/000000000307.jpg current file: pictures/000000000309.jpg currentファイル: photos/000000000394.jpg 現在のファイル: pictures/000000000400.jpg 現在のファイル: photos/000000000443.jpg 現在のファイル: photos/000000000490.jpg 現在のファイル: pictures/000000000575.jpg ... および 8098 個のその他追跡されていないディレクトリ (exercise "oxen add 。 .." コミットされる可能性が高いものを更新する) 注釈/ (3 項目)" dir="auto">$ oxen 評判 On 部門 main -> e76dd52a4fc13a6f 作成するディレクトリコミットされた追加: 8108 ファイルが追加された写真コミットされるレコードデータ: 現在のファイル: pictures/000000000042.jpg 現在のファイル: pictures/000000000074.jpg 現在のファイル: pictures/000000000109.jpg 現在のファイル: pictures/000000000307.jpg 現在のファイル: pictures/ 000000000309.jpg 現在のファイル：photos/000000000394.jpg 現在のファイル：photos/000000000400.jpg 現在のファイル：photos/000000000443.jpg 現在のファイル：photos/00 0000000490.jpg 現在のファイル: photos/000000000575.jpg ... およびその他 8098 個の追跡されていないディレクトリ (演習 "oxen add ..." コミットされる可能性が高いものを更新する) 注釈/ (3 項目) -s (スキップ) と -l (制限) 評判のパラメーターが存在します。 Skedaddle 牛の評判 --abet 追加データ用変更をコミットコミットするあなたがよく行使するかもしれないメッセージでステージングされやすい調整 $ oxen commit -m 」いくつかの有益なコミットメッセージ " ) ログあなたも仕事をすることで、あなたの最近の部門への調整の古代の過去を見ることができるということ: $ oxen log commit 6b958e268656b0c5 Writer: Ox Date: Fri, 21 Oct 2022 16:08:39 -0700 10,000 の練習写真を含む commit e76dd52a4fc13a6f Writer: Ox Date: Fri, 21 Oct 2022 16:05:22 -0700 初期化レポ🐂 コミットに戻しています作業リストをコミットの古代の過去にある程度変更する必要がある場合は、古代の過去のコミット ID をチェックアウトプレゼント. $ oxen checkout COMMIT_ID 作業項目化の復元 The restore プレゼントが手元に届きました。 ts が近くにあり、調整を元に戻す必要があります。これはおそらくベテランでしょう.たとえば、意図していないファイルを削除、調整、またはステージングする必要があります. $ oxen restore course/to/file.txt 復元デフォルトで復元ファイルを最近の HEAD に移動します。ファイルのステージングを解除する方法以外の詳細な戦略については、ドキュメントの復元。義務部品 Oxen には oxen df present. 実際には余分に飛ばしても構わない高度な処方イオン. Oxen を使用してデータをうまく連携させる方法が 2 つあります。の使用OxenHub プラットフォームセルフインターネットインターネットホスティングの演習 oxen-server バイナリ最も挑発的なルートは、OxenHub にアクセスし、そこにあるリポジトリにデータを同期します。逸話を作ると話し合うhttps://www .oxen.ai/register から登録あなたのリポジトリあなたのコンドミニアムページから、おそらくあなたのリポジトリを見て、現在のリポジトリを発明することさえできるかもしれません. セットアップ権限あなたAPI キーへのエントリをオプトアップしたサイドパネルにタグが付けられている可能性があります。 uncover でデータをリポジトリにプッシュするには、このキーを複製して、ユーザー構成と同じように評価する必要があります。これにより、~/.oxen/user_config.toml 内のキーがホストごとに 1 つのキーで保護され、複数のホストにプッシュする必要があります。 $ oxen config --auth ハブ.oxen.ai YOUR_API_KEY $ 猫 ~/.oxen/user_config.toml Faraway リポジトリの作成評判を取り、リポジトリに説明を与えます。リポジトリはさらに、誰でも閲覧できるように公開することも、あなたとあなたの会社に適切な非公開にすることもできます. データをプッシュするリポジトリを作成したとしても、データをプッシュする URL が構造 https://hub.oxen に表示されることさえあるかもしれません。 .ai// データリポジトリから上で作成した単純に a ウェイを追加してプッシュすることもできます。 $ oxen の評判 - 確立を開始する方法 https://hub.oxen.ai/<ユーザー名>/<repo_name> $ oxen push開始前の確立 main 🎉 おめでとう！あなたもニュートラルに構成できるようになり、ハブでデータを確認する準備が整いました. -- 浅い oxen clone にフラグを立てて、クローン上のデータ全体を取得しないことに同意します。デフォルトは、main と接続されたデータ全体の複製です。 $ oxen clone https://hub.oxen.ai/<ユーザー名>/<レポ名> --浅い $ CD <レポ名> $ oxen pull starting 確立 my-department 牛のバッジあなたも README にバッジを追加して、リポジトリの評判を証明することができます。バッジは、データの概要をリポジトリに証明します。バッジは .svg として生成されるため、他のサイトにバッジを埋め込むことができます。コードが他の場所にある場合は、GitHub に注意してください。インスタンスマークダウン: (https://img.shields.io/endpoint?url=https://hub.oxen.ai/api/repos/$USERNAME/$REPO_NAME/badge '牛バッジ')](https://oxen.ai /$USERNAME/$REPO_NAME)"> (https://img.shields.io/endpoint?url=https://hub.oxen.ai/api/repos/$USERNAME/$REPO_NAME/badge '牛バッジ')](https://oxen.ai /$USERNAME/$REPO_NAME) ただ上記の $USERNAME と $REPO_NAME を、ユーザー名とリポジトリ名とともに変更しますセルフホスティング Oxen は、oxen-server を使用して自己インターネットインターネットホスティングを有効にします。バイナリ。ハブの UI 構成をオプトアップすることはもうありませんが、ここでタイヤを蹴ったり、内部インフラストラクチャの評判を上げたりする大きなリスクがあります。一部のグループは、ネイティブネットワークのサーバーインスタンスを評価し、バックアップとモデルが監視を維持するためだけにそれを実行します。他のグループは、データ施設間での共有を可能にするためにクラウドで評価します。あなたも、セルフインターネットインターネットホスティングについて詳しく読むことができますここに. Recordsdata Point Stage Version Regulate Oxen は、どのような種類のファイルを含めるかについて非常に優れています。例として、表形式のデータファイル (拡張子が .csv、の場合) に注意する必要があります。 tsv、.parquet、.arrow、.jsonl、または .ndjson) Oxen はファイルのすべての行にインデックスを付けてメモを保持します. $ oxen add annotations/practice.csv $ oxen commit -m 「ファイルの行と行を含む " ボンネットの下で、 Oxen はデータスキーマを検出し、アサートマテリアルのすべての行をハッシュします。これにより、マテリアルアドレス指定可能な DataFrame を no にアサートすることができます。時間の経過に伴う行と列の調整に注意してください。 DataFrames のインデックス作成のエネルギーを参照して、さらに学習するにはデータレベルステージモデル保持ウォッチオーバードキュメント . Oxenいくつかの現在のラインツーリングもあります。探索記録データデータフレームによる予後。 oxen dfのプレゼントは、データを見て、調整して、スライスして、調整するのに苦労することはありません. $ oxen df annotations/practice.csv shape: (10000, 6) ┌────────────────────────┬── ──────┬────────┬────────┬────────┬────────┐ │ ファイル ┆ 指定 ┆ min_x ┆ min_y ┆ 幅 ┆ 高さ │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ str ┆ f64 ┆ f64 ┆ f64 ┆ f64 │ ╞══════ ═══════════════════╪═══════╪════════╪════════╪════ photoghths/0000128154.jpg ╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌ photoghtss/0000544590.jpg photoghths/000000000581.jpg┆犬49.37 ┆67.79 ┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┤ │写真/0000 00236841.jpg .. . ┆ ... ┆ ... │ ├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌ photoghtss/0000257301.jpg ╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌ photoghtss/0000130399.jpg ╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌ photoghtss/0000215471.jpg ┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┤写真/0000251246。 jpg ┆ 猫 ┆ 58.23 ┆ 13.27 ┆ 90.79 ┆ 97.32 │ └────────────────────────┴────────┴──── ──────┴────────┴────────┴────────┘ Oxen で表形式のデータを使用して製造できるものについて詳しく学ぶには、ドキュメントを参照することをお勧めしますここにラベリング機器の統合ほとんどの教師あり学習プロジェクトでは、なんらかの形式の注釈またはラベル付けワークフローに同意するでしょう。に相当する現在のオープン提供ツールがいくつかあります。 Impress Studio は、Oxen ワークフローとうまく統合できる可能性のあるデータのラベル付けに使用されます。 Oxen を Impress Studio ワークフローに統合する例については、を確認してください。 Oxen Annotation Documentation. 差分ファイルと競合するファイルの違いを注視する必要がある場合 oxen diff present. Oxen know how one. 表形式データとは別に、テキストアサートマテリアルファイルを評価できます。コミット間。とりあえず音声コースをファイルに指定して、調整を評価する必要がありますファイルが表形式の場合 oxen diff は、追加または削除された行を証明します。 $ 牛df 注釈/data.csv --add_row 'photographs/my_cat.jpg,cat,0,0,0,0 ' -o 注釈/data.csv $ oxen diff 注釈/data.csv追加された行 ╭────────────────────┬────────┬────────┬────────┬─── ────┬────────╮ │ ファイル ┆ 指定 ┆ min_x ┆ min_y ┆ 幅 ┆ 高さ │ ├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌ ╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌┤│ph otographs/my_cat.jpg ┆猫┆0┆0┆0┆0│╰──────────────────┴────────┴────── ──┴────────┴────────┴────────╯ 1行×6列表形式のデータスキーマが変更された場合 oxen diff がフラグを立て、 $ oxen df 注釈/data.csv --add_col 'is_fluffy:unknown:str ' -o 注釈/data.csv $ oxen diff 注釈/data.csv 追加された列形状: (10001, 1) ┌────────────┐ │ is_fluffy │ │ --- │ │ str │ ╞═══════════╡ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌┤ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌ │ ├╌╌╌╌╌╌╌╌╌╌ ╌┤ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌┤ │ ... │ ├╌╌╌╌╌╌╌╌╌╌╌┤ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌ ╌┤ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌┤ │ 不明 │ ├╌╌╌╌╌╌╌╌╌╌╌┤ │ 不明 │ └────────┘スキーマが変更されました Damaged-down +------+-------+-------+-------+-------+---- -+ | ファイル | 指定 | min_x | min_y | 幅 | 身長 | | --- | --- | ---| --- | --- | ---| | str | スト | | f64 | f64 | +------+-------+-------+-------+----- --+--------+ オリジナル +------+-------+-------+-------+----- --+--------+-----------+ | ファイル| 指定 | min_x | min_y | 幅 | | | --- | --- | --- | --- | --- | --- | | str | str | f64 | f64 | f64 | f64 | str | +------+------ ---------+-------+-------+--------+-----------+ ファイルが他のすべての形式のテキストアサートマテリアルデータである場合、これは単純に追加および削除されたことを証明できます。 $ oxen diff course/to/file.txt i +これは、編集中のテキストアサートマテリアルファイルです。 -la-dee-da +la-doo-da +もう一行分岐ブランチは、データセットを強化するベテランであり、データの多様なサブセット、変換、または拡張を使用した簡単な実験です。 main 部門は、Oxen リポジトリを生成する必要があるデフォルトの部門です。実験を簡単にしながらさまざまなブランチを使用し、データセットに自信がある場合は、それを main 部門にマージします。あなたもで現在の部門を発明できること$ oxen チェックアウト -b branch_name メインへのスワップアシストおよびもう一度部門を削除してください $ oxen department -d 支店名他の人が入手できる部門に同意しなければならない場合は、特に同意して、それを遠くにプッシュしてください $ oxen push 開始の確立 branch_name を表示するにはご近所そよ風新しい変更のプルネイティブリポジトリを基本的に最新の調整に更新するには、そよ風 $ oxen pull 開始の確立 branch_name 繰り返しになりますが、盗む可能性が高い場所と部門名を指定することもできます調整の統合本当に自分の調整に自信があるなら、主な部門をもう一度確認してから、調整をマージしてください. $ oxen checkout main $ oxen merge branch_name コンフリクトがある場合、Oxen はそれらにフラグを立てるので、別のコミットでファイルを追加して再度コミットする必要があります。 Oxen は現在、作業ファイルに変更を加えていません。モデルを盗みたいという中立的な欲求がある場合は、適切に追加して再度コミットしてください。 $ oxen add file/with/battle.jpg $ oxen commit -m 」修正バトル」マージ競合への対処牛は現在マージの競合を処理する 3 つの方法他の人の調整をつかむ oxen ch 𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺