Python での Recordsdata Validation: Pandera と大きな期待への視線

Recordsdata 検証は、ファイルがダウンストリーム処理 (分析、視覚化、機械学習など) に適した状態にあることを検証するアプローチです。下流の利用者が自信を持って使用できるように、ファイルがその期待に応える必要があります。

Sizable Expectations は、ファイルの検証を実行するための最新の Python ライブラリです。このウェブログの投稿では、各ライブラリの側面の膨大な概要を提示し、それらを使用していくつかの慣習的な検証テストを提示する方法を提示し、どれを黙って使用する必要があるかについていくつかの解決策を提示することができます.

レコードデータの検証 – 従来の事務の啓蒙

私たちが探求しようとしている事務の啓蒙の流行は 1 つです。これらのライブラリが設計されている知識処理の世界 (つまり、ファイルの科学と工学) で慣習的な人。合計すると、次のようになります。知識、愛の分析と視覚化に関する貴重な問題を引き起こす前に、輝かしい懸念を持ついくつかの生ファイルを取り込んだ可能性もあります。それをテストすることをお勧めします。

次のボート販売ファイルを撤回し、

this からの編集された抜粋Kaggle データセット、次の 7 つの列を含む: ‘Identity’、’Model’、’Forex’、’Boat Form’、’12 months Constructed’、’Length’、’最後の 7 日間の訪問のシーケンス’.

外国為替ボートフォーム 12ヶ月の構築

	身元	モデル

長さ

最後の7日間のビューのシーケンス

3337

スイスフラン

モーターヨット

2017

4.0

226

1 3490

ユーロセンターコンソールボート

4.0

3770

スイスフラン

スポーツボート

3.69

3.0

25900

DKK

スポーツボート

2020

現時点でのデバイスからソリューションへのいくつかの検証ソリューション:

「ID」列の値は、互いに確認したい

テストファイルの列とは反対です。スキーマオブジェクトを作成したら、それを使用して、ファイルの本文フォームとは対照的に検証します。ライブラリは、複数のサプライヤー、代わりに、パンダ

を見てみましょう。 DataFrame このブログでは

ボート販売ファイルの検証の実施

前述の最も価値のある検証ソリューションを Pandera スキーマ内に適用しましょう。

schema=DataFrameSchema( { "ID": 列(int), "モデル": 列(int), "外国為替" : Column(waft, Evaluate.isin()), "Boat Form": Column(str, Evaluate.isin(boat_types)), "12 months Constructed": Column(int, Evaluate.in_range(1950, 2022), coerce=Fair correct), "長さ": Column (waft, Evaluate.in_range(0.5, 110.0)), "最終 7 日間のビューのシーケンス": Column(int, Evaluate(lambda x: 0 <=x <3500)), }, odd=["Id"], )

上記のコードは、知識検証テストの提案をキャプチャします

𝚆𝚊𝚝𝚌𝚑 𝙽𝙾𝚆 📺