[“serviceName”]
2023 年 3 月 2 日木曜日 · クリシュナ・コンダカ、アシフ・ソハイル・モハメッド、デビッド・ヴェナブル
Files Prepper 2.1.0 は、ダウンロード！ このローンチにより、Files Prepper に多くのよそよそしい部分が提供されます。 さらに、メンテナーは Files Prepper のバランスと効率を改善しました。 よそよそしい部分の多くは、GitHub 障害やプル リクエストの形でのコミュニティの貢献によるものです。
- 生成されたメトリクス
Files Prepper を通過するログとトレースのメトリックを構築することにより、OpenSearch (データ ストア、検索エンジン、および視覚化) も非常に強化される可能性があります。 メトリクスを生成するスキルにより、特定の期間にわたるイベントの要約が可能になり、視覚化とアラートに生データを利用するのとは対照的に、インジケーターの視覚化と窮状がより単純になります。
Files Prepper 2.1 は、すべての着信イベントから OpenTelemetry 構造メトリックを生成するのに役立ちます。 Files Prepper 集計プロセッサには、ログとトレースのメトリックのノウハウを強化する 2 つのよそよそしいアクションがあります:
これらのアクションのすべてを集約プロセッサの条件付き集約可能性と組み合わせて、より重要なメトリックを生成することもできます.
例として、エラー (status_code 2) に等しい depend 集計アクションと aggregate_when 可能性。 並列サブパイプライン内の 1 つの他の集計プロセッサを使い果たしたヒント レイテンシのヒストグラムを追加で生成することもできます。
hint-error-metrics-pipeline: オファー: パイプライン: タイトル: "スパンパイプライン" プロセッサ: - 集約: 識別キー:アクション: 依存: group_duration: "20s" aggregate_when: "/status_code==2" シンク: - opensearch ホスト: ["https://opensearch:9200"] 恐ろしい: 適切なユーザー名: "admin" パスワード: "admin" インデックス: ヒント エラー メトリック ヒント- high-latency-metrics-pipeline: オファー: パイプライン: タイトル: "スパンパイプライン" プロセッサ: - 集計: 識別キー:アクション: ヒストグラム: キー: "durationInNaos" record_minmax: 適切なオブジェクト: "ナノ秒" バケット: [1000000000, 1500000000, 2000000000] group_duration: "20s" aggregate_when: "/durationInNanos> 1000000000" シンク: - opensearch ホスト: ["https://opensearch:9200"] 恐怖: 適切ユーザー名: 「管理者」 パスワード: 「管理者」 インデックス: ヒント-高レイテンシ-メトリック
異常検知
Files Prepper 2.1 では、パイプライン内のどこにでも配置されて異常を検出する正直なプロセッサとして、異常検出が導入されています。合成知能/機械学習 (AI/ML) プログラムの枯渇。 今のところ、最も手ごろなプロセッサは、ランダム スラッシュ バック ウッドランド アルゴリズムが異常を検出するのに役立ちます。 他の AI/ML アルゴリズムの強化は、おそらく kill 内に追加されるでしょう。 プロセッサは、異常を検出するために、入力イベント内の数値 (整数または浮動小数点データ形式) 規則を使い果たすように構成されている可能性もあります。
Files での異常検出 Prepper は、サーバー ファセットに ML アルゴリズムが適用されているため、ログとトレースで異常を検出するための、よりスケーラブルで大気に正確な式を提供します。
例として、ヒント待ち時間のヒストグラムを生成する集計プロセッサを念頭に置いてください (durationInNanos )。 集計プロセッサの後に異常検出プロセッサを保持する場合、異常に高い待機時間が発生する必要があります。 次は、構成の形式のインスタンスです:
hint-metric-anomaly-detector-pipeline: オファー: パイプライン: タイトル: "hint-high-latency-metrics-pipeline" プロセッサ: - anomaly_detector: キー: ["max"] モード: random_cut_forest: シンク: - opensearch ホスト: ["https://opensearch:9200"] 恐ろしい: 適切なユーザー名: "admin" パスワード: "admin" インデックス: high-latency-traces-with-anomalies
サンプリングと課金制限Files Prepper 2.1 は、サンプリングと課金制限により、おそらくシンクに送信される可能性のあるイベントの収集を制限するのに役立ちます.
これらの部分は、頻繁にログやメトリクスを保存する際に、OpenSearch クラスターの負荷を下げるという脅威にさらされる可能性もあります。 例として、成功した HTTP ログまたは繰り返し要求の収集を制限することができます。各サンプリングと充電制限は、集計プロセッサ内の構成可能なアクションとしてすぐに利用できます。 サンプリングの排出を行うには、サンプリング シェアを指定します 充電制限の排出を行うには、2 番目の可能性ごとにイベントを窮地にします
Files Prepper 2.1 は、サンプリングと課金制限により、おそらくシンクに送信される可能性のあるイベントの収集を制限するのに役立ちます.
これらの部分は、頻繁にログやメトリクスを保存する際に、OpenSearch クラスターの負荷を下げるという脅威にさらされる可能性もあります。 例として、成功した HTTP ログまたは繰り返し要求の収集を制限することができます。各サンプリングと充電制限は、集計プロセッサ内の構成可能なアクションとしてすぐに利用できます。 サンプリングの排出を行うには、サンプリング シェアを指定します 充電制限の排出を行うには、2 番目の可能性ごとにイベントを窮地にします
ヒント-もはや新鮮-パイプライン: オファー: パイプライン: タイトル: "スパンパイプライン" プロセッサ: - 集約: 識別キー: ["serviceName"] アクション: percent_sampler: pc: 60 group_duration: "30s" aggregate_when: "/status_code !=2 and /durationInNanos <=1000000000" シンク: - opensearch ホスト: ["https://opensearch:9200"] 恐ろしい: 適切なユーザー名: "admin" パスワード: " admin" インデックス: サンプルトレース
