6 週間前に、OpenAI の GPT テクノロジで構築されたチャットボットである My AI を公開しました。 Snapchat+ のサブスクライバーに My AI を提供することからゆっくりと始めましたが、1 か月以上経った今では、学習負荷を贅沢に使用しています。 たとえば、私たちのコミュニティが My AI に尋ねてきた最も伝統的な主題の 1 つは、映画、スポーツ、ゲーム、ペット、および数学を網羅していることを私たちは皆知っています
悪用の可能性についても学びました。その多くは、チャットボットをだましてガイドラインに準拠しない応答を提供するように注意を払っている人々から学んだものです。 My AI を強化するための共同作業の一環として、学習の結果として計画を立てていないセキュリティ強化の一部について、最新情報をお伝えしたいと思います。施行します。
私の AI のデータ処理テクニック
プライバシーは、Snap のミッションの中心であり続けてきました。それは、友人や家族とコミュニケーションをとるときに、人々が自分自身を表現することを非常に幸せに感じるのに役立ちます。 Snapchat全体で、当社の商品がどのようにレコードを消費するかについての読みやすさとコンテキスト、およびプライバシーバイフィルプロセスを利用して側面を構築する図をコミュニティに提供するよう努めています. たとえば、Snapchat の友達同士の会話に関連するレコードに対処する方法は、Snapchat のブロードキャスト命令に関連するレコードに対処する方法とは異なります。
しかし、My AI はチャットボットであり、正確な相棒ではないため、接続されたレコードを別の方法で処理することを意図していました。対話履歴を費やして、My AI をさらに楽しく、価値のある、より安全なものにします。 Snapchat の転送者は My AI を使用することが許可されており、My AI を使用したすべてのユーザーのメッセージが削除されない限り保持されることを確認するオンボーディング メッセージが表示されます。
My AI とのこれらの初期の相互作用を確認するために生計を立てていることは、どのガードレールがうまく機能しており、どのガードレールを強化する必要があるかを確認するのに役立ちました. これを評価するために、今、私たちは、暴力、性的に露骨なフレーズ、違法薬物の使用、子供の性的行為への言及を伴うテキスト指示として概説する、「不適合」な言葉を含む My AI のクエリと応答の作業経験をしてきました。虐待、いじめ、ヘイト スピーチ、軽蔑的または偏った発言、人種差別、ミソジニー、または過小評価されたグループの過小評価。 これらの指示のすべてのレッスンは、Snapchat では明示的に禁止されています。
私たちの最もトレンディな評価では、My AI の応答の最もエネルギッシュな 0.01% が不適合と見なされたことがわかりました。 最も伝統的な My AI の不適合な応答の例には、Snapchat 利用者の質問に合わせて My AI が間違ったフレーズを繰り返すことが含まれていました。私のAI。 この知識は、My AI の誤用を制限するための新しいシステムを導入する価値もあります。 現在のツールセットに Open AI のモデレーション テクノロジーを追加します。これにより、潜在的に罪深い指示の深刻度を評価し、Snapchat 利用者がキャリアを悪用した場合に My AI へのアクセスを即座に制限できます。
年齢に応じた経験
私たちは、セキュリティと年齢の適切さを優先する商品と経験を埋めるという私たちの責任を真剣に願っています. My AI を立ち上げて以来、Snapchatter の年齢にもかかわらず、間違った Snapchatter リクエストへの応答を強化するために精力的に取り組んできました。 また、プロアクティブな検出ツールを使用して、My AI の会話をスキャンして、不適合の可能性のあるテキストの指示と欲望の動きを探します。
Snapchatter の生年月日。Snapchatter が My AI にダイアログで自分の年齢を伝える方法がなくても、チャットボットはダイアログに参加するときに年齢を考慮に入れることを継続的に要求します。
ファミリー センターのマイ AI
Snapchat は、アプリ内のファミリー センターを通じて、フォギーや介護者に、子供がどの友達とコミュニケーションをとっているか、また少し前の図を表示します。 今後数週間で、子供たちの My AI とのやり取りについて、フォギーに特別な認識を与えることができます。 このテクニックは、ファミリー センターを利用して、子供たちが My AI と通信しているかどうかを確認するのに役立ちます。 ファミリー センターの利用を主張するには、父親または母親と 10 代の若者の両方がオプトインする必要があります。また、家族は、登録するための図について詳しく説明することができます ここで
。
Snapchat の利用者が My AI からの応答に関連するものを受け取った場合は、アプリ内レポート ツールを利用して、一般的なことについて提案をしてください。製品の経験。
私たちは継続的に My AI の強化に取り組んでおり、私たちのコミュニティを正確に保護するために、寓話に追加の手段を頻繁に取り入れることができます。 私たちは My AI に関する初期の提案全体を気に入っており、コミュニティに楽しく正確なスキルを提供することに専念しています。
