MLOps Archives | DataRobot https://www.datarobot.com/jp/blog/category/mlops/ Deliver Value from AI Wed, 16 Aug 2023 09:26:00 +0000 ja hourly 1 https://wordpress.org/?v=6.4.3 DataRobot AI勉強会レポート : 今後、日本企業が取り組むべきガバナンスの最前線 〜有事に“適切に稼働する”AIガバナンスとその構築方法〜 https://www.datarobot.com/jp/blog/ai-governance-study-group/ Mon, 14 Aug 2023 01:23:36 +0000 https://www.datarobot.com/jp/?post_type=blog&p=11936 ※本内容は、2023年1月25日イベント開催時の情報となります。 DataRobotはメディア向けAI勉強会「今後、日本企業が取り組むべきガバナンスの最前線有事に”適切に稼働する”AIガバナンスとその構築方法」を開催しま...

投稿 DataRobot AI勉強会レポート : 今後、日本企業が取り組むべきガバナンスの最前線 〜有事に“適切に稼働する”AIガバナンスとその構築方法〜DataRobot に最初に表示されました。

]]>
※本内容は、2023年1月25日イベント開催時の情報となります。

DataRobotはメディア向けAI勉強会「今後、日本企業が取り組むべきガバナンスの最前線有事に”適切に稼働する”AIガバナンスとその構築方法」を開催しました。

企業のAI活用が進む中、AIガバナンスは企業が取り組むべき喫緊の課題の一つになっています。昨今ではAI先進企業、とりわけ大企業においてAIガバナンス強化の取り組みが活発化しており、経済産業省でもAI原則の実践の在り方に関する検討会を発足させるなど、政府・官庁による法整備に向けた動きも加速しています。

こうした背景のもと、DataRobotではAIガバナンスの概要と企業の取り組み方について学べる機会を創出するため、報道関係者に向けた「AI勉強会」を実施いたしました。

当日は、DataRobotでさまざまな業界のAIプロジェクトを担当し、金融チームをリードするデータサイエンスディレクター小川幹雄(2023年1月時点)とEYストラテジー・アンド・コンサルティング株式会社で金融サービス リスクマネジメントを担当する楠戸健一郎氏が登壇し、AIガバナンスの必要性や策定に必要なポイントを実例を交えて解説しました。

⚫️当日のスピーカー ※所属、役職はイベント開催当時の情報

楠戸 健一郎 氏(EYストラテジー・アンド・コンサルティング株式会社 金融サービス リスクマネジメント シニアマネージャー)

小川 幹雄(DataRobot / 一般社団法人金融データ活用推進協会 企画出版委員会 副委員長

左:楠戸氏 右:小川

第一部:スピーカーセッション

AI勉強会は、楠戸氏と小川によるテーマセッションからスタートしました。

  1. 今後求められるモデルリスク管理・ ガバナンスの検討(楠戸氏)
  2. AI倫理・ガバナンス・ツールの関係性について(小川)

1、今後求められるモデルリスク管理・ ガバナンスの検討

まず、楠戸氏からは「企業におけるモデルリスク管理の重要性」や「ガバナンス構築に向けたポイント」、「AI・機械学習の利活用におけるガバナンスの潮流」について解説。国内外の企業が定めているAI倫理ポリシーや、内閣府/経産省/金融庁などが示すガイドラインを参考に、企業が自社のポリシーに則った業務ガイドラインへ落とし込む上でクリアすべきポイントを紹介しました。(例:態勢構築や、業務プロセスの整備の重要性など)

Blog EY資料

「今日までは、業務領域ごとでの管理を中心として、モデルの管理が行われていました。しかし、金融機関におけるモデル活用領域の拡大に伴い、金融庁の『モデルリスク管理に関する原則』が要求するように、今後は幅広い種類のモデルに対する全社横断的かつ包括的なガバナンス・コントロールの必要性が高まると予想します。また、AI・機械学習等テクノロジーの進展に対応した、これまでと違った管理のあり方も必要になると考えられます」(楠戸氏)

2、AI倫理・ガバナンス・ツールの関係性について

続く小川のセッションでは、AIの広がりと共に、いくつかの課題が顕在化している現状への対応策を提言した。AI活用を進める先端企業が抱える課題とAI倫理・AIガバナンスの関係性を明らかにしつつ、AI管理ツールとしての「ML プロダクション(MLOps)」の重要性を解説した。AIへの注目が高まる今、ML プロダクションとの結びつきが分離したままAI倫理・AIガバナンスを策定・実践することは、ビジネスをドライブする上で大きな障壁になる可能性があり、それらを回避するためにどのようにAIガバナンスの体制構築・運用を進めるべきか、その勘所について、AI活用支援のプロフェッショナルの視点から実例を交えて紹介した。

Blog DR資料

「AIの活用領域の拡大に伴い、顕在化した3つの問題が顕在化しています。それは『車輪(モデル)の再開発』『精度の劣化』『倫理の欠如』です。企業はこれらを解決する手立てとしてAIガバナンスを構築することが必要です」(小川)

blog 小川

AI勉強会第二部:パネルディスカッション

各スピーカーによるテーマセッションの後、楠戸氏と小川によるパネルディスカッション「日本におけるAIガバナンスの現在地と 2023年に取り組むべきこと 」を実施。AIガバナンスに取り組む上で考えておくべきポイントについて、AI活用の現在地と近い未来のAIの在り方について議論を行った。

  1. 日本のAI活用の現状
  2. ソリューションと体制、どちらを優先すべきか
  3. 今後、業界や国でAIガバナンスはどのような動きになっていくか

テーマ1: 日本のAI活用の現状

楠戸氏:金融機関へのAI活用とモデルリスク管理の両方を支援してきた経験から、AIガバナンスの重要性がますます高まると感じています。現在、目的や業務に応じたAIの活用範囲が急速に拡大しています。その中でAIを活用する側においても、「この目的にAIを活用してもよいか」という意識を持つ方も増えています。

その一方、「組織内にモデルやAI利用に関する共通ルールが十分に定まっているか」という点では、疑問も生じます。今後、AI活用がさらに促進され、発展していくためには、その土台(=ガバナンスや管理)が大切なカギを握っていると考えています。

小川:AI活用の現状をマラソンに例えると、日本はレースの中盤まで来たように思います。数年前の国内企業は、”AI活用のスタートを切るか否か”程度の差しかありませんでした。しかし今や国内でも「先頭グループ」「遅れを取り始めたグループ」が出始めてきています。そのグループも順位の違いだけでなく、「走り続けているグループ(AI活用を継続的に行っている企業)」「停滞しているグループ」「スタートで出遅れたがゴボウ抜きするグループ」と展開スピードの差も出ており、企業間で大きな差が出てきていると感じます。

その中でも特に、先頭グループに属し、今後も走り続ける企業は、AIを活用し続けるだけではなく、AIガバナンスに対するマインドチェンジも進めなければなりません。今後、AI倫理やAIガバナンスの重要性が顕在化してくるにつれ、取り組みに出遅れた先頭グループの企業は危機感を感じ始めるでしょう。

テーマ2: ソリューションと体制、どちらを優先すべきか

小川:同時が正解だと思っています。まず、体制整備後のソリューション選定はおすすめしません。なぜならガバナンスに対応できる完璧なソリューションが未だ無いため、のちのち体制を考え直す必要性が生じるからです。

一方、「ソリューション在りきの体制整備」は、体制を維持できない可能性があります。どちらから取り組むかという意味では、微差でソリューションが優先されるべきではありますが、ほぼ同時に始めるのが良いと思います。

数年後、「AIガバナンスを整備する」ことが当たり前となり、未整備の企業は有り得ないという時代になると考えています。その時点でAI導入を検討し始める企業は、そもそも競争に参戦できない可能性も出てきます。なぜなら、そこからAIを作り、守れるだけの体制までも構築する気概があるかどうかを踏まえると、これまで以上に導入する障壁を高く感じることになるからです。

楠戸氏:小川さんの意見に1つ付け加えると、私は、「体制整備」「管理の枠組み構築」「ソリューション」の3つを同時に進める必要があると考えています。

まずソリューションが先走ってしまえば、組織全体のガバナンスを見失う可能性があり、枠組みだけが先行すれば、誰が・何を実行すべきか組織内で疑問が生じます。また、体制だけでは、ガバナンスの実効性が失われる可能性があります。よって、すべてを同時並行的に進めていく必要があるでしょう。

AI活用やAIガバナンスに関するプロジェクトを進める際には、自社の特性に沿った対応を行うことが大切です。金融庁のモデルリスク管理の原則にも「相当の時間を要することが見込まれる」と言及されている通り、包括的なモデルリスク管理の構築は一朝一夕でできるものではありません。これを踏まえ、AIガバナンスの構築にあたっても、自社の現状や自社が進むべき方向を明確化した上で、優先順位をつけながら段階的に実行していくのが大切です。

blog 楠戸さん

 テーマ3: 今後、業界や国でAIガバナンスはどのような動きになっていくか

楠戸氏:金融庁は2021年11月、大手銀行に向けてモデルリスク管理に関するガイドラインを発表しました。これを受けて原則の対象である大手銀行が対応を進めています。また、対象の銀行以外でもこの原則を認識し、自社におけるモデルリスクやその対応など、検討も始まっています。

金融庁のガイドライン発出は、AIモデルの管理やAIガバナンスについても金融業界全体として検討・推進する契機となったと思います。実際に推進が始まったのが現状であり、これからさらに形作られ、構築されていくでしょう。

小川:日本においてAIガバナンスは、今はまだスタート段階だと感じています。今後AIガバナンスの策定・実行が促進する業界については、まずは規制産業である金融業界が最も早く進むと思います。それに続き、人命に関わるヘルスケア業界、人生・キャリアに関わる人材業界でさらに活発化すると予想します。製造業では、製品のリコールに関わるような管理分野、流通業でも加速化していくでしょう。

また、会社規模という観点でいえば、まずは大手企業から進んでいくと考えています。AIガバナンスをおろそかにした企業が最も恐れるのは、AI倫理が守られていないことによる”風評被害”と”ブランドイメージの毀損”です。そのため企業イメージを大切にする組織ほど、自社存続のためにAIガバナンスの導入に舵を切ると考えます。

一方で、国内外問わず、AIガバナンスに関する細かいルールは未だ制定されていない現状もあります。しかし、AIガバナンス策定や管理を徹底する企業・組織が今後増えていけば、自ずとそれが業界のスタンダードとして定着します。そのため、日本では各企業・組織が自らAIガバナンスに関するグレーゾーンに対して徐々に線引きしていき、ゆくゆくは「AIガバナンス・AI倫理に関しては、各々がきちんとルールを守りましょう」という認識になっていくと予想しています。

⚫️スピーカー紹介

楠戸 健一郎 EYストラテジー・アンド・コンサルティング株式会社 金融サービスリスクマネジメント シニアマネージャー

コンサルティング会社を経て2021年に入社。主に金融機関向けにデータ分析とリスク管理を軸としたコンサルティングサービスに従事。金融機関におけるAI・機械学習推進においては、CoE組織構築・推進や、幅広いテーマにおいて課題発掘から業務適用・検証までアナリティクスプロセス全体にわたる活用支援を実施してきた。最近では、モデルリスク管理態勢構築やコンプライアンス領域等非伝統的な領域を含むモデル検証等の実務対応、AI倫理対応等のAI・機械学習モデルに対するモデルガバナンス対応に関するサービス開発・提供にも携わっている。

EY、EYストラテジー・アンド・コンサルティング株式会社について

EYは、「Building a better working world ~より良い社会の構築を目指して」をパーパス(存在意義)としています。クライアント、人々、そして社会のために長期的価値を創出し、資本市場における信頼の構築に貢献します。150カ国以上に展開するEYのチームは、データとテクノロジーの実現により信頼を提供し、クライアントの成長、変革および事業を支援します。

EYストラテジー・アンド・コンサルティング株式会社は、企業の成長のための戦略立案、M&Aトランザクションそしてビジネス変革を推進するコンサルティングサービスから成り立つEYのメンバーファームです。業種別の専門チームが起点となり、ストラテジーからエグゼキューション(M&A)、ストラテジーからトランスフォーメーションをワンストップで支援します。

小川 幹雄 DataRobot Japan, VP, Japan Applied AI Experts / 一般社団法人金融データ活用推進協会 企画出版委員会 副委員長

DataRobot Japanの創立期に参画し、様々な業務を担当してビジネス拡大に貢献。その後、金融業界を担当するディレクター兼リードデータサイエンティストとして、金融機関のAI導入支援やCoE構築支援をリード。2023年からは日本のAIエキスパート部門の統括責任者に就任。AI導入・活用支援のノウハウを活かし、公共機関や大学機関での講演も行っている。また、一般社団法人金融データ活用推進協会(FDUA)の企画出版委員会の委員長代行も務めている。

【関連情報】

【オンデマンドWebinar】バイアスへの対処と信頼できるAI実現への道のり

【ブログ】モデル・リスク管理の原則におけるAIモデルの対応について

【プレスリリース】AI管理・ガバナンスを強化するコンプライアンスドキュメント(日本語版)の提供を開始

投稿 DataRobot AI勉強会レポート : 今後、日本企業が取り組むべきガバナンスの最前線 〜有事に“適切に稼働する”AIガバナンスとその構築方法〜DataRobot に最初に表示されました。

]]>
全てのAIモデルを運用管理する https://www.datarobot.com/jp/blog/mlopsagent/ Wed, 12 Apr 2023 00:28:07 +0000 https://www.datarobot.com/jp/?post_type=blog&p=11035 – DataRobot MLOps監視エージェントによるAIモデルの運用管理 – はじめに 小売・流通業界のお客様を担当しているデータサイエンティストの濱上大基です。本稿はバイスプレジデント、ジャ...

投稿 全てのAIモデルを運用管理するDataRobot に最初に表示されました。

]]>
– DataRobot MLOps監視エージェントによるAIモデルの運用管理 –

はじめに

小売・流通業界のお客様を担当しているデータサイエンティストの濱上大基です。本稿はバイスプレジデント、ジャパンAIエキスパートの小川幹雄と濱上が執筆しました。

AIガバナンスという言葉が世の中でも注目されています。経済産業省は令和3年7月に報告書「我が国の AI ガバナンスの在り方 ver. 1.1」[1]を公開しました。様々な業界でAI(機械学習モデル)が研究フェーズから業務実装フェーズへと急速に進む中、同報告書に記載された「AI ガバナンスは、様々な分野の有識者の知識と経験を結集しなければならないと解決できない喫緊の課題である。」との指摘は、広く産業界で共通認識になりつつあると感じます。

弊社のデータサイエンティストがお客様と技術的な議論をするとき、かつてはAIモデル(機械学習モデル)をいかに高い精度で効率的に作るかという点が主なトピックでした。しかし、AIガバナンスの認識が浸透しつつある昨今では、AIモデルの説明性や運用管理というトピックにもお客様の関心が高くなってきています。説明性についてはモデルの精度向上や現場への説明という観点で以前から注目されていましたが、運用管理に関しては課題を感じている一方でまだ組織的に取り組めていないとの認識を持たれているお客様が多いようです。一例として、データサイエンティストがDataRobot外で作成した機械学習モデルの運用が必要な場合には運用管理ができないまま放置されていたり、別の運用管理環境をゼロから作成するのに四苦八苦している、といった課題をご相談いただくことがあります。

DataRobot AI PlatformはAIモデル(機械学習モデル)の開発実験環境だけでなく、デプロイ後運用フェーズに入ったモデルの運用管理環境も高度に自動化しているため、AIガバナンスに課題をお持ちのお客様にも高くご評価をいただいています。さらに、DataRobot MLOpsを利用すればプラットフォーム上に構築されたモデルだけではなくDataRobot外で開発されたモデルの運用管理も可能なので、DataRobotを導入したお客様はそれまでに自社のデータサイエンティストがPythonなどで独自に開発したモデルも併せてDataRobotで一元的な運用管理を行うことができます。

本稿では、PythonやR、Javaで構築し、DataRobot外でデプロイされた機械学習モデル(以下「外部モデル」と表記)の運用管理を行いたい方やDataRobot外に出力したモデルの運用管理を行いたい方に最適なDataRobot MLOps監視エージェントの概要とその価値についてご紹介します。

社内のAIモデルを一元的に運用管理

弊社の経験では、機械学習モデルの開発を単一の開発環境で行っている企業は数少なく、自社のデータサイエンティストが各々慣れ親しんだ開発環境を使ってモデルを作成する、モデル開発を外部委託する、など様々な理由で、企業内にはDataRobotのようなAIプラットフォームを利用しないで開発したモデルが存在しています。そして、それら機械学習モデルの構築者(モデルビルダー)が自身が作ったモデルの運用管理まで継続的に行ってくれるケースは決して多くありません。

その理由を考えると以下のような問題点を挙げることができます。

  • モデル社内開発ケース:機械学習モデルの開発から運用に至るプロセス全体での分業化が機械学習エンジニアらの登場によって進んだ結果、現在のデータサイエンティストは運用管理業務をあまり好きではないパーソナリティの人が多い
  • モデル外部納品ケース:モデル開発ベンダーにその運用管理まで依頼すると常駐支援となり、膨大なコストがかかる

これらの背景から、様々な環境で開発された機械学習モデルを実運用フェーズで一つのプラットフォーム上に集約し、なるべく少ないリソース/コストで運用管理を行いたいという意向をどの組織も持っています。

運用管理基盤を統合する目的から逆算して、運用の上流に存在するモデル開発のための環境を一つに絞るという考え方があります。運用管理基盤を統一できるだけでなく、ツールの使い方を習得する教育コストも下がりますし、一つの理想ではあります。ただし、社内の既存モデル開発環境がバラバラの状況からいきなり強制すると摩擦も大きくなります。さらには統合までの時間やコスト、別環境に慣れたエンジニアの再教育と理想に対してのコストが大きくなりすぎるきらいがあります。

すでに機械学習モデルを複数の環境で開発している状況にあり、その状態が今後も一定期間は続く場合にお勧めしたいのが、運用管理基盤だけを一元化することです。DataRobot MLOpsに搭載されている​​​​DataRobot MLOps監視エージェントは、外部で作成したPythonやR、Javaモデルに対してエージェントを設定することによってその運用情報をDataRobot MLOpsに送信し、DataRobot内で作成したモデルと同じUI上で、外部モデルの運用管理を行うことを可能とする機能です。図1はダッシュボード上でDataRobot作成モデルと外部の予測サーバーで動作している機械学習モデルが一元的に表示されている例を示しています。

図1:DataRobot MLOpsのトップ画面
図1:DataRobot MLOpsのトップ画面

DataRobot MLOps監視エージェントが提供する主要機能

DataRobot MLOps監視エージェントは既存のPythonやR、Javaで作成した機械学習モデルに手を加えずに、その実行環境にDataRobot MLOpsライブラリとMLOps監視エージェントを登録することによって、機械学習モデルの運用管理に必要なメトリックをDataRobot MLOpsに連携します(図2)。メトリックを飛ばす方法はオンライン/オフラインのどちらでも選択できるため、様々な環境で動作する機械学習モデルに対応しています。

ちなみにDataRobot AI Platformで構築したモデルを外部に書き出す機能としてポータブル予測サーバースコアリングコードがありますが、これらの機能を使うと監視エージェントのインストールを完了した状態で書き出すことができ、より簡単にDataRobot MLOpsで運用管理することができます。

*注意点:DataRobot MLOps監視エージェントは2023年3月時点ではLinux環境のみをサポートしています

図2. MLOps監視エージェントによる外部モデルの一元管理
図2. MLOps監視エージェントによる外部モデルの一元管理

以下、DataRobot MLOps監視エージェントの4つの主要機能をご紹介します。

1.外部モデルの正常性監視

外部モデルにエージェントを設定することによって、予測の利用回数(行数やリクエスト数)や予測にかかった時間をトラッキングすることができ、機械学習モデルが正しく予測が実行されているか監視することができます(図3)。

図3. DataRobot MLOpsによる正常性監視
図3. DataRobot MLOpsによる正常性監視

2.外部モデルのデータドリフト監視

外部モデルにエージェントを設定することによって、データドリフトの発生をモニタリングすることができます。データドリフトは学習データとその後の予測処理時にモデルに入力されるデータを比較して、各特徴量の分布の違いを意味しており、入力データパイプラインの何らかの変化やトレンド変化の検知に役立つ指標です。DataRobotのデータドリフト監視では、各特徴量ごとに元の学習データからどのように乖離し、時系列でどのように乖離していったかを確認することができます(図4)。

外部モデルにMLOpsライブラリを加えることによって、外部モデルへの入力をバイパスし、DataRobot MLOpsサービスに送信するデータを準備します。どの時点の入力を送信するかは設定で選ぶことができるので、入力直前のエンコーディングした後のデータでなく、元の学習データを送信するということも可能です。

さらに、データドリフトを計算するための統計情報のみをMLOpsサービスに送信し、データドリフトを検知することもできます。これはデータの秘匿性が高く、外部サーバーに予測データや予測値の生データを送信したくない場合や予測データの容量が大きく大規模な監視を行いたい場合に有効な方法です。

図4. DataRobot MLOpsによるデータドリフト監視
図4. DataRobot MLOpsによるデータドリフト監視

3.外部モデルの精度監視

先に挙げたデータドリフトは予測のためにモデルに入力されるデータの変化を監視するものでしたが、入力データの傾向は変わってないのに精度が劣化している場合には、入出力のパターン(関係性)そのものが変わったことが考えられ、機械学習モデルの再学習が必須となります。機械学習モデルは運用を続ければ必ず精度は劣化します。ただし、運用に耐えられないレベルの精度劣化がいつ起こるかは誰にもわからないため、その劣化がいつ起こるかを監視することが重要となります。

DataRobot MLOps監視エージェントでは精度をトラッキングすることも可能です。任意に設定した予測IDと予測結果をメトリックとして送信し、予測IDと一致する実測の値が取得できたタイミングでDataRobot  MLOpsにアップロードすることによって、DataRobot内部で精度のトラッキングを行うことができます(図5)。

図5. DataRobot MLOpsによる精度監視
図5. DataRobot MLOpsによる精度監視

4.運用レポート自動生成

機械学習モデルの運用管理の特徴は、正常性確認、データドリフトや精度劣化など従来ITシステムよりも監視するべき項目が多いことです。管理対象のモデルが増えてくると、仮に人手で対応するならば監視業務だけで多くの工数がかかるため、運用状況のレポートを作成する負担は大きな問題になります。DataRobot MLOpsは、モニタリングしているモデルの運用レポートを自動生成する機能により普段の運用作業の大部分を自動化しています。またスケジューリング機能もありますので、特定の時間に特定の期間範囲での正常性、データドリフト、精度監視の結果をワード形式のレポートとして自動生成することが可能です(図6)。

図6. DataRobot MLOpsによって自動発行されるデプロイレポート
図6. DataRobot MLOpsによって自動発行されるデプロイレポート

DataRobot MLOps監視エージェント利用手順概要

前章ではDataRobot MLOps監視エージェントの主要機能を紹介し、何ができるかを解説しました。本章では監視エージェントがどう動作していて、どう設定するかについても簡単に紹介したいと思います。監視エージェントは、大きく4つのサービスと連携して動いています(図7)。

図7. DataRobot MLOpsで外部モデルを監視する際の各サービスの役割
図7. DataRobot MLOpsで外部モデルを監視する際の各サービスの役割
  1. External model(外部モデル):PythonやRで構築し、DataRobot環境以外で動くモデル
  2. MLOps library(MLOpsライブラリ):Python(v2およびv3)およびJavaで利用可能なMLOpsライブラリ。外部モデルの予測データとメトリックをレポートするAPIを提供
  3. Spooler(Buffer)(スプーラー/バッファ):MLOpsライブラリのAPIで設定したスプーラー(バッファ)にデータを送信
  4. Monitoring agent(監視エージェント):監視エージェントはスプーラーに書き込まれたデータを検出し、MLOpsサービスに送信
  5. DataRobot MLOps service(DataRobot MLOpsサービス):監視エージェントがサービスとして実行されている場合にはオンラインで、そうでない場合にはオフラインでデータを取得

上記の仕組みによって外部モデルがDataRobot MLOpsとネットワークで切り離されていても、USBドライブなどを利用してスプーラーからデータを手動コピーしエージェントに渡せばDataRobot MLOpsに監視データを送信することが可能です。データをどこに書き出して、どこから読み取り、どれくらいの頻度で送信するかなどの設定も可能です。

図8. 外部デプロイ環境とDataRobot MLOps間でやり取りされる運用情報の流れ方
図8. 外部デプロイ環境とDataRobot MLOps間でやり取りされる運用情報の流れ方

設定手順はシンプルで、まず図8のようにDataRobot MLOpsでデータの受け取り側となるモデルパッケージを作成しデプロイして、デプロイメントIDとモデルIDを取得します。次に、MLOps監視エージェントをインストール・設定・実行します。ダウンロードはDataRobotの開発者ツール画面から行うことができ、インストールはMLOps .tar ファイルの解凍だけです。

また、conf/mlops.agent.conf.yamlを編集することで以下の設定を行います。

  • APIトークン設定
  • DataRobot MLOpsサービスのURL設定
  • 任意でスプーラー設定(デフォルトではファイルシステムチャネルでの/tmp/taへの書き出し)の変更

スプーラーの設定では、ファイルシステムだけでなく、2023年2月時点でAmazon SQS、RabbitMQ、Google Cloud Pub/Sub、Apache Kafka、Azure Event Hubsを設定することができます。

MLOps監視エージェントは./bin/start-agent.shのシェルを実行するだけで作動します。MLOpsライブラリのインストール(Pythonパッケージからならpip install datarobot-mlops-connected-client)を行い、外部モデルにMLOpsライブラリからのレポートメソッドを追記したら準備は完了で、外部モデルを実行すればそのモデルの運用管理ができるようになります。運用管理の結果はDataRobotで作成したモデルと同じようにDataRobot MLOpsのGUIから一元的に確認することが可能です。

一階層上での運用管理環境の統合

機械学習モデルをすでに様々な業務で運用している組織では、モデル単体の運用実績だけでなく、運用管理下にある全てのモデルが連動した上でビジネス指標やKPIがどのように変化しているのかを知りたいというニーズがあります。さらに、機械学習モデルを利用していないが社内で動かしている別のサービスやサーバー自体に問題がないのかなど、社内システム全体の統合的な運用管理も実現したいことがあるかと思います。

前章まで、MLOps監視エージェントを利用して様々な出自の機械学習モデル全体の運用管理をDataRobot MLOpsに一元化できることを解説してきました。他方、監視エージェントで、機械学習モデルを利用していないサービスの運用管理やビジネス指標/KPIの管理などを行うことは残念ながらできません。

このような場合にはDataRobot MLOpsの持つREST API機能を使い、統合運用管理ツールと連携することがおすすめです。複雑なサービス監視やKPI監視を必要とする企業においてそれらの統合運用管理は必須であり、すでに何らかのツールが導入されて社内の通知システムなどとも連携されている状態かと思います。多くの統合運用管理ツールはREST APIに対応しており、別のREST APIに対応してるサービスを包括的に監視することができます。DataRobot MLOpsもREST APIに対応しているので、全体の統合運用管理を一つのツールで行い、アラートを受け取った時にだけDataRobot MLOpsに深掘りしに行くという運用も可能です(図9)。

図9. 社内システム全体の統合的な運用管理
図9. 社内システム全体の統合的な運用管理

まとめ

AIの需要はここ数年、さらに増え続けています。ボトルネックと言われていたデータサイエンティストの数も増加し、AutoMLや簡単に使えて便利なライブラリの登場により多くの機械学習モデルが日々構築されています。

モデル開発環境にはモデルビルダーの慣れもあり、さらに既存の資産をなるべく使い続けたいという想いも強いでしょう。また、弊社の経験ではAIプロジェクトに関わるスタッフで機械学習モデルの運用管理が重要だと言う人は多くとも、実際にその業務を行うのが好きだという人は決して多くありません。そのような運用管理がモデルごとに手法からバラバラになってしまうと、さらに誰もやりたくないものとなってしまうでしょう。

DataRobotのMLOps監視エージェントを利用すれば、DataRobot外で作成した機械学習モデル(外部モデル)であってもその精度やデータドリフトなど、機械学習モデルでトラックするべきメトリックを一元的に運用管理することができます。さらにリソースは既存のDataRobot環境をそのまま利用可能です。

組織で運用中の外部モデルがあって、いまは放置してしまっているという方はぜひこの機会にDataRobot MLOps監視エージェントの活用をご検討ください。

参考

[1] 経済産業省(2021)「我が国のAIガバナンスの在り方 ver1.1

投稿 全てのAIモデルを運用管理するDataRobot に最初に表示されました。

]]>