AIを開発する際、その根底となる開発環境は誰が構築しているだろうか。情報システム部のパターンもあれば、AI開発に携わるAIエンジニアやデータサイエンティストがそのまま対応している……といったさまざまなケースが考えられる。
長くAI開発に携わってきた方なら知っていると思うが、この開発環境の構築はAI開発プロジェクト全体を通しても非常に重要な部分を担う。ただ、この開発環境の構築は相当な労力と時間がかかる作業だ。OSのインストールからどのフレームワークを使うのか、さらにはGPUのリソースの分配など、考えなければならない要素が多すぎるためだ。
実際、AI開発に携わった経験を持つ読者の方々のなかでも「開発環境を構築するのはすごく手間」などの感想を持っている人も少なくないだろう。それこそ、環境構築にかかる労力をモデルの開発に注ぎたい……という人はほとんどのはず。
そんな方々にとって朗報がある。株式会社マクニカではデータサイエンティストのための「AI開発環境構築サービス」と題し、AI開発に最適なインフラ提案から構築および開発者向けのUIの提供を開始している。しかも、導入前に試せる無料トライアル環境も用意されているそうだ。
多くのAI開発者にとって興味深い本サービスについて、マクニカの担当者に話を聞いた。
AI開発環境構築サービスの概要
まず、マクニカが提供するAI開発環境構築サービスについて紹介したい。本サービスを利用することで、下記の内容を実現できるという。
・単一、または複数の計算リソースをチームで運用
・シンプルなUIで開発環境の立ち上げ、試行錯誤の作業の支援
・コンテナ技術特有のセキュリティリスクを最小化
・チーム内の成果物やデータセット等を共通管理
本サービスのコンセプトは「誰でも使いやすい開発環境構築サービス」で、シンプルなUIながらも初めて使った人でさえすぐに活用できるものを目指した。株式会社マクニカ クラビス カンパニー 技術統括部技術第３部サービスソリューション課 主席 加藤 誠己氏は次のように話す。
「いま、コンテナ型仮想化技術が増えています。いわゆるDockerを利用するもので、機械学習でも頻繁に使われています。今回のサービスでは、このDockerを軸にチームなど複数人で利用することを想定しています。
一般的にコンテナを利用するには、インフラへの知識が必要で仮に初めてコンテナを活用する人がいた場合、学習コストが発生してしまいます。しかし、我々マクニカが提供するサービスは、GUIとして利用できるため、コンテナやそもそものインフラ知識がない方でも利用できるようにしています」
ダッシュボードにおけるGPUなどのリソースも一元管理されている
また主な機能は以下だ。
・GPUの自動割り当て、消し忘れ防止機能
・インタラクティブなノートブック機能（Jupyter、VS Code等）
・ハイパーパラメータ探索で有効なバッチジョブ機能
・計算リソースの可視化
・チーム共有のコンテナレジストリやコード管理機能
ノートブック機能
バッチジョブ機能
ただ、実際に環境構築サービスは使ってみないとわからない、という方も多いはず。そこでマクニカは無料でトライアルできるサービスを提供している。しかも、ほぼすべての機能を試せるそうだ。しかし、下記の注意事項があるそうなので、予め覚えておいて欲しい。
１．複数の顧客や弊社も同一の環境を利用しているため、使用できるGPUの枚数にシステム側で制約をかけており、利用状況によっては開発環境の起動待ち時間が発生する可能性があります。
２．本環境で取り扱うデータに関しては弊社では一切責任を負いませんので、データの取り扱いにはご注意ください。
※その他、詳細はご利用時に同意いただく約款をご確認ください。
・トライアル環境にアクセス頂くために以下の対応をお願いします。
１．アクセス元となるソースアドレス（IP）情報の提供
２．本システムで利用している特定のポート開放
データサイエンティストも情シス部も本音は「わかる人に任せたい」
AI開発における環境構築について「直接的な価値を生みづらいものの、AI開発全体においてはとてつもなく重要な作業」と話すのは、株式会社マクニカ クラビス カンパニー ビジネスソリューション第２統括部営業第２部第１課の児嶋 佑典氏だ。
「AI開発の環境構築では、大きく分けて2つの要素を考えなければいけません。
ひとつはハード面。GPUを使ってAIを開発することが増えていますが、この工程をオンプレで実行するのかクラウドを使うのかを考えます。もうひとつはソフト面。OSのインストールだけでなく、フレームワークやそれに依存するライブラリを探さなければいけません。当然ですが、学習コストなども発生します。
大手の企業様であれば、情シス部の方々が環境構築を担当してくれると思いきや、我々とお付き合いのある製造業の大手様ではデータサイエンティストの方々が対応していると聞いています。この背景にあるのはオープンソースソフトウェア（OSS）をAI開発では主に使っているという現状において、OSSは更新も早く、同時に使っているソフトウェア群との相性を見極めなければいけません。そのため、情シス部に毎回頼んでいるとスピード感も出せなくなり、結局は現場で手を動かすデータサイエンティストたちが対応している……という形になっているのです」
続けて児嶋氏はAI開発環境をデータサイエンティストたちが対応している現状に対して次のように述べる。
「データサイエンティストたちの本職は、AIモデルの開発などです。開発環境にかかる時間はモノによって変わるものの、数週間から1ヵ月程度かかる場合もよくあります。
開発環境を手掛けているデータサイエンティストの方々も内心では『環境構築をほかに対応してくれる人がいれば』と思っているのではないでしょうか」
さらに児嶋氏は「ソフトやハードを整えるだけでなく、開発する環境としての方法確立などもデータサイエンティストが対応していることが多い」と多くの企業にとって当てはまりそうな現状について紹介してくれた。
「AIの開発では、学習用データやモデル、コード、ソフトウェアなどの資産を共有するための方法をまずは確立させなければいけません。弊社のお客様のなかでも、学習結果や使用データをExcelで管理したり、チームメンバーに対してマニュアルを作って共有したりと、アナログな形で進められている企業もあります。また、GPUマシンを複数人で使用するときは、別途ExcelのシートなどでGPUリソースを何時から何時まで誰が使うのかなども管理しているそうです。
これらの作業も環境構築の一環として、データサイエンティストの方々が対応されている場合が多く、本業ではない時間を消費してしまっている、ということが開発環境を構築する全体での課題になっていると思われます」
環境構築クリックするだけ 試験導入した企業からも「これはいい！」の声
今回話を聞いているマクニカのAI開発環境構築サービスは、これらの現場が抱えるAI開発における課題を解決するために生まれたサービスだ。
すでに利用した企業もあるそうで、その企業のAIリサーチ部門データサイエンティストからは非常に好評だという。
「弊社のサービスを導入していただいた企業様からは、導入前はコンテナで苦戦していたと聞いています。コンテナを使える人が限られていて、属人化していたそうです。そのため、後から入ってきた人の環境を立ち上げるのにも、そのコンテナを使える人がわざわざ対応せざるを得なかったと聞いています。
そこで弊社サービスを導入してみたところ、属人化を解消でき、個々人への負担も減ったようです。
また、コンテナを共有しやすくなったことも良かったと感想をいただいています。その企業では従来は、一人ひとりにワークステーションが与えられて開発していたものの、どのデータを使ったらどのような結果になっていたのかをExcelなどを使って共有していたようです。この対応方法だと、共有コストもかかってしまいます。ですが、環境構築サービスを使ったことで、一元的に管理が可能になり、結果を共有する工数も省けました。
さらに、GUIですぐにコンテナを立ち上げられるので、新しい人がジョインしてもすぐに対応できる点も評価いただいています。くわえて、GPUなどの使用リソースも手早く最適に行き渡らせられるため、『GPUリソースを取り合う』『特定の時間はGPUが一切使われていない』といった状況から、リソースを均一化させられて“資産効率”を改善できたともお話をいただきました」
また、児嶋氏からは環境構築サービスは「環境構築を効率化させたり、工数削減させたりする以外にもメリットがある」と説明があった。
「弊社の環境構築サービスは、導入して終わりではなく、機能の拡張にも対応できる点がポイントです。お客様の要望を伺い、ハードウェアの選定や提案をいたします。そこに弊社のサービスを掛け合わせて、お客様にとって最適な環境構築を提供させていただく、という内容です。
ですので、環境構築の代行とシステム側の両方をご提供しているイメージですね」
経営層にも届かせやすい妥当性と必要性
環境構築サービスのターゲットは「今後新たにAIプロジェクトをはじめる企業」や「チーム内で共通のリソースを利用してAI開発を進めている企業」だという。
「我々のサービスは、AI開発に携わるすべての方々を対象としていますが、そのなかでも環境構築に課題を抱えられている方はまずはご相談いただければと思います。また、これからAI開発を開始する企業様においても、開発環境構築に対する課題は上がりやすいと思いますので、まずはトライアル版でお試しいただきたいと思います」
そして最後に株式会社マクニカ クラビス カンパニー ビジネスソリューション第２統括部営業第２部 部長 内田 洋都氏からは「AI開発において埋めなければいけないピースはいくつもあるが、その前提になるのが環境構築」と話しがあった。
「AI全体に対して、経営層や管理層は投資対効果を見ています。日本国内では大企業だとしてもAIへの投資はこれからという方々が多いのが現状です。しかし、徐々にAIへの取り組みが始まり、昨今謳われるDXが推進されています。
今後AIを商用化するにあたって、重要な計算資源であるGPUがどれだけ効果的に使われているのか、を可視化することはとても重要になってきます。DXを担当されている責任者の方などに本サービスをご説明する際もまずは『DXにはAIの要素があり、AIアプリケーションを運用する状況が増えますが、どこまでMLOpsについて考えていますか』とよく聞いています。
AI開発を進めている企業は多くなりつつありますが、オペレーションは煩雑なケースがほとんどです。AI開発のうち、煩雑になっている環境構築部分をマクニカのサービスを使えば、スムーズに交通整理できるようになります、とご提案させていただいています。ですので環境構築サービスは、ROI（Return on Investment、投資対効果）があるかどうかの部分において、今後AI開発を継続的に見据えているのであれば、効果を感じていただけるものとして皆さまにオススメをしています」
本稿内でも記載したとおり、AI開発において、環境構築は裏方的な工程だ。やはり目に留まりやすいのは、モデルを構築する部分などであり、データサイエンティストやAIエンジニアもそこに注力をするべきだ。しかし、しっかりとしたモデルを作るには環境構築が必須。にもかかわらず、その環境構築は難易度が高く、データサイエンティストが“やらざるを得ない”状況になっている。
この課題そのものは、おそらく現場内で半ば強引に解決しているケースも少なくない。そのため、現場に直接的に技術関与をしない管理層や経営層にとっては気が付きにくいポイントだ。
だが、マクニカの方々が話したとおり、今後AI開発がさらに主流になり、いま以上に拡大していくと予想される。開発環境構築で誰も悩む必要がなくなれば、より開発へのスピードも改善されDXなどの推進も加速していくだろう。
なにより、マクニカのAI開発環境構築サービスは無料で試せるという点は非常に大きく、さまざまな企業の手助けになるはず。AI開発に携わる現場の方はもちろんのこと、自社内でAIプロジェクトを動かしている管理層や経営層の方も、まずは無料で試してみて欲しい。
