生成AIの研究への応用(1)〜動画と音楽とシリアスゲーム開発〜

生成AIの研究への応用(1)〜動画と音楽とシリアスゲーム開発〜

古市研究室では,研究の効率化と質向上のためにゲーム開発の各プロセスへの各種ツール導入を進めているが,最近は生成AIをスペルチェッカやPhotoshopのフィルタと同様に積極的な活用を進めている.特に,音楽と動画はシリアスゲーム開発に欠かせないコンテンツであるが,制作にはスキルを持った人材が欠かせない他,時間も要する.そこで生成AIの活用を進めているが,そのごく一例を以下に紹介する.

1.作曲・演奏および歌唱への応用

インフルエンスオペレーションへの理解向上を目的としたシリアスゲーム「MMM」を開発した際,理解向上には「文章化したナラティブ」も効果があるのではないかと思い,文章を詩の形式にし(作詞),それをベースに作曲・演奏および歌唱をAIに行わせた.以下の2つのビデオは,同じ歌詞に対して異なる曲調と女声と男声を付けたものである.メロディにあわせて歌詞を変えた部分はAIをが自動的に行なった.AIとしては Murekaを使用した.

「ナラティブに飲み込まれた街」〜MMM主題歌(男声)〜
「マルインフォメーション」〜MMM主題歌(女声)〜

また,以下に示すシリアスゲームMMMのプロモーション動画中,ゲーム中に出てくる映像の一部(ゲーム画面中右側のニュース映像)については,ChatGPTとVIDUを使用して制作した.ただ,このプロモーション動画中のほとんど部分は学生が制作したCGであるため,AIを利用した部分とBlender等を利用した部分とAdobe After EffectsやAdpbe Premire等のツールを利用した部分を全て明記するのは,非常に困難であると感じる.制作のために利用した主なツールだけを列挙するので十分なのではないかと思うが,明記の方法についての検討は今後の課題である.

影響工作の戦士となって世界制覇を目指すゲーム「MMM」

2.実写風動画制作への応用

次節で説明するRESPI CHALLENGEというシリアスゲームは,現役のICU看護師の学習を支援するための教材であるが,このゲームのコンセプトを整理するために,これまで1年以上をかけてきた.特に,日々の業務で多忙なICU看護師が学習に着手するきっかけとなる動機づけの部分に関して多数の検討をしてきたが,映像の形式にした方が開発メンバ間で共有できるであろうと考え,約3分間の実写風動画をAIを制作したのが,以下の「ケース1実写風V001効果音付」である.この動画制作にあたってはSora2 Proを用い,睡眠時間を含めて18時間連続で制作した.なお,効果音の部分は研究室でインターン中のユトレヒト芸術大学学生 Tyho君が付与してくれた.この動画に関しては,今後更にメロディを含む動画を付与予定である.

ゲーム冒頭の状況付与部分の作成例

続く2つの動画は,RESPI CHALLENGEに登場する多数の看護師のうち,看護師Bと看護師Cの制作例である.どちらもプロンプト分で顔の形状,目の位置や形状,大きさ,目尻の角度等を調整して制作したものである.

ゲーム中に登場する看護師Bの制作例
ゲーム中に登場する看護師Cの制作例

3.シリアスゲームRESPI CHALLENGE(開発コード名)開発への応用

プロローグ
聖路加国際大学の木村理加博士(看護学)は,日本大学の古市昌一博士(工学)等(ゲームのチカラで世界を救う,Serious Game Design Lab.)と共同で,臨床看護師のためのゲーム型学習用教材『仮称:キムラチャレンジ』の企画を2024年春から開始し,2025年10月からはゲーム会社の協力も得て開発が本格化した.

まず行ったのは,これまで木村理加博士が行ってきた「臨床看護師のためのe-ラーニング型学習用教材」とその効果についての勉強会.これにより現状の課題を皆で把握し,既存教材には以下に示す2つの問題点が判明.

  1. 楽しく学ぶことができない
  2. 学習が継続しない

この2つを得意とするのは,「ゲームの持つチカラ*」.教材はゲーム形式にするのがベストだと全員が確信してまとめたのが,『仮称:キムラチャレンジ(開発コード名:RESPI CHALLENGE』のペラ企画書です.


『仮称:キムラチャレンジ』のペラ企画書 (2024年5月)

その後,この企画書に基づいて開発をすすめるべく検討を続け,2025年10月からはゲーム会社の協力が得られて開発に着手し,現在に至ります.

*ゲームのチカラ (出典:古市昌一,シリアスゲーム: ゲームのもつチカラの活用法,作業療法ジャーナル 第54巻 (9), pp. 957-963 )

  1. 人の知的好奇心をあおるチカラ
  2. 人を夢中にさせるチカラ
  3. 皆が平等に一緒に楽しむことができるチカラ

『仮称:キムラチャレンジ』はゲーム型の学習用教材で,シリアスゲーム*というジャンルに属するゲームです.見た目(look)もプレイした時の感覚(feel)も,エンタテインメントを目的とした一般のゲームと同じです.しかし,知識が全くないと楽しくプレイすることができないため,そのために知識を獲得しよう,という内発的動機が生まれる点が一般と異なります.

*シリアスゲーム:世の中の課題解決を目的として開発したゲームのこと (出典:藤本徹,古市昌一他,シリアスゲーム,コロナ社,ISBN: 9784339013757)

 『仮称:キムラチャレンジ』のシチュエーションは病院,その中でも最も緊急かつ高度な医療を施すICU(集中治療室)に入院中の患者さんを看護すること.


聖路加国際大学シミュレーションセンターのICU

ゲームのミッションは,人工呼吸器を装着している患者さんから,安全なタイミングで人工呼吸器を離脱するようアセスメントすること.失敗は許されない,患者さんの命に関わる,そのような状況の中で限られた時間内に離脱を成功するためには.....看護学校で学んだ知識だけではだめ,経験も必要ながら,限られた時間の中でドキドキ,そしてハラハラしながら,まず「呼吸仕事量」の増加をアセスメントする.そのためには,人工呼吸器のグラフィックモニターの確認....患者さんの各状態をアセスメントし,至短時間で総合的に判断,そして人工呼吸器の離脱!しかし,法律により離脱を行うことができるのは医師....!...

限られた時間の中でドキドキ,そしてハラハラ,至短時間で正しい判断と意思決定,このICUでのこの状況は脱出ゲームや爆弾解除ゲームをプレイする時も同じだ,木村理加博士はそのように考え,『仮称:キムラチャレンジ』の開発に,自らチャレンジすることを決めました.

 今回木村理加博士がチャレンジする『仮称:キムラチャレンジ』の第1版シナリオは,人工呼吸器の離脱.木村理加博士は以前e-ラーニング型の教材を開発して実験を行って一定の効果が得られたものの,もっと楽しく継続的に学ぶ方法を求めて,このチャレンジを始めました.

『仮称:キムラチャレンジ』は,臨床看護師のための学習用教材なので,看護師の皆さんにとっては次のようなメリットが得られます 

  • 人工呼吸器離脱アセスメントができるようになる
  • 人工呼吸器離脱をゲーム環境内で経験して学ぶことができる
  • 現実世界では許されない失敗経験から学ぶすることができる
  • 忙しい毎日の中,学習が楽しく感じるようになり,スキマ時間に楽しく学ぶことができる
  • 他の臨床看護師とゲーム環境内で競い,仲間ができ,更に学習が楽しく感じるようになる

『仮称:キムラチャレンジ』は,看護に興味を持った高校生の皆さんにとっては次のようなメリットが得られます 

  • 臨床看護師をゲーム環境内で経験することができる
  • 専門学校や大学等のオープンキャンパスでのゲーム大会等で利用することができる
  • 専門学校や大学等の授業の補助教材として利用することができる

『仮称:キムラチャレンジ』は,一般の人にはメリットがないかというと,さにあらず.いつか入院するかもしれない皆さんにとっても次のようなメリットが得られます 

  • 人工呼吸器装着期間を短くすることができ,QOLを向上することができる
  • 『仮称:キムラチャレンジ』が発展することにより,医療・看護全体の質を向上することができる

エピローグ
『仮称:キムラチャレンジ』があれば,臨床看護師の皆さんの人工呼吸器の離脱アセスメント能力を高めることができ,医療・看護全体のQOL(Quality of Life)向上に寄与できると考えています.

『仮称:キムラチャレンジ』の中核部分を2025年度中に開発し,2026年度には教材としてのクオリティを高め,病院で評価実験を実施して結果を論文として発表し,普及に向けて継続的な開発をすることを予定しています.

  • 『仮称:キムラチャレンジ』の開発に,ゲーム開発に興味のある学生の皆さん,協力してみませんか?
  • 『仮称:キムラチャレンジ』の効果測定に,皆さんの病院も協力してみませんか?

『仮称:キムラチャレンジ』は,TEL(Technology Enhanced Learning)方式をベースとした臨床看護師のためのゲーム型学習用教材の仮称で,シリアスゲームというジャンルのゲームとして全国の臨床看護師および看護学校や大学等への普及を目指しています.