ソニーグループ株式会社 研究開発活動 (2023年3月期)

ソニーのPurpose(存在意義)は、「クリエイティビティとテクノロジーの力で、世界を感動で満たす」です。そして、そのキーワードは「感動」です。
世界が感動で満たされ続けるためには、人々のクリエイティビティを解き放つテクノロジーを生み出しつづけ、我々の文明を持続可能なものにする必要があります。これを明確にするために、「我々の文明を進歩させ、この惑星を持続可能にする」を、ソニーグループにおける研究開発のミッションとして掲げました。

ソニーのPurposeを実現するためには、多様なテクノロジーが必要となります。その中核となるのが「センシング」「AI」「仮想空間」の3つの領域とそれらの連動です。現実空間でのセンサーとAIの連動により、画像認識や音声認識の高度化が期待されます。そしてセンシングされたデータや、そのデータを学習することで強化されたAIを用いて、仮想空間上での精密なシミュレーションや魅力的なコンテンツの生成が可能となります。さらに、仮想空間で得られた結果をAIにフィードバックすることで、AIの能力を強化することができます。このように、センシング、AI、仮想空間を連動させ、ソニーをAI/Data-driven Companyへと変革していきます。

ソニーグループの研究開発組織(以下「コーポレートR&D」)は、日本、欧米、インド、中国にある複数の拠点と連携し、それぞれの地域の特徴や強みを活かした研究開発活動を行っています。現地の優秀な研究開発人材の獲得をめざすとともに、ソニーグループの各事業とのさらなる連携を進めていきます。また、ソニーグループの中だけに閉じず、外部のクリエイターやアカデミアとの連携も強化していきます。すでに世界各地の大学との共同開発など様々な活動を推進しており、今後さらに拡大させていきます。

2022年度の研究開発費は、前年度に比べ1,173億円(19.0%)増加の7,357億円となりました。金融分野を除く売上高に対する比率は、前年度の7.4%から7.3%になりました。

各分野及びコーポレートR&Dにおける研究開発費の金額は以下のとおりです。

項目	2021年度 (億円)	2022年度 (億円)	増減率 (%)
G&NS	1,757	2,711	54.3
ET&S	1,418	1,557	9.8
I&SS	1,980	2,237	13.0
コーポレートR&D	487	464	△4.8

2022年度の主な研究開発活動及び成果として、以下のものがあげられます。

(1)G&NS
・Access™コントローラー
ゲームのアクセシビリティをさらに一歩前進させるPS5™用のアクセシビリティコントローラーキットであるAccessコントローラーを発表しました。アクセシビリティの専門家、コミュニティーメンバー、ゲーム開発者の多大なる協力により開発された本製品は、ハードウェア及びユーザーインターフェースの両面において様々なカスタマイズが可能で、あらゆる方がより簡単に、快適に、そして長い時間ゲームをお楽しみいただけるようにサポートします。

・PlayStation®VR2
2023年2月に発売を開始したPlayStation VR2は、高精細な4K HDRビジュアルや、新しいセンサー機能、トラッキング性能の進化によって前世代機から飛躍的な進化を遂げ、圧倒的な没入感をお届けします。本製品では、プレイヤーの目の動きを検知してゲームキャラクターを操作できる視線トラッキングや、ヘッドセットの振動によりプレイヤーがゲームから受ける感覚を増幅させるヘッドセットフィードバック、そしてPS5のTempest 3Dオーディオ技術など、様々なテクノロジーを組み合わせることで、これまでにない感覚と没入感をお楽しみいただけます。また、付属のPS VR2 Sense™コントローラーは、トラッキング性能の向上に加えて、フィンガータッチ機能やハプティックフィードバック、アダプティブトリガーなどの機能を備え、次世代のバーチャルリアリティ体験を実現しました。

(2)ET&S
・バーチャルプロダクション
大型LEDディスプレイCrystal LED™ 『Bシリーズ』、デジタルシネマカメラVENICE、カメラトラッキングシステムとリアルタイムエンジンを組み合わせたインカメラVFXの手法により、クリエイターの映像表現の自由度を高める新たな撮影ソリューションです。3DCGを中心としたバーチャル背景を、高精細・高輝度・広色域などの特長を持つCrystal LED 『Bシリーズ』に表示し、その手前に演者や被写体を配置してVENICEで撮影することで、合成などの後処理なくリアルタイムにCGと実写を組み合わせた映像制作を可能にします。2022年2月に開設したソニーピーシーエル㈱のクリエイティブ拠点「清澄白河BASE」に続き、10月には、米国カリフォルニア州カルバーシティのスタジオ敷地内のSony Innovation StudiosにCrystal LEDディスプレイを備えたものとして世界最大規模のバーチャルプロダクション用ステージを開設しました。また、南カリフォルニア大学と提携し、同大学の敷地内に、ソニーのCrystal LED 『Bシリーズ』を2022年夏に設置し、2022年秋よりバーチャルプロダクションの教育カリキュラムを学生に提供しています。次世代クリエイターの育成支援を通じてクリエイティブコミュニティへ貢献していきます。

・プレーを可視化するホークアイの技術と空間再現ディスプレイ
高精度・リアルタイムのトラッキング技術SkeleTRACKと可視化技術HawkVISIONを組み合わせることにより、スポーツにおいてファンエンゲージメントを高めるためのコンテンツを提供しています。SkeleTRACKは選手の位置や骨格情報、ボールやバットなどの動きも高精度かつリアルタイムにトラッキングすることで、全てのプレーをデータ化します。また、HawkVISIONによって、カメラの位置に制限されず自由な視点からバーチャル空間上でプレーを可視化できます。これら2つの技術で再現したプレー映像を、高速ビジョンセンサーと視線認識技術によって、見る人の目の位置を検出し左右それぞれの目に最適な立体映像を生成するソニーの空間再現ディスプレイで再生すると、スポーツの試合がまるで目の前で行われているかのような臨場感や立体感のある新しい観戦体験が裸眼で可能になります。こうしたエンタテインメント性あふれるコンテンツ体験を通じて、メタバース空間上で新たなコミュニティを生み出すとともに、フィジカルとバーチャルを繋げ、それらを融合した新しい未来を創り出していきます。

・次世代のクラウド制作プラットフォーム(Creators' Cloud)
これまで培ってきたクラウド技術・サービスを更に発展させ、未来の映像制作ワークフローを見据えた次世代のクラウド制作プラットフォーム(Creators' Cloud)を法人顧客向けに導入しました。クラウド技術と多様なカメラ、通信技術、AI、メタデータなどを組み合わせて、新たな映像表現や迅速かつ効率的な制作を実現します。また法人顧客向けをベースに、最先端のカメラ技術とクラウド技術を掛け合わせて最適化し、個人向けサービスとしても幅広く提供を開始しました。カメラで撮影した動画・静止画を簡単にクラウドサービスへアップロードするスマートフォン向けアプリ(Creators’App)、カメラメタデータとクラウドAIを活用した動画編集クラウドサービス(Master Cut (Beta))、クリエイター同士が繋がり作品を発信するコミュニティ機能(Discover)などを新たに提供しました。また、従来法人顧客向けに提供してきたクラウドメディアストレージ(Ci Media Cloud)を個人向けにも提供を開始しました。クラウドを活用した編集サポートから、クリエイター間の出会いや共同作業を可能にする環境までCreators’Cloudを通じて提供し、多様なクリエイターの高次元のコンテンツ創作活動を総合的にサポートします。

・嗅素を手軽に制御するTensor Valve™テクノロジー
嗅覚にアプローチする新たな価値の創出に向け、多数の嗅素(においの素)を手軽に制御し、混在させずに均一に提示することを可能にしたTensor Valve(テンソルバルブ)テクノロジーを開発し、この技術を搭載したにおい提示装置『NOS-DX1000』を発売しました。高気密カートリッジ技術により、強いにおいの嗅素でもにおい漏れを抑制します。また、本体に内蔵された脱臭機構の気流制御により、提示されたにおいを速やかに除去し汚染を抑制するため、脱臭装置や専用の部屋を必要としない手軽な運用が可能です。医療機関をはじめ、研究機関、自治体等において、嗅覚測定や嗅覚トレーニング、においサンプルの確認や検証など、においにまつわる研究や測定の用途に展開します。


(3)I&SS
・エッジAIセンシングプラットフォームAITRIOS™の有償サービス提供開始
AIカメラなどのエッジデバイスを活用したセンシングソリューションの効率的な開発・導入を可能にするAITRIOSプラットフォームにおいて、2種類の有償サービスの提供を開始しました。主にアプリケーションデベロッパーやAIデベロッパーによるソリューション開発と運用を支援するConsole Developer Editionと、主に法人顧客のシステム構築を担うシステムインテグレーターを支援するConsole Enterprise Editionです。AITRIOSは、開発に必要なツールやSDK(ソフトウェア開発キット)、開発環境をパートナーや顧客に提供することにより、作業工数の増加や、エンジニアの人員数やスキルの不足など、パートナー企業が抱える課題解決に貢献します。

・スマートフォン用SPAD距離センサー
業界最高の光子検出効率を実現する直接 Time of Flight(dToF)方式のSPAD距離センサー『IMX611』をスマートフォン用に商品化しました。一般的にSPAD画素は、光源から対象物に反射して戻ってくるまでの光の飛行時間を検出することで距離情報を取得する、dToF方式の受光素子の一つとして活用されています。本製品は、センサーに独自のSPAD画素構造を採用することで、業界最高の光子検出効率を実現しました。光源から対象物に反射して戻ってきた微弱な光子でも検出が可能になることで、対象物を高精度に測距することができます。低照度環境におけるスマートフォンのオートフォーカス性能の向上や、被写体の背景のボケ処理、広角カメラや望遠カメラのシームレスな切り替えなどに活用でき、撮影体験を広げます。また、3次元空間認識、ARオクルージョン、モーションキャプチャー・ジェスチャー認識などが可能になり、今後のメタバースの普及に伴って需要が見込まれるVRヘッドマウントディスプレイやARグラスの機能の進化にも貢献します。加えて、ToF技術により取得可能な深度情報を活用したSDK「ToF AR」の提供も開始しました。目の前の風景にバーチャルな視覚情報を重ねるARアプリケーション開発を加速するためのSDKとして、人の動きの認識に加え、空間認識技術にも応用することで、スマートフォン一つでバーチャルYouTuber体験を可能にし、ゲームなどのアプリケーションでの活用も期待されています。

(4)コーポレートR&D
・Mapray™デジタルツインプラットフォーム
Mapray(マップレイ)は、3次元データと様々な地理空間情報を集約してリアルな世界を再現する、デジタルツインの開発者向けプラットフォームです。大規模な3次元仮想空間をWebブラウザ上で高速・高画質にレンダリングするグラフィックスエンジンmaprayJSと、多様で複雑な3次元地理空間データをクラウド上で最適化して管理・配信するMapray Cloudで構成されています。これらの技術を組み合わせることで、大規模で美しいデジタルツインを誰もが自由かつ簡単に構築できるようにして、そこから様々な感動体験が生み出されることをめざしています。

・デジタル空間でリアルな体験を再現するサージカルシミュレーター
仮想空間において本物のような映像だけでなく、リアルな臓器の変形やその感触までも再現可能な手術シミュレーター技術を開発しました。手術時に医師が見ている世界をより忠実に再現するために、光の屈折や反射などを計算するレイトレーシング技術を取り入れたリアリティのある手術描画と、リアルタイム物理演算による柔軟物操作インタラクションを組み合わせることで、従来のデジタルシミュレーションでは再現が難しかった臓器の特性の違いや処置の際の力加減などを確かめながらトレーニングができるようになりました。

・深層生成モデル技術を活用したコンテンツ生成・修復
ソニーは、AIを活用してコンテンツの生成、修復を行うことのできる深層生成モデルと呼ばれる技術を開発しています。効率的なデータの圧縮法を学習する手法であるVector-Quantized Variational Auto Encoder (VQ-VAE)の学習を向上・安定化させ、一度で安定的に学習できる手法としてStochastically Quantized VAE (SQ-VAE)を開発するとともに、物理法則にもとづく方程式を利用し、より高品質な生成結果をもたらす拡散モデルの新しい学習方法の開発にも成功しました。これらの技術はクリエイターの創作活動を支えるためのものであり、音楽、映画、ゲーム業界において事業を展開し、世界をリードするクリエイターと研究開発者が協働できるソニーならではの機会を通じて、クリエイターのクリエイティビティを解き放つ技術の研究を行っていきます。

・遠隔空間を目の前にリアルに再現する3次元高画質化と低遅延伝送技術
独自開発した3次元高画質化と低遅延伝送技術、大画面かつ高画質な3次元ディスプレイ(Light Field Display)を組み合わせることで、遠隔空間を立体的に再現し、実際に目の前に人がいる/物があるような映像をリアルタイムに専用の眼鏡などを装着せずに体験できるようになりました。これは、遠隔地において、より進化したコミュニケーションが求められる新たな生活様式を実現する技術です。今後は、医療や金融・コンサルティングなどのテレコミュニケーションに加え、建機や車などの遠隔操作や遠隔手術などのユースケースも想定されます。