特別講座「音を可視化して見てみよう」開講レポート／昭和学院中学校・高等学校 教諭（理科・情報）博士（工学） 榎本裕介

12月22日、昭和学院中学・高等学校様にて、早稲田大学 理工学術院総合研究所 准教授 ・加速キッチン合同会社 代表　田中香津生（たなかかづお）先生をお招きして、前回の特別講座「リバーシAIを作ろう」に引き続き、音楽と理科（物理）を融合させた講座「音を可視化して見てみよう」が開かれました。

当日の講座のご様子について、本講座を企画された榎本先生にレポートをご執筆いただきました。

はじめに

元々の企画は主に話し声を分析するワークショップでしたが、今回は音楽部に所属する中高生、さらには声楽を専攻するOGや音楽教員が参加することを受けて歌声の分析にも踏み込むものとなりました。
中高では教科として別々の音楽と理科（物理）をChromebookを用いた分析で融合させた講座となりました。

感覚的なアドバイスでは上手くいかないことがある

講師を務める田中先生は素粒子物理学の研究をメインに、最近では人工衛星の設計、雷の分析や医学とのコラボレーションも進める研究者です。
歌声の分析をする本講座の冒頭は、田中先生からの意外な告白でスタートしました。「私は音痴なんです。子供のころから大きな声で一生懸命歌ってるのに、合唱コンクールは『あんまり声を出さないでくれ』って言われちゃってすごく悔しい思いをしてきたんです」と語ります。
音楽部に所属し、歌が得意な音楽部の生徒たちはまず大きな衝撃を受けたことでしょう。感覚的なアドバイスだけでしっくり来てやりたいことができる人もいれば、いったい何をどう修正したらよいかわからずに上達できない人もいる。それを解決できる手段が音の物理学的な分析というわけです。
この分析は、苦手な人が人並みに上達するためだけでなく、人並み以上に得意な人がより高みを目指すためにも有効に違いないと田中先生は語ります。

音色は複雑な波の足し算でできている

音について中高では中１の理科で一つの単元として扱います。
音の３要素として、大きさ、高さ、音色の３つが挙げられますが、理科の教科書では主に大きさと高さのみを扱うことが多いです。つい数週間前に終えた2学期期末考査でこれを扱った中１の生徒が当てられて、かろうじて解答できていました。
音は空気の振動であり、これを横軸を時間、縦軸を振幅として表現する波で表します。理科の教科書で扱われるのは音叉で発せられる音のような均一な波ですが、同じ高さの音でもバイオリンとピアノのような別の楽器（別の音色）ではこの波形が異なります。楽器の違いと同様に「あ」「い」「う」「え」「お」の違いも音色の違いといえます。
今回の講座ではこの音色に注目します。そして音色とはたくさんの波を複雑に足し合わせた結果であり、人間がその波の形を見てもその違いはなかなかわかりません。
そこで田中先生の作成したブラウザアプリを用いて、Chromebookに音声を取り込んで解析をし、音声のスペクトル（どのような波長の波がどれくらい含まれているのか）を取得します。解析はリアルタイムで行われ、取り込んだ音声スペクトルがヒートマップとして表示されます。

私たちの耳から入る音も、同様の解析を脳内で処理し、「今聞こえた音は『あ』だ」と認識できているというわけだと田中先生が語ると、生徒たちは驚きを隠せない様子でした。
参加生徒たちには語られませんでしたが、今回の音声解析はフーリエ解析と呼ばれる、数学的には高校数学を一通りマスターしてからでないと理解が難しい解析方法を用いています。こうした高度な解析手法であっても、コンピュータを介することで中高生がその解析の結果を得ることができるのはまさに新しい時代の教育だといえるでしょう。

感覚的に違いがあるようなものを分析してみる

講座はここから実践がメインとなりました。まずは単純な音色の違いを可視化されたスペクトルの違いとして認識できるかどうかのゲームを行いました。
参加者を2チームに分け、「あ」「い」「う」「え」「お」の中から指定された2文字の音声を入力し、スペクトルをGoogle Classroom上にアップして共有しました。これを互いに当てるというゲームを行いました。

結果は残念ながら双方ハズレとなってしまいましたが、まずは音が可視化できて音色によって違いがあるということを自分自身の声で分析し、実感できたようすでした。
「あ」「い」「う」「え」「お」のスペクトルにはどの人の声であっても特徴のあるスペクトルの組み合わせが見られることも分かり、実際に私たちがスマホなどでつかっている音声入力のしくみの解説もここで行われました。
さて、ここでいよいよ音楽部ならではの比較に入りました。事前に解析した材料として、田中先生による地声と裏声での音声スペクトルの違いが紹介されました。
「私はキレイな歌声と地声の違いを解析したくても自分じゃ出せない！ぜひみなさんの声を自分で分析してみほしい！」と熱弁され、生徒たちは張り切ってサンプリングを開始しました。

解析対象は①地声での歌と頭声発声での歌の比較の他にも、②通常の声とアニメ声の比較、③日本人と英語ネイティブの発音の比較などが行われました。
今回の講座では一つひとつのデータを細かく見る時間は取れませんでしたが、耳で聞いて「今のは良かった」というものと、こうして可視化したもので「ここが違う」ということの相関が見えそうだという兆しはありました。すなわち、これまで指導者からのアドバイスを唯一の手掛かりに練習をしていた発声が、自分で「この成分が増える（減る）ような声にしよう」と目標を持って取り組めるようになるのかもしれません。
何かを改善しようと工夫してみた結果が良い方向に進んでいることもあれば、逆に目指す形から遠ざかることもあります。それを分析して可視化することは、上達のための大きな手助けになるに違いありません。
実際に頭声発声（腹式呼吸）では強度の強い波長の数が少なく、地声で見られた波長がいくつか抜けている傾向がみられました。
これは田中先生が事前に解析した地声と裏声での比較でも似た傾向があり、地声に含まれる波長をいくつか欠損させることで頭声発声が実現できているのかもしれません。
また、下の図でも見えるとおり腹式呼吸の際にビブラートをきかせる発声ではスペクトルの図も波打っているようになりました。また、ハスキーボイスではどのような違いがあるのか、息を多く含む発声と少なく含む発声ではどのような違いがあるのか、と、短時間で得られたサンプルだけでも考察が尽きませんでした。

まとめ

母音「あ」「い」「う」「え」「お」の違いだけに留まらず、歌声を対象として音楽と物理学のコラボ講座となりました。発声方法に限らず、世の中には感覚的に伝え、習得するものが多すぎる、と田中先生は熱弁します。
田中先生は22歳で初めてブランコに乗れたそうです。筆者には6歳になる娘がいますが、ブランコの乗り方をどう教えたか振り返ってみると、横で一緒にブランコに乗って「こうやるんだよ」と見せるという、確かに全く具体性がなく感覚的な伝え方で教えました。
多くの人が感覚的に教わり、言葉では説明できない動きをいつの間にか習得していたことでしょう。田中先生は幼少期にブランコに乗れなかった悔しさを持ったまま、22歳になって物理学に明るくなったころに、ブランコに乗る際の体の各点の運動方程式を全部解いて、明確な解を持って公園に行って晴れてブランコに乗れたそうです。
熱く語る田中先生のブランコトークに生徒たちは大盛り上がりでしたが、生徒たちはこれを様々なことにあてはめてみると「分析する」という考え方の大切さに気付かされたようでした。ただ、「できた」「できない」で終わらせずに原因を細かく究明し、課題を解決するために必要な力として「分析する」ということの意義を知ることができた講座となりました。

---

田中先生は加速キッチン合同会社という会社を立ち上げ、このようなICTツールを生かした様々な教育活動を行っています。
加速キッチンの詳細についてはこちらをご参照ください。
https://accel-kitchen.com/

お問い合わせはこちら

本コラムに関するお問い合わせはこちらからよろしくお願いいたします。

Chromebook導入のポイントが分かる資料がダウンロードできます。