趣味バンドマンの何でもブログ

趣味でバンドマンやっている私が役立ち情報や話題の話、日々の活動を語るブログです

実験:音色が違っても読み取りできる?

f:id:take5maroon5:20190822224058p:plain

当ブログでは、AWAの自動音声認識機能の性能に関して色々検証しておりました。

 

前回は短い音源でも認識できるかを調査していましたが、今回は、音色が変わっても認識できるかを中心にやってみたいと思います。

 

準備

 

 前回の実験と同様に、音源を用意します。

 

違う曲を用意するのもあれですので、今回も同じ原曲を用意しました。

 

www.youtube.com

 

UVERworldの「colors of the Heart」です。

 

これをそのまま流しても何も意味がないので、この音源のmidiファイルを入手します。

 

www.dropbox.com

 

こちらの音源を調整しながら色々やっていきたいと思います。

 

まずはそのまま再生

 

f:id:take5maroon5:20190822225218p:plain

 

 あれ?違う曲がでてきました。

 

ちなみにこの画面がでるまで約45秒かかっています。

 

通常音源の時は5秒だったので、明らかにかかり上、間違えています。

 

とりあえずめげずに続きを流してみます。

 

f:id:take5maroon5:20190822225648p:plain

 

 あれ?また?

 

しかも今度は1分近くかかっています。

 

この後も何故これを検出したの?と言いたくなるような検索結果ばかり出したので、画像を添付します。

 

f:id:take5maroon5:20190822230334p:plain

f:id:take5maroon5:20190822230405p:plain

f:id:take5maroon5:20190822230427p:plain

f:id:take5maroon5:20190822230448p:plain



はい、夢の中へ行くどころか国籍が違う夢に行きそうなぐらい全然違います。

 

さすがに安物のmidi音源ではだめなのではとおもいますので、こちらでmidi音源を調整してみます。

 

www.dropbox.com

 

簡単ではありますが、音源の変更をして生に近づけてみました。

 

本当はもうちょっと各楽器の調整をするべきなんでしょうが、まあいいでしょう。

 

ではこの音源を読みとりさせてみましょう。

 

 

f:id:take5maroon5:20190822233137p:plain

 

へ?

 

 

f:id:take5maroon5:20190822233153p:plain

 

f:id:take5maroon5:20190819232208p:plain

 

まあ、違う国の夢の中へ行かないだけましでしょう・・・。

 

というわけで音色が変わってしまうと、どう頑張っても反応してくれないということが判明しました。

 

さらに検証

 

さすがに今回はこれだけでは内容的にも薄いと思いましたので、追加の検証をします。

 

ボーカル抜き

 

最近のソフトは実に高性能でして、ボーカルの波長のみを削って、簡単にカラオケ音源作ることができます

 

 

www.dropbox.com

 

難点があるとすれば、ボーカルの音源のみを消しきることができないため、他の楽器の音も若干削ってしまうことや、ボーカルの音が消しきれないなどがあります。

 

ですが、若干聞こえる程度なので、まあ、カラオケ音源とするならこれぐらいで大丈夫でしょう。

 

では早速検証してみます。

 

f:id:take5maroon5:20190819232148p:plain

 

あれ、えらく時間がかかっているような・・・。

 

10秒以上かかっていますよ。

 

f:id:take5maroon5:20190819232208p:plain

 

ダメでした!

 

つまり、元々登録されている音源を完全にトレースしているようで、音色や一部音源を減らした場合、認識できないことがわかりました。

 

つまり、原曲が登録してあったとしても、アレンジ版がテレビやyoutubeで放送されても曲を認識できない可能性が高いことが判明しました。

 

まとめ

AWAの自動音声認識機能は登録されている音源を最低5秒あれば完璧に認識できます。

 

ですが、登録されていない音源や一部音色を変更したものでは、登録されている音源と違うため、認識ができない。

 

そのため、アレンジ曲を流しても認識できません。

 

www.youtube.com

 

実際にこちらを読み込ませてみましたが、認識できませんでした

 

さすがにそこまで万能ではないことが判明しました。

 

今回も最後までよんでいただきありがとうございます。

 

また次回もよろしくお願いいたします。」

 

PS:アドセンスの審査にやっと合格しました!単純にアドセンスとはてなの相性の問題だったみたいです。