![\"Open](\"https://colab.research.google.com/assets/colab-badge.svg\"){kind=icon}
"
]
},
{
"cell_type": "markdown",
"source": [
"# はじめに\n",
"\n",
"## このファイルの概要\n",
"\n",
"こちらはフーリエ変換（Fourier Fransform）の原理について、実際のPythonのプログラミングコードを動作させながら学ぶことができるノートブックです。\n",
"\n",
"今回主に扱っているデータは音声ファイルになります。お好きな音楽や音声ファイルをGoogleドライブにアップロードしてフーリエ変換をかけてみたり、スペクトログラムを描写して音声分析などをしてみることもできます。\n",
"\n",
"## フーリエ変換とは何ぞや？って人へ\n",
"\n",
"フーリエ変換というのは時間や空間における信号や波形を異なる周波数成分に分解することができる数学的手法時間のことで、具体的には領域の関数を（角）周波数領域の関数に変換して観察することができるようになります。\n",
"\n",
"まあこれだけ聞いても何言ってんだコイツってなると思うのでここでフーリエ変換の説明も一緒にするつもりだったのですが、ちょっと長くなりそうだったので別のところに置いておくことにしました。これから何をするのかよく分からないという人はこちらを読んだうえでコードを触ってみるといいかもしれません。\n",
"\n",
"## 動作方法（こちらのJupyter NotebookはGoogle Colab上での動作を想定しています）\n",
"\n",
"基本的にはGoogle Colab上のそれぞれのコードブロックの実行ボタン（○の中に▷\n",
"が入っているボタン）を押すだけで実行できます。Pythonなどの動作環境をローカルに構築する必要はありません。\n",
"\n",
"セルについては原則、上から順番に実行するようにしてください（変数の指定があるのでエラーが起きます）。毎回ボタンを押すのが面倒であれば、一番上のバーに表示されている<ランタイム>というボタンからすべてのセルを実行、などを選択して一括で実行することもできます。\n",
"\n",
"このノートブックには3つのセクションがあり、それぞれの内容は以下の通りになっています。\n",
"\n",
"** ライブラリなどの準備 **\n",
"\n",
"このJupyter Notebookを動かすために必要になります。一部、高速フーリエ変換 サンプル版のセクションのみを実行したい人には実行が不要なセルもあります。\n",
"\n",
"**高速フーリエ変換 サンプル版**\n",
"\n",
"ご自身で好きなようにSin波、Cos波を生成して重ね合わせたり、その結果をFFTすることができます。\n",
"\n",
"**高速フーリエ変換 実データ版**\n",
"\n",
"好きな音声ファイルをGoogle Driveにアップロードし、音響分析を行うことができます。\n",
"\n",
"**おまけ：音声の加工**\n",
"\n",
"アップロードした音声ファイルのピッチや再生速度を変更して遊べます。"
],
"metadata": {
"id": "2FSCIGR8qCjc"
}
},
{
"cell_type": "markdown",
"metadata": {
"id": "de9yWF_Kyeck"
},
"source": [
"# ライブラリなどの準備"
]
},
{
"cell_type": "markdown",
"source": [
"次に、音響信号処理でよく使うライブラリを紹介します。\n",
"\n",
"下のセルも実行してライブラリをimportしておいてください。"
],
"metadata": {
"id": "T4LFSV5PS5HY"
}
},
{
"cell_type": "markdown",
"source": [
"1. **NumPy:** 数値計算や配列操作に特化したライブラリで、信号処理に広く使用される基本的なツールを提供します。\n",
"\n",
"2. **SciPy:** 高度な科学技術計算機能を提供し、信号処理や最適化、統計処理などを含む幅広い機能が揃っています。\n",
"\n",
"3. **Matplotlib:** グラフ描画ライブラリで、波形やスペクトログラムの可視化に利用されます。\n",
"\n",
"4. **Librosa:** 音楽や音声解析のためのライブラリで、MFCC などを計算する機能があります。\n",
"\n",
"5. **CIS (Continuous Indexing in Spectrograms):** 高速で効率的なスペクトログラム計算を提供するライブラリです。\n",
"\n",
"6. **Wave:** 音声ファイルの読み込みや書き込みなど、基本的な音声処理に関する機能を提供するライブラリです。\n",
"\n",
"7. **Pandas:** データの整理や処理に使われ、音声データの解析結果をまとめたり、複数のデータを結合するのに便利です。\n",
"\n",
"8. **Dispy:** 信号処理やデジタル信号処理のためのライブラリです。\n",
"\n",
"9. **Soundfile:** 音声ファイルの読み書きのためのライブラリで、WAV などの一般的なフォーマットに対応しています。\n",
"\n",
"10. **PyTorch:** ニューラルネットワークの構築や訓練に使われ、音声の深層学習モデルの実装に広く利用されています。\n",
"\n",
"11. **TensorFlow:** ニューラルネットワークの構築や訓練に使われ、音声の深層学習モデルの実装に広く利用されています。\n",
"\n",
"12. **Keras:** 高水準のニューラルネットワーク API を提供し、TensorFlow や Theano をバックエンドとして使用します。音声認識や音声生成のモデル構築に便利です。\n",
"\n",
"13. **Scikit-learn:** 機械学習や統計学のライブラリで、音声データの分類やクラスタリングなどのタスクに使用されます。\n",
"\n",
"14. **OpenCV:** コンピュータビジョン関連の処理に特化したライブラリで、音声処理ではスペクトログラムの表示や画像処理に使用されることがあります。"
],
"metadata": {
"id": "YqEHStJvCpb1"
}
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "siJSprOS4yJ8"
},
"outputs": [],
"source": [
"# print('必要なライブラリをインポートしています。')\n",
"import wave\n",
"\n",
"import IPython.display as disp\n",
"import librosa as lr\n",
"import librosa.display as libdisp\n",
"import matplotlib.pyplot as plt\n",
"import numpy as np\n",
"import pandas as pd\n",
"from scipy.io import wavfile\n",
"import scipy.signal as signal\n",
"from scipy.io.wavfile import read\n",
"\n",
"\n",
"is_y = \" はい:y いいえ:その他のキーを入力してください。 >>>\"\n"
]
},
{
"cell_type": "markdown",
"source": [
"次に、Google Driveとこのipynbの結び付け（マウント）を行います。下のセルを実行してください。\n",
"\n",
"**高速フーリエ変換 実データ版**か**おまけ：音声の加工**を使用したい人はこちらのセルを実行してください。**高速フーリエ変換 サンプル版**しか実行しない人はスキップしてもらって大丈夫です。"
],
"metadata": {
"id": "yzHoPvRDBnLe"
}
},
{
"cell_type": "code",
"source": [
"from google.colab import drive\n",
"drive.mount('/content/drive')"
],
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "-pbgNjT1ZTV8",
"outputId": "accfb3b1-2e6f-4a4e-9010-82205bf8a00a"
},
"execution_count": null,
"outputs": [
{
"output_type": "stream",
"name": "stdout",
"text": [
"Mounted at /content/drive\n"
]
}
]
},
{
"cell_type": "markdown",
"source": [
"取り扱いたいファイルのPathを通します。\n",
"\n",
"1. 事前に音声ファイルはお手持ちのGoogle Driveにアップロードしておく。\n",
"2. 左のバーにあるファイルアイコン > content > drive > MyDriveをクリックしてファイルを探す。\n",
"3. ファイルをタッチした時に出てくる三つの・をクリックし、「パスをコピー」を選択。\n",
"4. 下のセルを実行し、コピーしたパスをそのまま張り付ける。\n",
"\n",
"**高速フーリエ変換 実データ版**か**おまけ：音声の加工**を使用したい人はこちらのセルを実行してください。**高速フーリエ変換 サンプル版**しか実行しない人はスキップしてもらって大丈夫です。\n",
"\n",
"ちなみに、アップロードする音声ファイルには、信号処理上の都合からいくつか守っておいた方がよいフォーマットがあります（理由は上記のmd参照）。\n",
"- ファイル拡張子：WAV\n",
"- チャンネル数：モノラル形式\n",
"- サンプリング周波数：基本 16kHz 程度でよい（44100Hz, 48000Hzなど、高い分には構わない）\n",
"\n",
"余裕がある人はテキトーなConverter（例えば [これ]（https://online-audio-converter.com/ja/） とか）で上記の形式に変換しておくと良いでしょう。まあ守らなくても音響分析はできるんですが、今回使用しているPythonのモジュールとの兼ね合いでファイル形式をWAVにすることだけは忘れないでください。"
],
"metadata": {
"id": "aWOhJvxJDDNX"
}
},
{
"cell_type": "code",
"source": [
"# ファイルパス\n",
"# /content/drive/MyDrive/Public/プロジェクト配布/fft_study/data/zundamon_sample.wav にずんだもんの音声ファイルがあるので、良かったらどうぞ。\n",
"filename = input('Google Driveにアップした音声ファイルのPathを入力してください。 >>>')\n"
],
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/"
},
"id": "ZMzk-9m9DBI8",
"outputId": "f497c0e8-99de-4fbe-9e35-125a991f7b57"
},
"execution_count": null,
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Google Driveにアップした音声ファイルのPathを入力してください。 >>>/content/drive/MyDrive/Public/プロジェクト配布/FFT/zundamon_sample.wav\n"
]
}
]
},
{
"cell_type": "markdown",
"source": [
"音声ファイルの確認"
],
"metadata": {
"id": "8muIgQbvPnKC"
}
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 75
},
"id": "3u3q-8iAyZf7",
"outputId": "199eb9af-65a2-4d50-9e11-c20cf6b1bc51"
},
"outputs": [
{
"output_type": "execute_result",
"data": {
"text/plain": [
"正弦波の式
**\n", "\n", "$$\n", "y(t) = A \\sin(\\omega t + \\phi)\n", "$$\n", "\n", "- \\(y(t)\\) は時刻 \\(t\\) における振幅\n", "- \\(A\\) は振幅（波の最大変位）\n", "- \\(\\omega\\) は角周波数（単位時間あたりの角度の変化量。これは周期 \\(T\\) に対して \\(\\omega = \\frac{2\\pi}{T}\\) と表される）\n", "- \\(t\\) は時間\n", "- \\(\\phi\\) は初期位相（波の初期の位置）" ], "metadata": { "id": "8YgOSObEz0M3" } }, { "cell_type": "code", "source": [ "# データ数と波の情報を入力する関数\n", "def input_wave_data():\n", " f_sample = []\n", " n_sample = []\n", " wave_sample = []\n", "\n", " num = input(\"重ね合わせたい波の数を入力してください。 >>>\")\n", "\n", " try:\n", " num = int(num)\n", " except ValueError:\n", " print(\"無効な入力です。整数を入力してください。\")\n", " return input_wave_data()\n", "\n", " for z in range(num):\n", " f_z = float(input(str(z + 1) + \"つ目の波の周波数を入力してください。 >>>\"))\n", " n_z = float(input(str(z + 1) + \"つ目の波の振幅の係数の大きさを入力してください。 >>>\"))\n", "\n", " wave_type = input(\n", " str(z + 1) + \"つ目の波の波形を入力してください。 Sin波:1 Cos波:その他のキーを入力してください。 >>>\"\n", " )\n", " if wave_type == \"1\":\n", " w_z = n_z * np.sin(2 * np.pi * f_z * t)\n", " else:\n", " w_z = n_z * np.cos(2 * np.pi * f_z * t)\n", " wave_sample.append(w_z)\n", "\n", " return wave_sample\n", "\n", "\n", "# 波形を合成する関数\n", "def compose_waveforms(wave_sample):\n", " is_y = input(f\"データ数分の乱数を波に合成しますか？(y/n) >>>\")\n", "\n", " if is_y.lower() == \"y\":\n", " n_amp = float(input(\"乱数の振幅の係数の大きさを入力してください。 >>>\"))\n", " w_random = n_amp * np.random.randn(N)\n", " wave_sample.append(w_random)\n", " else:\n", " print(\"了解しました。\")\n", "\n", " y = sum(wave_sample)\n", " return y\n", "\n", "\n", "# 波形を表示する関数\n", "def display_waveforms(wave_sample, t):\n", " print(\"合成前の波形をそれぞれ表示します。\")\n", " fig_num = len(wave_sample)\n", " cols = 4 # 1行あたりの最大サブプロット数\n", " rows = (fig_num + cols - 1) // cols # サブプロットの行数\n", "\n", " fig, ax = plt.subplots(rows, cols, figsize=(16, rows * 4))\n", " plt.subplots_adjust(hspace=0.5, wspace=0.3)\n", " plt.suptitle(\"Sample Waveform Xlabel=Time (s), Ylabel=Amplitude\", fontsize=18)\n", "\n", " for i, a in enumerate(wave_sample):\n", " plt.subplot(rows, cols, i + 1)\n", " plt.plot(t, a)\n", " plt.title(\"Waveform\" + str(i + 1))\n", "\n", " plt.tight_layout()\n", " plt.show()\n", "\n", "\n", "# メインの処理\n", "t = np.linspace(0, 5, 5000) # ここの値を調節すると時間の長さを変えられる。\n", "N = len(t)\n", "\n", "# 波形の入力\n", "wave_sample = input_wave_data()\n", "\n", "# 波形の合成\n", "y = compose_waveforms(wave_sample)\n", "\n", "# 波形の表示\n", "display_waveforms(wave_sample, t)\n" ], "metadata": { "colab": { "base_uri": "https://localhost:8080/", "height": 455 }, "id": "rR70U3_m_tuF", "outputId": "44628009-6d33-4bbe-d59d-b90c033884a8" }, "execution_count": null, "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "重ね合わせたい波の数を入力してください。 >>>0\n", "データ数分の乱数を波に合成しますか？(y/n) >>>y\n", "乱数の振幅の係数の大きさを入力してください。 >>>2\n", "合成前の波形をそれぞれ表示します。\n" ] }, { "output_type": "display_data", "data": { "text/plain": [ "高速フーリエ変換の式
**\n", "\n", "$$\n", "X[k] = \\sum_{n=0}^{N-1} x[n] \\cdot e^{-i \\frac{2\\pi}{N}kn}\n", "$$\n", "\n", "- \\( x[n] \\) は離散時間信号（離散的なサンプル）\n", "- \\( X[k] \\) は FFT の結果\n", "- \\( N \\) はサンプル数\n", "- \\( k \\) は周波数インデックス（0 から N-1 までの整数）\n", "\n", "FFT は、N 個のサンプルから成る離散信号を N/2 個の複素数から成る周波数成分に変換していて、計算量は O(N log N)となっているので、データサイズが増えても計算量があまり増加しません。\n", "\n", "これによって従来の DFT と比べて計算量を \\(O(N^2)\\) から \\(O(N \\log N)\\) に減少させられるので、大量の計算が必要になる大規模データやリアルタイム処理においてよく用いられています（数十倍から数百倍高速）。\n", "\n", "FFT も DFT の一種で非周期的な離散データを扱うので、結果から導かれる周波数特性は離散的なものになります。" ], "metadata": { "id": "dAcds5Lsy69N" } }, { "cell_type": "code", "execution_count": null, "metadata": { "colab": { "base_uri": "https://localhost:8080/", "height": 529 }, "id": "JVGyDjlE5oZl", "outputId": "37c0c387-94d2-40ab-e080-ff7c69ae9c56" }, "outputs": [ { "output_type": "stream", "name": "stdout", "text": [ "どちらの音声をフーリエ変換しますか？\n", "元の音声ファイル:1 時間で区切った音声ファイル:2 必要なデータ数のみのデータ:その他のキーを入力してください。 >>>1\n", "振幅スペクトルを表示します。\n", "最大振幅: 112.11711951104026\n", "最小振幅: 0.002156860320887937\n", "最大周波数: 7999.727474024868\n", "最小周波数: -7999.727474024868\n" ] }, { "output_type": "display_data", "data": { "text/plain": [ "