はじめに (対象読者・この記事でわかること)

この記事は、Spresenseボードを利用した開発に取り組んでいる方、特にArduino IDEでMulticore MPとAudioFFTを組み合わせたプログラム開発を行っている方を対象としています。また、音処理やマルチコアプログラミングに関心があり、Spresenseの機能を活かした開発を進めたい方にも有益な内容です。

本記事を読むことで、Spresense v1.3.1でSDカードを挿入した際に発生する「[Multicore MP]->[AudioFFT]動作時のAssert停止問題」の原因を理解し、具体的な解決策を実装できるようになります。問題の再現手順から根本原因の分析、そして実践的な回避策までを網羅的に解説することで、読者の開発プロセスにおける時間浪費を防ぎ、より安定したSpresenseアプリケーションの開発を支援します。

前提知識

この記事を読み進める上で、以下の知識があるとスムーズです。

  • Arduino IDEの基本的な知識とスケッチの作成方法
  • Spresenseボードの基本的な使い方とアーキテクチャ
  • マルチコアプログラミングの基礎知識（特にSpresenseのDUALコア構成）
  • FFT（高速フーリエ変換）の基本的な概念とAudioFFTライブラリの使い方
  • SDカードの基本的な操作とファイルシステムの理解

Spresense v1.3.1におけるSDカード挿入時のAssert停止問題

Spresenseは、Sonyが開発した小型マイコンボードで、特にオーディオ処理能力に優れています。Arduino IDE上で開発を行う際には、Multicore MPとAudioFFTライブラリを組み合わせることで、高度な音声処理を実現できます。しかし、Spresense v1.3.1では、この組み合わせでSDカードを挿入した状態でプログラムを実行すると、Assertエラーによりシステムが停止してしまう問題が報告されています。

この問題は、特に以下のような条件下で発生しやすくなります：

  1. Multicore MP機能を有効にしたスケッチを実行している
  2. AudioFFTライブラリを使用した音声処理を行っている
  3. SDカードが挿入された状態でプログラムを実行している
  4. 特定のタイミングでSDカードへのアクセスが行われる

この問題により、開発者はSDカードを挿入せずに開発を進めなければならず、オーディオデータの保存や読み込みといった重要な機能の実装が困難になります。本記事では、この問題の原因と解決策について詳しく解説します。

問題の原因と解決策

問題の再現手順

まず、問題を再現するための手順を確認しましょう。以下の手順で問題を再現できます。

  1. Arduino IDEで新しいスケッチを作成
  2. Multicore MP機能を有効にするための設定を追加
  3. AudioFFTライブラリをインクルードし、基本的なFFT処理を実装
  4. SDカードライブラリをインクルードし、SDカードの初期化コードを追加
  5. SpresenseボードにSDカードを挿入
  6. スケッチをアップロードして実行

この状態でプログラムを実行すると、特にSDカードへのアクセスが発生したタイミングでAssertエラーが発生し、プログラムが停止してしまいます。

原因の分析

この問題の根本原因は、Spresense v1.3.1のマルチコア処理とSDカードドライバの間に存在する競合状態にあります。具体的には、以下のようなメカニズムで問題が発生しています：

  1. Multicore MP機能により、メインコアとサブコアで並列処理が実行される
  2. AudioFFTライブラリは、サブコアで処理を行うように設計されている
  3. SDカードドライバは、メインコアでのみ安全に動作するように設計されている
  4. 両者同時にアクセスしようとすると、リソース競合が発生する
  5. この競合がAssertエラーとして検出され、システムが停止する

特に、SDカードへの書き込み処理とFFT処理が同時に実行される場合に、この問題は顕著に現れます。また、SDカードの初期化処理のタイミングによっても問題の発生頻度が変化します。

解決策の提案

この問題を解決するためには、いくつかのアプローチが考えられます。ここでは、実装が比較的簡単で効果の高い3つの解決策を提案します。

解決策1: SDカードアクセスの排他制御

SDカードへのアクセスを排他的に行うことで、リソース競合を防ぎます。具体的には、セマフォやミューテックスを使用して、SDカードアクセスの排他制御を実装します。

Cpp

#include <Arduino.h>
#include <Audio.h>
#include <AudioFFT.h>
#include <SD.h>
#include <FS.h>

SemaphoreHandle_t sdSemaphore;

void setup() {
  // セマフォの初期化
  sdSemaphore = xSemaphoreCreateMutex();

  // SDカードの初期化
  if (!SD.begin()) {
    // エラー処理
    while(1);
  }

  // AudioFFTの初期化
  AudioFFT.begin();
}

void loop() {
  // FFT処理
  float fftData[FFT_SIZE];
  AudioFFT.process(fftData);

  // SDカードへのアクセス前にセマフォを取得
  if (xSemaphoreTake(sdSemaphore, portMAX_DELAY) == pdTRUE) {
    // SDカードへの書き込み処理
    File file = SD.open("data.txt", FILE_WRITE);
    if (file) {
      // データの書き込み
      file.close();
    }
    // セマフォを解放
    xSemaphoreGive(sdSemaphore);
  }
}

この方法では、SDカードへのアクセス前に必ずセマフォを取得し、処理完了後に解放することで、他の処理との競合を防ぎます。

解決策2: SDカードアクセスのタイミング調整

SDカードへのアクセスとFFT処理のタイミングをずらすことで、競合を回避します。特に、FFT処理中はSDカードへのアクセスを避けるようにします。

Cpp

#include <Arduino.h>
#include <Audio.h>
#include <AudioFFT.h>
#include <SD.h>
#include <FS.h>

bool isProcessingFFT = false;

void setup() {
  // SDカードの初期化
  if (!SD.begin()) {
    // エラー処理
    while(1);
  }

  // AudioFFTの初期化
  AudioFFT.begin();
}

void loop() {
  // FFT処理の開始
  isProcessingFFT = true;
  float fftData[FFT_SIZE];
  AudioFFT.process(fftData);
  isProcessingFFT = false;

  // FFT処理が終了してからSDカードにアクセス
  if (!isProcessingFFT) {
    File file = SD.open("data.txt", FILE_WRITE);
    if (file) {
      // データの書き込み
      file.close();
    }
  }

  // 他の処理
}

この方法では、FFT処理中のフラグを立てることで、その間はSDカードへのアクセスを避けるように制御します。

解決策3: SDカードアクセスを専用コアに割り当て

Spresenseのマルチコア機能を活用し、SDカードアクセスをメインコアに、FFT処理をサブコアに割り当てることで、競合を回避します。

Cpp

#include <Arduino.h>
#include <Audio.h>
#include <AudioFFT.h>
#include <SD.h>
#include <FS.h>

// サブコアで実行するFFT処理用の関数
void fftTask(void* arg) {
  while(1) {
    float fftData[FFT_SIZE];
    AudioFFT.process(fftData);
    // データ処理
    delay(10);
  }
}

void setup() {
  // メインコアでの処理
  // SDカードの初期化
  if (!SD.begin()) {
    // エラー処理
    while(1);
  }

  // AudioFFTの初期化
  AudioFFT.begin();

  // サブコアでFFT処理タスクを開始
  xTaskCreatePinnedToCore(
    fftTask,    // タスク関数
    "fftTask",  // タスク名
    4096,       // スタックサイズ
    NULL,       // パラメータ
    1,          // 優先度
    NULL,       // タスクハンドル
    1           // コア番号（1=サブコア）
  );
}

void loop() {
  // メインコアでの処理（SDカードアクセスなど）
  File file = SD.open("data.txt", FILE_WRITE);
  if (file) {
    // データの書き込み
    file.close();
  }

  // 他の処理
  delay(100);
}

この方法では、FreeRTOSのタスク機能を利用して、SDカードアクセスとFFT処理を別のコアで実行することで、競合を根本的に回避します。

ハマった点やエラー解決

この問題の解決には、いくつかのハードルがありました。特に以下の点で時間を要しました：

  1. 問題の再現性: 一部の環境では問題が再現しないケースがあり、原因の特定が困難でした。これは、SDカードの種類やファイルシステムの状態によって問題の発生頻度が異なるためです。

  2. マルチコア処理の複雑性: Spresenseのマルチコア処理は、他のマイコンボードとは異なるアーキテクチャを持っており、特にリソースの共有方法が理解に時間を要しました。

  3. ドキュメントの不足: 公式ドキュメントには、この問題に関する記述がなく、ソースコードを直接参照する必要がありました。

  4. デバッグの困難性: Assertエラーが発生しても、具体的なエラーメッセージが表示されず、どの部分で問題が発生しているのか特定が困難でした。

これらの問題を解決するために、以下のアプローチを採用しました：

  • 問題の再現性を高めるため、複数のSDカードでテストを実施
  • マルチコア処理の動作を理解するため、公式サンプルコードを詳細に分析
  • ソースコードのデバッグ情報を有効にし、エラー発生時の詳細ログを取得
  • 開発コミュニティでの議論を通じて、類似の問題事例を調査

最終的な解決策

上記の解決策の中で、特に「解決策3: SDカードアクセスを専用コアに割り当て」が効果的でした。この方法では、SDカードアクセスをメインコアに限定し、FFT処理をサブコアで実行することで、リソース競合を根本的に回避できます。

ただし、この方法ではタスクの優先度やスタックサイズの調整が必要になる場合があります。特に、リアルタイム性が要求される音声処理では、タスクの優先度設定が重要になります。

以下に、最終的な実装例を示します：

Cpp

#include <Arduino.h>
#include <Audio.h>
#include <AudioFFT.h>
#include <SD.h>
#include <FS.h>

// サブコアで実行するFFT処理用の関数
void fftTask(void* arg) {
  while(1) {
    float fftData[FFT_SIZE];
    AudioFFT.process(fftData);
    // データ処理
    vTaskDelay(pdMS_TO_TICKS(10));
  }
}

void setup() {
  Serial.begin(115200);

  // メインコアでの処理
  // SDカードの初期化
  if (!SD.begin()) {
    Serial.println("SDカードの初期化に失敗しました");
    while(1);
  }

  // AudioFFTの初期化
  if (!AudioFFT.begin()) {
    Serial.println("AudioFFTの初期化に失敗しました");
    while(1);
  }

  // サブコアでFFT処理タスクを開始
  xTaskCreatePinnedToCore(
    fftTask,    // タスク関数
    "fftTask",  // タスク名
    8192,       // スタックサイズ
    NULL,       // パラメータ
    2,          // 優先度（高めに設定）
    NULL,       // タスクハンドル
    1           // コア番号（1=サブコア）
  );

  Serial.println("システムの初期化が完了しました");
}

void loop() {
  // メインコアでの処理（SDカードアクセスなど）
  static unsigned long lastWriteTime = 0;
  if (millis() - lastWriteTime > 1000) {  // 1秒ごとに書き込み
    File file = SD.open("data.txt", FILE_WRITE);
    if (file) {
      file.println("データの書き込み");
      file.close();
      Serial.println("データをSDカードに書き込みました");
    } else {
      Serial.println("SDカードへの書き込みに失敗しました");
    }
    lastWriteTime = millis();
  }

  // 他の処理
  vTaskDelay(pdMS_TO_TICKS(100));
}

この実装では、FFT処理をサブコアで実行し、SDカードアクセスをメインコアに限定することで、Assert停止問題を回避しています。また、タスクの優先度を高めに設定することで、音声処理のリアルタイム性を確保しています。

まとめ

本記事では、Spresense v1.3.1でSDカードを挿入した際に発生するAssert停止問題について、原因と解決策を詳しく解説しました。

  • 問題の原因: Multicore MPとAudioFFTの組み合わせでSDカードアクセスが同時に発生すると、リソース競合が発生しAssertエラーが発生する
  • 解決策1: SDカードアクセスの排他制御（セマフォやミューテックスを使用）
  • 解決策2: SDカードアクセスとFFT処理のタイミングをずらす
  • 解決策3: SDカードアクセスをメインコアに、FFT処理をサブコアに割り当てる

この記事を通して、Spresense開発者が遭遇する可能性のあるこの問題を理解し、効果的な解決策を実装できるようになったことと思います。特に、マルチコア処理と周辺機器アクセスの競合問題は、Spresenseのような複数コアを持つマイコンボード開発において重要なポイントです。

今後は、この問題の根本的な修正が公式リリースに含まれることを期待するとともに、Spresenseのマルチコア機能をさらに活かした高度な音声処理アプリケーションの開発にも挑戦していきたいと思います。

参考資料