はじめに (対象読者・この記事でわかること)

この記事は、Python で統計シミュレーションや機械学習の前処理として二項分布に従う乱数を生成したいエンジニア・研究者を対象としています。特に、サンプルサイズが大きくなると OverflowError: Python int too large to convert to C long が頻発し、実装が止まってしまう経験がある方に最適です。本稿を読むことで、エラーの根本原因、発生しやすい条件、そして安全に大量の二項乱数を取得するための具体的な回避策と実装例が明確に理解でき、コードを書き換えるだけで問題を即座に解決できるようになります。

前提知識

この記事を読み進める上で、以下の知識があるとスムーズです。
- Python の基本的な文法と例外処理
- NumPy / SciPy の基本的な使い方（特に numpy.random.binomial や scipy.stats.binom）
- 整数型とビット幅に関する基礎知識（C 言語の long が 32 ビット/64 ビットであること）

二項分布乱数生成で直面する OverflowError の概要

二項分布は「(n) 回の独立試行で成功確率 (p) の試行が何回成功するか」を表す離散確率分布です。Python では主に numpy.random.binomial(n, p, size) が利用され、シミュレーションやブートストラップ法で大量のサンプルを生成します。しかし、n が非常に大きい（例: 10^9 以上）場合、内部的に C の long 型へ変換しようとしてオーバーフローが発生し、次のような例外が投げられます。

OverflowError: Python int too large to convert to C long

このエラーは、NumPy が C の API を呼び出す際に Python の無制限長整数（int）を固定幅の整数へキャストできないことが原因です。特に 32 ビット環境や古い NumPy バージョンでは long が 32 ビットであるため、n が 2^31‑1 を超えると即座に失敗します。64 ビット環境でも、内部的に int64 へダウングレードしようとして上限 (9.22e18) を越えると同様の例外が起きます。

エラーが起きやすい典型的シナリオ

  1. シミュレーションで巨額の試行回数
    大規模遺伝子シミュレーションや金融リスク評価で、1回の試行回数が数十億以上になるケース。
  2. ベクトル化された大量生成
    size に大きな配列（例: 1e6 個）を指定し、かつ n が大きいと一括処理でオーバーフローが顕在化。
  3. 古い環境
    Python 3.7・NumPy 1.15 以前の環境は C API の整数変換が緩く、エラーメッセージが出やすい。

以上を踏まえ、エラー回避のための設計指針と実装テクニックを次章で詳細に解説します。

安全に二項乱数を生成する実装パターンとエラー回避策

ここでは、実際に手を動かしながら問題を解決するためのステップを順に示します。コード例は Python 3.11、NumPy 2.0 以降を前提としていますが、古いバージョンでも応用可能です。

ステップ1　整数範囲を意識したパラメータ設計

1‑1. n の上限を確認する

まずは numpy.iinfo(np.int64).max を取得し、n がこの上限を超えていないか確認します。

Python

import numpy as np

MAX_INT64 = np.iinfo(np.int64).max
def safe_binomial_n(n):
    if n > MAX_INT64:
        raise ValueError(f"`n` が int64 の上限 ({MAX_INT64}) を超えています。")
    return int(n)

1‑2. 期待値で代用する

n が極端に大きく、かつ成功確率 p が小さい場合、期待値 np = n * p が実際に必要な数値に近いことがあります。期待値に基づき ポアソン近似 を利用すると整数オーバーフローを回避できます。

Python

from scipy.stats import poisson

def binomial_via_poisson(n, p, size):
    lam = n * p
    return poisson.rvs(mu=lam, size=size)

ステップ2　分割サンプリングでオーバーフローを防ぐ

n が上限に近い場合でも、分割してサンプリング すれば C の整数範囲に収められます。

Python

def split_binomial(n, p, size, chunk=10_000):
    """
    n を `chunk` 回数ずつに分割し、各チャンクで binomial を生成して合算する。
    """
    total = np.zeros(size, dtype=np.int64)
    remaining = n
    while remaining > 0:
        cur_n = min(chunk, remaining)
        total += np.random.binomial(cur_n, p, size)
        remaining -= cur_n
    return total

この手法は chunk を 1e6 以下に抑えることで、どんなに大きな n でも安全に処理できます。

ステップ3　NumPy の新機能 Generator を活用

NumPy 1.17 以降では、np.random.Generator が提供する binomial メソッドは内部的に 64 ビット整数 を使用しますが、依然として上限があります。以下のように BitGenerator の PCG64 で 128 ビット状態を確保すると、乱数生成の信頼性が向上します。

Python

bitgen = np.random.PCG64()
rng = np.random.Generator(bitgen)

def safe_binomial(n, p, size):
    try:
        return rng.binomial(n, p, size)
    except OverflowError:
        # フォールバック: 分割サンプリング
        return split_binomial(n, p, size)

ハマった点やエラー解決

事例 1: size が大きすぎてメモリ不足

size=10_000_000 の配列を一括で生成すると、メモリ使用量が数百 MB に達し、MemoryError が発生しました。対策として バッチ処理 を導入し、size を 1e5 のバッチに分割して結果を逐次結合しました。

Python

def batched_binomial(n, p, total_size, batch=100_000):
    result = np.empty(total_size, dtype=np.int64)
    for i in range(0, total_size, batch):
        cur_batch = min(batch, total_size - i)
        result[i:i+cur_batch] = safe_binomial(n, p, cur_batch)
    return result

事例 2: 64ビット環境でも n が 9e18 超で失敗

n = 10**19 を直接渡すと OverflowError が投げられました。ポアソン近似 と 分割サンプリング を組み合わせたハイブリッド手法で回避しました。

Python

def hybrid_binomial(n, p, size):
    if n > np.iinfo(np.int64).max:
        return poisson.rvs(mu=n * p, size=size)  # 期待値が十分小さいケース
    else:
        return split_binomial(n, p, size)

解決策の総括

  • 上限確認：np.iinfo(np.int64).max で安全な n を確認する。
  • 近似手法：n が大きく p が小さいときはポアソン近似が有効。
  • 分割サンプリング：chunk パラメータで n を分割し、C の整数範囲に収める。
  • Generator の活用：新しい RNG を使い、例外が出たら自前実装へフォールバック。
  • バッチ処理：メモリ確保が難しい場合は size を分割して逐次生成。

これらを組み合わせれば、実務で遭遇するほとんどの OverflowError を回避し、安定した二項乱数生成が可能になります。

まとめ

本記事では、Python の二項分布乱数生成時に発生する OverflowError の原因と、実践的な回避策を体系的に整理しました。

  • 原因：n が C の long（64ビット環境では int64）上限を超えるための型変換失敗
  • 回避策：上限チェック、ポアソン近似、分割サンプリング、Generator のフォールバック、バッチ処理
  • 実装例：安全な safe_binomial、split_binomial、batched_binomial など具体的コードを提示

この知見を活かすことで、シミュレーションや大量データ生成の場面で安全に二項乱数を扱えるようになります。次回は「多項分布・ハイパー幾何分布に対する同様のオーバーフロー対策」と「GPU 上での乱数生成」について掘り下げる予定です。

参考資料