アークナイツのストーリーをPythonで朗読動画化する

7z x ファイル名

cd フォルダ名

./run

# VOICEVOXを用いたセリフ出力用関数
import os
import requests

ENGINE_URL = "http://localhost:50021" # VOICEVOXエンジンのURL
SPEAKER_ID = 14  # キャラクター選択（VOICEVOX:冥鳴ひまり https://voicevox.hiroshiba.jp）

def make_voicefile(filename, text):
    try:
        # 1. 音声合成用のクエリを作成
        query_response = requests.post(
            f"{ENGINE_URL}/audio_query",
            params={"text": text, "speaker": SPEAKER_ID}
        )
        query_response.raise_for_status()
        query = query_response.json()

        # 話し方調整
        query["speedScale"] = 1.0       # 話す速度
        query["pitchScale"] = 0.0       # 声の高さ
        query["volumeScale"] = 1.0      # 声の大きさ
        query["intonationScale"] = 1.0  # イントネーションの豊かさ
        query["pauseLength"] = None     # 間の広さ

        # 2. 音声データを生成
        synthesis_response = requests.post(
            f"{ENGINE_URL}/synthesis",
            params={"speaker": SPEAKER_ID},
            json=query
        )
        synthesis_response.raise_for_status()
        audio_data = synthesis_response.content

        # 3. WAVファイルとして保存
        os.makedirs("temp", exist_ok=True)
        with open(f"temp/{filename}.wav", "wb") as f:
            f.write(audio_data)

        # print(f"生成完了: temp/{filename}.wav")
        return filename

    except Exception as e:
        print(f"[ERROR] {filename}: {e}")
        return None

make_voicefile("filename", "こんにちは、これはテストです。")

# サブタイトル登録
input = """
待合室
RS-ST-1 幕間
乗車時のご注意
RS-1 戦闘前
乗車時のご注意
RS-1 戦闘後
同乗異心
RS-2 戦闘前
同乗異心
RS-2 戦闘後
臨時停車
RS-3 戦闘前
臨時停車
RS-3 戦闘後
軌道修正
RS-4 戦闘前
軌道修正
RS-4 戦闘後
登山鉄道
RS-ST-2 幕間
不正乗車？
RS-5 戦闘前
不正乗車？
RS-5 戦闘後
不正乗車の代償
RS-6 戦闘前
不正乗車の代償
RS-6 戦闘後
壊れたブレーキ
RS-7 戦闘前
壊れたブレーキ
RS-7 戦闘後
トップスピード
RS-8 戦闘前
トップスピード
RS-8 戦闘後
終点
RS-ST-3 幕間
""".split("\n")
subtitles = [input[i] + " " + input[i+1] for i in range(1, len(input)-1, 2)]

# エクセルの読み取り
import openpyxl

# ダウンロードしたエクセルをロードする
wb = openpyxl.load_workbook("act30side_銀心湖鉄道.xlsx")
sheet_names = wb.sheetnames

# ストーリーデータの読み取り
import re

# ストーリープロットを保存する配列
storyplots = []

# タブを順番に読み取ってプロットデータに保存する
for i in range(len(sheet_names)):
    subtitle = subtitles[i]
    ws = wb[sheet_names[i]]

    # シーン管理用のtempデータ→storyplotsの要素として追加していく
    seanMng = {
        "subtitle" : subtitle,
        "background" : "",
        "characters" : [], # シーン中で登場するキャラクター一覧
        "plots": [], # 字幕出力用テキストのリスト
        "voiceScript": [] # 音声出力用テキストのリスト
    }

    # ドクターの選択コマンドに関する処理を管理する
    preSpeaker = ""
    branchMode = {
        "faze": 0,
        "endFrag": [
            "--Decision--"
            "Option",
            ">Options",
            ">Options",
            "End of Options"
        ]
    }

    # 一行ずつ読み取り
    for r in range(1, ws.max_row):
        text = ws.cell(row=r, column=3).value
        speaker = ws.cell(row=r, column=2).value
        if speaker == None :
            speaker = ""
        elif speaker == "----":
            continue
        elif speaker in ["--background--", "--image--"]:
            # 背景変更タイミングをシーン切り替えとして記録
            if len(seanMng["characters"]) > 0:
                storyplots.append(seanMng)
            seanMng = {
                "subtitle" : subtitle,
                "background" : text,
                "characters" : [],
                "plots": [],
                "voiceScript": []
            }
            preSpeaker = ""
            continue
        if text == None:
            continue

        # 選択コマンドの管理
        if branchMode["faze"] == 0:
            if speaker == "--Decision--":
                branchMode["faze"] = 1
                continue
            elif speaker == "--Branch--":
                branchMode["faze"] = 3
                continue
        elif branchMode["faze"] == 1:
            if speaker.split("_")[0] != "Option":
                continue
            speaker = "ドクター"
            branchMode["faze"] = 2
        elif branchMode["faze"] == 2:
            if text.split("_")[0] == ">Options":
                branchMode["faze"] = 0
            continue
        elif branchMode["faze"] == 3:
            if text == "End of Options":
                branchMode["faze"] = 0
            continue
        
        # 不要なタグだった場合、スキップする
        if speaker in ["--imagetween--"]:
            continue
        if speaker[:2] == "--":
            print("スキップしました。未処理のタグがあります：", speaker)
            continue
        
        # タグの削除
        text = re.sub("<[^>]+>", '', text)

        # セリフの記録
        replaceSpaceSymbol = lambda text :re.sub("[……,|――]", "\n", text) # voiceScriptの間を取るタイミングは「\n」記号で統一
        if speaker == "":
            seanMng["plots"].append({"speaker":None, "text":text.replace("\n", "　")})
        elif speaker != preSpeaker:
            seanMng["plots"].append({"speaker":speaker, "text":text.replace("\n", "　")})
        else:
            seanMng["plots"].append({"speaker":"", "text":text.replace("\n", "　")})
        if not speaker in seanMng["characters"]:
            seanMng["characters"].append(speaker)
            seanMng["voiceScript"].append("\n" + speaker + "\n" + replaceSpaceSymbol(text))
        else:
            if speaker != preSpeaker:
                seanMng["voiceScript"].append("\n" + replaceSpaceSymbol(text))
            else:
                seanMng["voiceScript"].append(replaceSpaceSymbol(text))
        preSpeaker = speaker
    if len(seanMng["characters"]) > 0:
        storyplots.append(seanMng)

# データ整形
storyplotsResult = []
CharPerLine = 37 # 字幕の一行あたりの最大文字数
LinePerPage = 12 # １画面に収める最大行数

# 字幕を表示行ごとに分割したリストにする & 音声スクリプトをwav出力用リストに細分割する
for sp in storyplots:
    rowOfOutput = 0
    checkPoint = 0
    for i, item in enumerate(sp["plots"]):
        # 行をざっくり指定文字数で区切る
        speakerLen = 0 if item["speaker"] == None else len(item["speaker"])
        lineNum = 1 + (speakerLen + len(item["text"]) -1) / (CharPerLine-1)
        rowOfOutput += lineNum
        line1end = CharPerLine - speakerLen -1
        item["text"] = [item["text"][:line1end]] + [item["text"][j: j+(CharPerLine-1)] for j in range(line1end, len(item["text"]), CharPerLine-1)]
        if rowOfOutput >= LinePerPage:
            rowOfOutput = 0
            storyplotsResult.append({
                "subtitle" : sp["subtitle"],
                "background" : sp["background"],
                "characters" : sp["characters"],
                "plots": sp["plots"][checkPoint:i],
                "voiceScript": [x for row in sp["voiceScript"][checkPoint:i] for x in row.split("\n")] # \n*指定時間だけ間を取るために分割
            })
            checkPoint = i
            rowOfOutput = 0
    if rowOfOutput > 0:
        storyplotsResult.append({
            "subtitle" : sp["subtitle"],
            "background" : sp["background"],
            "characters" : sp["characters"],
            "plots": sp["plots"][checkPoint:],
            "voiceScript": [x for row in sp["voiceScript"][checkPoint:] for x in row.split("\n")]
        })

# 出力したセリフを結合する関数の定義
from pydub import AudioSegment
from concurrent.futures import ThreadPoolExecutor, as_completed

voiceMargin = 450 # 各インデックスの後ろに指定msの間を追加する

def connect_wav(start_index, end_index):
    combined_audio = AudioSegment.empty()
    previous_index = None

    for idx in range(start_index, end_index):
        filepath = f"temp/{idx}.wav"
        if os.path.exists(filepath):
            audio = AudioSegment.from_wav(filepath)

            # 間にあった空のセリフデータの分だけ間の時間を延長する
            if previous_index is not None:
                missing = idx - previous_index - 1
                gap_duration_ms = (missing + 1) * voiceMargin
                combined_audio += AudioSegment.silent(duration=gap_duration_ms)

            combined_audio += audio
            os.remove(filepath) # 結合済みのtempファイルを削除する
            # print(f"結合＆削除: {filepath}")
            previous_index = idx

    # 合成した音声ファイルを出力
    if len(combined_audio) > 0:
        os.makedirs("output", exist_ok=True)
        output_path = f'output/r_{end_index}.wav'
        combined_audio.export(output_path, format="wav")
        print(f"{output_path} を出力")
    else:
        print("有効な音声ファイルがありませんでした。")

# 音声出力メイン処理
wav_index = 0
pre_export_index = 0
max_workers = 5  # 並列実行数

for i, sp in enumerate(storyplotsResult):
    tasks = []
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        for text in sp["voiceScript"]:
            # 空でないセリフデータに対してのみ出力を実行する（空のセリフについては間を延長）
            if text.strip():
                future = executor.submit(make_voicefile, str(wav_index), text)
                tasks.append(future)
            wav_index += 1

        # 全タスクが終了するのを待機
        for future in as_completed(tasks):
            future.result()

    connect_wav(pre_export_index, wav_index)
    pre_export_index = wav_index
    storyplotsResult[i]["wavfile"] = f"r_{wav_index}.wav"

# 音声として出力したい場合
silence = AudioSegment.silent(duration=int(voiceMargin)) # 無音データ（pydubでミリ秒指定）

combined = AudioSegment.empty()
sidx = 0

for item in storyplotsResult:
    wavfile = item.get("wavfile")
    if wavfile  is None:
        continue

    if item["subtitle"] != subtitles[sidx]:
        output_path = os.path.join("output", f"{sidx}_{subtitles[sidx]}.wav")
        combined.export(output_path, format="wav")
        print(f"結合済み音声ファイルを出力しました: {output_path}")
        combined = AudioSegment.empty()
        sidx += 1

    filename = os.path.join("output", f"{wavfile}")
    if os.path.exists(filename):
        audio = AudioSegment.from_wav(filename)
        if len(combined) > 0:
            combined += silence  # 前に音声がある場合のみ無音を挿入
        combined += audio

# 背景画像のダウンロード
import os
import requests
from urllib.parse import urlparse

temp_dir = "img"
os.makedirs(temp_dir, exist_ok=True)

# Aceship氏のリポジトリに未保存の画像については、Fexli氏のリポジトリから取得させて頂く
fallback_base_url = "https://raw.githubusercontent.com/fexli/ArknightsResource/main/avgs/"
readList = []

for idx, item in enumerate(storyplotsResult):
    bg_url = item["background"]
    # URL末尾のファイル名を取得
    filename = os.path.basename(urlparse(bg_url).path)
    save_path = os.path.join(temp_dir, filename)
    storyplotsResult[idx]["imgFile"] = filename
    dir = "bg/" if bg_url.split("/")[-2] == "backgrounds" else "" # Aceship氏のディレクトリ調整

    # すでに存在する場合はスキップ
    if filename in readList:
        # print(f"スキップ: {save_path}（既に存在）")
        continue

    # 1回目：オリジナルURL（Aceship氏のリポジトリ）でダウンロード
    response = requests.get(bg_url)
    if response.status_code == 200:
        with open(save_path, "wb") as f:
            f.write(response.content)
        print(f"保存しました: {save_path}（from:Aceship）")
    else:
        # 2回目：Fexli氏のリポジトリで再試行
        fallback_url = fallback_base_url + dir + filename
        response = requests.get(fallback_url)
        if response.status_code == 200:
            with open(save_path, "wb") as f:
                f.write(response.content)
            print(f"保存しました: {save_path}（from:Fexli）")
        else:
            print(f"ダウンロード失敗: {bg_url} および {fallback_url}")

    # ファイル名を読み込み済みリストに追加
    readList.append(filename)

# 背景画像を少し暗くする(字幕が見えやすいように)
import cv2

for imgname in readList:
    img_path = os.path.join("img", imgname)
    image = cv2.imread(img_path)
    adjusted_image = cv2.convertScaleAbs(image, alpha=0.6, beta=0)
    cv2.imwrite("temp/" + imgname, adjusted_image)

# タイムライン出力
import os
from pydub import AudioSegment

output_dir = "output"
fps = 30
frame_multiplier = fps
wavMaeginFrame = (voiceMargin*fps // 1000) # 音声ファイル間に空白を設ける

video_clipitems = []
audio_clipitems = []
current_frame = 0
seen_images = set()

header = (
    '<?xml version="1.0" encoding="UTF-8"?>\n'
    '<!DOCTYPE xmeml>\n'
    '<xmeml version="5">\n'
    '    <sequence>\n'
    '        <name>Timeline 1 (Resolve) (Resolve) (Resolve)</name>\n'
    '        <rate>\n'
    '            <timebase>30</timebase>\n'
    '        </rate>\n'
        '<media>\n'
        '    <video>\n'
        '        <track>\n'
)

footer = (
        '        </track>\n'
        '        <format>\n'
        '            <samplecharacteristics>\n'
        '                <width>1920</width>\n'
        '                <height>1080</height>\n'
        '                <pixelaspectratio>square</pixelaspectratio>\n'
        '            </samplecharacteristics>\n'
        '        </format>\n'
        '    </video>\n'
        '    <audio>\n'
        '        <track>\n'
)

end = (
        '        </track>\n'
        '    </audio>\n'
        '</media>\n'
    '</sequence>\n'
'</xmeml>\n'
)

for idx, item in enumerate(storyplotsResult):
    wav_path = os.path.abspath(os.path.join(output_dir, item["wavfile"]))
    if not os.path.exists(wav_path):
        print(f"警告: {wav_path} が存在しません。スキップします。")
        continue

    bg_path = os.path.abspath(os.path.join("temp", item["imgFile"]))
    if not os.path.exists(bg_path):
        print(f"警告: {bg_path} が存在しません。")
        bg_path = os.path.join("img", "bg_black.png")

    audio = AudioSegment.from_wav(wav_path)
    duration_sec = audio.duration_seconds
    duration_frames = int(duration_sec * frame_multiplier)
    start = current_frame
    endf = current_frame + duration_frames
    out = duration_frames if duration_frames > 0 else 1
    storyplotsResult[idx]["frameRange"] = [start, endf + wavMaeginFrame]

    # Video clipitem
    img_filename = os.path.basename(bg_path)
    if img_filename not in seen_images:
        video_clipitems.append(
            f"""            <clipitem>
                <start>{start}</start>
                <end>{endf + wavMaeginFrame}</end>
                <in>0</in>
                <out>{out + wavMaeginFrame}</out>
                <file id="{img_filename} media">
                    <pathurl>file://{bg_path}</pathurl>
                </file>
            </clipitem>\n"""
        )
        seen_images.add(img_filename)
    else:
        video_clipitems.append(
            f"""            <clipitem>
                <start>{start}</start>
                <end>{endf + wavMaeginFrame}</end>
                <in>0</in>
                <out>{out + wavMaeginFrame}</out>
                <file id="{img_filename} media"/>
            </clipitem>\n"""
        )

    # Audio clipitem
    wav_filename = os.path.basename(wav_path)
    audio_clipitems.append(
        f"""            <clipitem>
                <start>{start}</start>
                <end>{endf}</end>
                <in>0</in>
                <out>{out}</out>
                <file id="{wav_filename} media">
                    <pathurl>file://{wav_path}</pathurl>
                </file>
                <sourcetrack>
                    <mediatype>audio</mediatype>
                    <trackindex>1</trackindex>
                </sourcetrack>
            </clipitem>\n"""
    )

    current_frame = endf + wavMaeginFrame

xml_content = (
    header +
    "".join(video_clipitems) +
    footer +
    "".join(audio_clipitems) +
    end
)

os.makedirs(output_dir, exist_ok=True)
output_path = os.path.join(output_dir, "autogenerated_timeline.xml")
with open(output_path, "w", encoding="utf-8") as f:
    f.write(xml_content)

print(f"Final Cut Pro XMLを書き出しました: {output_path}")

# 字幕出力
import os
from pydub import AudioSegment

output_dir = "output"
fps = 30  # フレームレート

srt_lines = []
current_frame = 0
subtitle_idx = 1

def sec_to_srt_time(sec):
    hours = int(sec // 3600)
    minutes = int((sec % 3600) // 60)
    seconds = int(sec % 60)
    milliseconds = int((sec - int(sec)) * 1000)
    return f"{hours:02}:{minutes:02}:{seconds:02},{milliseconds:03}"

for idx, item in enumerate(storyplotsResult):
    # item["frameRange"] = [500*idx, 500*idx+499] # 字幕表示テスト用
    start_time, end_time = map(lambda f: f/fps, item["frameRange"])
    start_str = sec_to_srt_time(start_time)
    end_str = sec_to_srt_time(end_time)

    srt_lines.append(f"{subtitle_idx}")
    srt_lines.append(f"{start_str} --> {end_str}")
    srt_lines.append(f"【{item['subtitle']}】")

    # タグ装飾を施す
    for plot in item["plots"]:
        if plot["speaker"] == None:
            subtitle_text = "\n".join(plot["text"])
        elif plot["speaker"] == "":
            subtitle_text = "\u3000" + "\n\u3000".join(plot["text"]) + ""
        else:
            subtitle_text = "<u>" + plot["speaker"] + "</u>\u3000" + "\n\u3000".join(plot["text"])

        srt_lines.append(subtitle_text)

    srt_lines.append("")  # 空行
    subtitle_idx += 1

srt_output_path = os.path.join(output_dir, "autogenerated_subtitles.srt")
with open(srt_output_path, "w", encoding="utf-8") as f:
    f.write("\n".join(srt_lines))

print(f"SRT字幕ファイルを出力しました: {srt_output_path}")