Complete Jessica voiceover for Katya and build DoOtboy 0.2.1

This commit is contained in:
Codex
2026-10-30 00:23:30 +02:00
parent b36d5acc8b
commit 23d4e49468
64 changed files with 2965 additions and 869 deletions
+79
View File
@@ -0,0 +1,79 @@
"""Install the verified Jessica recordings, preserving every mother's file.
Authoring helper; requires the local downloaded batch, timestamps and soundfile.
Does not call a paid API. The game ships with the resulting WAV files.
"""
from pathlib import Path
import hashlib
import json
import shutil
import sys
import wave
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "builds/python_audio"))
import soundfile as sf
def read(path):
return json.loads(path.read_text(encoding="utf-8"))
def digest(path):
return hashlib.sha256(path.read_bytes()).hexdigest()
def write(path, value):
path.write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
def main():
work = ROOT / "builds/jessica"
voiceover = ROOT / "voiceover/jessica"
game = ROOT / "do-otboy"
story = read(game / "data/phone_story.json")
metadata = read(game / "data/voice_manifest.json")
manifest = read(voiceover / "manifest.json")
original = {entry["id"]: entry for entry in manifest["ready"]}
assembly = read(work / "assembly.json")
aligned = read(work / "split/alignment.json")
segments = {entry["id"]: entry for entry in aligned}
assert len(segments) == 44
assert all(entry["reference_words"] == entry["matched_words"] for entry in aligned)
samples, rate = sf.read(work / "intro_09.mp3")
sf.write(work / "intro_09.wav", samples, rate, subtype="PCM_16")
mothers = {key: digest(game / "assets/voice" / (key + ".wav"))
for key, line in story["lines"].items() if line["speaker"] == "Мама"}
ready = []
for key, line in story["lines"].items():
if line["speaker"] != "Катя":
continue
if key in segments:
source = work / "split" / (key + ".wav")
provenance = dict(assembly["batch"], source_start=segments[key]["start"],
source_end=segments[key]["end"], matched_words=segments[key]["matched_words"])
elif key == "intro_09":
source = work / "intro_09.wav"
provenance = assembly["intro09"]
else:
source = voiceover / (key + ".wav")
provenance = {field: original[key][field] for field in ["generation_id", "node_id", "session_ids", "model_id"]}
with wave.open(str(source)) as audio:
assert audio.getsampwidth() == 2 and audio.getnframes() > 0, key
duration = round(audio.getnframes() / audio.getframerate(), 3)
target = game / "assets/voice" / (key + ".wav")
shutil.copyfile(source, target)
entry = dict(id=key, text=line["text"], voice_name=manifest["voice_name"],
voice_id=manifest["voice_id"], provider="ElevenLabs", **provenance,
wav_duration=duration, sha256=digest(target),
file="../../do-otboy/assets/voice/" + target.name)
ready.append(entry)
metadata[key] = dict(entry, speaker="Катя", voice=manifest["voice_name"],
file="assets/voice/" + target.name)
assert len(ready) == 48
assert all(digest(game / "assets/voice" / (key + ".wav")) == value for key, value in mothers.items())
manifest.update(status="complete", ready=ready, pending=[],
note="All 48 Katya lines installed. 44 split by word timestamps; all 337 script words matched. Mother unchanged.")
write(voiceover / "manifest.json", manifest)
write(voiceover / "alignment.json", aligned)
write(game / "data/voice_manifest.json", metadata)
print(f"Installed {len(ready)} Jessica lines; {len(mothers)} mother's recordings unchanged")
if __name__ == "__main__":
main()
+12 -6
View File
@@ -1,5 +1,5 @@
# Run with Windows PowerShell 5.1. Russian strings come from UTF-8 JSON.
param([string]$Only = '')
param([string]$Only = '', [switch]$ReplaceRecordedVoices)
$ErrorActionPreference = 'Stop'
Add-Type -AssemblyName System.Runtime.WindowsRuntime
$null = [Windows.Media.SpeechSynthesis.SpeechSynthesizer, Windows.Media.SpeechSynthesis, ContentType=WindowsRuntime]
@@ -14,9 +14,16 @@ $story = Get-Content -LiteralPath (Join-Path $project 'data/phone_story.json') -
$output = Join-Path $project 'assets/voice'
New-Item -ItemType Directory -Force -Path $output | Out-Null
$metadata = @{}
$manifestPath = Join-Path $project 'data/voice_manifest.json'
if (Test-Path -LiteralPath $manifestPath) {
$existing = Get-Content -LiteralPath $manifestPath -Raw -Encoding UTF8 | ConvertFrom-Json
foreach ($property in $existing.PSObject.Properties) { $metadata[$property.Name] = $property.Value }
}
$generatedCount = 0
foreach ($property in $story.lines.PSObject.Properties) {
$id = $property.Name
if ($Only -and $id -ne $Only) { continue }
if (-not $ReplaceRecordedVoices -and $metadata.ContainsKey($id) -and $metadata[$id].provider -eq 'ElevenLabs') { continue }
$entry = $property.Value
$daughter = $entry.speaker -eq $story.lines.intro_01.speaker
$synth.Options.SpeakingRate = $(if ($daughter) { 1.16 } else { 1.05 })
@@ -31,10 +38,9 @@ foreach ($property in $story.lines.PSObject.Properties) {
$file.Dispose()
$stream.Dispose()
$metadata[$id] = @{ voice = $voice.DisplayName; speaker = $entry.speaker; text = $entry.text; provider = 'Windows Speech / draft'; file = 'assets/voice/' + $id + '.wav' }
$generatedCount++
}
$synth.Dispose()
if (-not $Only) {
$json = $metadata | ConvertTo-Json -Depth 5
[IO.File]::WriteAllText((Join-Path $project 'data/voice_manifest.json'), $json, [Text.UTF8Encoding]::new($false))
}
Write-Output ('Generated ' + $metadata.Count + ' draft voice clips with ' + $voice.DisplayName)
$json = $metadata | ConvertTo-Json -Depth 8
[IO.File]::WriteAllText($manifestPath, $json, [Text.UTF8Encoding]::new($false))
Write-Output ('Generated ' + $generatedCount + ' draft voice clips with ' + $voice.DisplayName)
+20 -9
View File
@@ -2,19 +2,31 @@
from pathlib import Path
import hashlib
import zipfile
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--windows-dir", default="Windows")
parser.add_argument("--version", default="0.2.1")
args = parser.parse_args()
root = Path(__file__).resolve().parents[1]
builds = root / "builds"
windows = builds / "Windows"
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Windows.zip", "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
windows = builds / args.windows_dir
assert windows.resolve().is_relative_to(builds.resolve())
assert all(c in "0123456789." for c in args.version)
windows_zip = builds / f"DoOtboy_v{args.version}_Windows.zip"
source_zip = builds / f"DoOtboy_v{args.version}_Source.zip"
with zipfile.ZipFile(windows_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
for name in ("DoOtboy.exe", "README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt"):
archive.write(windows / name, "DoOtboy/" + name)
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip", "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
with zipfile.ZipFile(source_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
for name in ("README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt", "build.ps1", ".gitignore"):
archive.write(root / name, "DoOtboy/" + name)
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "package.py"):
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "package.py"):
archive.write(root / "tools" / name, "DoOtboy/tools/" + name)
for name in ("README_RU.md", "manifest.json", "alignment.json"):
archive.write(root / "voiceover/jessica" / name, "DoOtboy/voiceover/jessica/" + name)
for path in (root / "do-otboy").rglob("*"):
if not path.is_file() or ".godot" in path.parts or path.suffix == ".import":
continue
@@ -28,13 +40,12 @@ with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip", "w", zipfile.ZIP_DEFLAT
else:
archive.write(path, archive_name)
for name in ("DoOtboy_v0.2_Windows.zip", "DoOtboy_v0.2_Source.zip"):
path = builds / name
for path in (windows_zip, source_zip):
digest = hashlib.sha256(path.read_bytes()).hexdigest()
print(f"{name}: {path.stat().st_size:,} bytes; SHA256 {digest}")
print(f"{path.name}: {path.stat().st_size:,} bytes; SHA256 {digest}")
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Windows.zip") as archive:
with zipfile.ZipFile(windows_zip) as archive:
assert archive.testzip() is None
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip") as archive:
with zipfile.ZipFile(source_zip) as archive:
assert archive.testzip() is None
print("Both ZIP archives verified")
+90
View File
@@ -0,0 +1,90 @@
"""Split a voice batch against word timestamps; reject missing script words.
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY
Requires soundfile (the local build helper directory is also supported).
"""
from pathlib import Path
import difflib
import json
import re
import sys
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / "builds/python_audio"))
import soundfile as sf
DIGITS = dict(zip("0123456789", "ноль один два три четыре пять шесть семь восемь девять".split()))
def tokens(text):
result = []
for token in re.findall(r"[а-яёa-z0-9]+", text.lower().replace("ё", "е")):
result.extend([DIGITS[d] for d in token] if token.isdigit() else [token])
return result
def main():
audio_path, words_path, lines_path, output_path = map(Path, sys.argv[1:5])
data = json.loads(words_path.read_text(encoding="utf-8"))
words = data["words"] if isinstance(data, dict) else data
lines = json.loads(lines_path.read_text(encoding="utf-8"))
spoken, timing = [], []
for word in words:
if word.get("type", "word") != "word":
continue
for token in tokens(word["text"]):
spoken.append(token)
timing.append((float(word["start"]), float(word["end"])))
reference, spans = [], []
for line in lines:
start = len(reference)
reference.extend(tokens(line["text"]))
spans.append((start, len(reference)))
aligned = {}
matcher = difflib.SequenceMatcher(None, reference, spoken, autojunk=False)
for a, b, length in matcher.get_matching_blocks():
for i in range(length):
aligned[a + i] = b + i
mismatches = []
for tag, a, end_a, b, end_b in matcher.get_opcodes():
if tag != "equal":
mismatches.append(dict(kind=tag, reference=" ".join(reference[a:end_a]),
spoken=" ".join(spoken[b:end_b]), at_reference=a))
print(json.dumps({"reference_words": len(reference), "spoken_words": len(spoken),
"matched": len(aligned), "mismatches": mismatches}, ensure_ascii=False))
missing = [(line["id"], " ".join(reference[a:b])) for line, (a, b) in zip(lines, spans)
if any(i not in aligned for i in range(a, b))]
if missing:
raise SystemExit("Missing script words; no clips written: " + repr(missing))
boundaries = {point for span in spans for point in span}
if any(m["kind"] == "insert" and m["at_reference"] not in boundaries for m in mismatches):
raise SystemExit("Unexpected words inside a line; review the transcript before exporting")
samples, rate = sf.read(audio_path, always_2d=True)
samples = samples.mean(axis=1)
output_path.mkdir(parents=True, exist_ok=True)
report = []
for line, (a, b) in zip(lines, spans):
first, last = aligned[a], aligned[b - 1]
start = max(0, timing[first][0] - .10)
end = min(len(samples) / rate, timing[last][1] + .16)
if first > 0:
start = max(start, (timing[first - 1][1] + timing[first][0]) / 2)
if last + 1 < len(timing):
end = min(end, (timing[last][1] + timing[last + 1][0]) / 2)
clip = samples[round(start * rate):round(end * rate)].copy()
assert len(clip) > rate * .2, line["id"]
fade = min(round(.005 * rate), len(clip) // 4)
for i in range(fade):
clip[i] *= i / fade
clip[-i - 1] *= i / fade
peak = max(abs(clip))
if peak > .98:
clip *= .98 / peak
target = output_path / (line["id"] + ".wav")
sf.write(target, clip, rate, subtype="PCM_16")
report.append(dict(id=line["id"], text=line["text"], start=round(start, 3),
end=round(end, 3), duration=round(len(clip) / rate, 3),
reference_words=b - a, matched_words=b - a, file=target.name))
(output_path / "alignment.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Exported {len(report)} clips; every script word aligned")
if __name__ == "__main__":
main()
+2 -2
View File
@@ -213,7 +213,7 @@ target = ROOT / "do-otboy" / "data" / "phone_story.json"
target.parent.mkdir(parents=True, exist_ok=True)
target.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.1. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
for beat in intro:
entry = lines[beat["line"]]
doc.append(f"{beat['at'] // 60}:{beat['at'] % 60:02} — {entry['speaker']}: «{entry['text']}»")
@@ -232,7 +232,7 @@ for a in actions:
doc += ["", "## Исходы", "", "Пять исходов зависят от фактического места мамы и состояния связи в момент удара. Нет счёта за спасённых, наказания за доброту или утверждения, что правильная последовательность гарантирует выживание."]
for ending in endings.values():
doc += ["", "**" + ending["title"] + ".** " + ending["text"]]
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "ElevenLabs: запрошенный дубль не создан — подключённый сервис отклонил генерацию из-за отключённого Free Tier. Билд использует временный русский синтез Microsoft Irina (локальный Windows Speech). Для Кати и мамы заданы разные темп и высота. Это черновая озвучка для проверки ритма, не финальная актёрская работа. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). У мамы остаются 54 черновые реплики Microsoft Irina (локальный Windows Speech) с телефонным фильтром. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
(ROOT / "SCENARIO_RU.md").write_text("\n".join(doc) + "\n", encoding="utf-8")
with (ROOT / "SCENARIO_RU.md").open("a", encoding="utf-8") as output:
output.write("\n## Пять сообщений от подруги\n\nВ каждом звонке Аня присылает пять сообщений. Уведомление появляется поверх разговора, звучит короткий сигнал. Можно открыть переписку или закрыть баннер; чтение не останавливает время и не отменяет просьбу маме. Непрочитанное остаётся в переписке. Пятый пуш приходит через две секунды после удара, даже если уже открыт экран обрыва. Между попытками переписка начинается заново, а после обрыва доступна до следующего звонка.\n\n")