Complete Jessica voiceover for Katya and build DoOtboy 0.2.1
This commit is contained in:
@@ -0,0 +1,79 @@
|
||||
"""Install the verified Jessica recordings, preserving every mother's file.
|
||||
|
||||
Authoring helper; requires the local downloaded batch, timestamps and soundfile.
|
||||
Does not call a paid API. The game ships with the resulting WAV files.
|
||||
"""
|
||||
from pathlib import Path
|
||||
import hashlib
|
||||
import json
|
||||
import shutil
|
||||
import sys
|
||||
import wave
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / "builds/python_audio"))
|
||||
import soundfile as sf
|
||||
|
||||
def read(path):
|
||||
return json.loads(path.read_text(encoding="utf-8"))
|
||||
|
||||
def digest(path):
|
||||
return hashlib.sha256(path.read_bytes()).hexdigest()
|
||||
|
||||
def write(path, value):
|
||||
path.write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
|
||||
def main():
|
||||
work = ROOT / "builds/jessica"
|
||||
voiceover = ROOT / "voiceover/jessica"
|
||||
game = ROOT / "do-otboy"
|
||||
story = read(game / "data/phone_story.json")
|
||||
metadata = read(game / "data/voice_manifest.json")
|
||||
manifest = read(voiceover / "manifest.json")
|
||||
original = {entry["id"]: entry for entry in manifest["ready"]}
|
||||
assembly = read(work / "assembly.json")
|
||||
aligned = read(work / "split/alignment.json")
|
||||
segments = {entry["id"]: entry for entry in aligned}
|
||||
assert len(segments) == 44
|
||||
assert all(entry["reference_words"] == entry["matched_words"] for entry in aligned)
|
||||
samples, rate = sf.read(work / "intro_09.mp3")
|
||||
sf.write(work / "intro_09.wav", samples, rate, subtype="PCM_16")
|
||||
mothers = {key: digest(game / "assets/voice" / (key + ".wav"))
|
||||
for key, line in story["lines"].items() if line["speaker"] == "Мама"}
|
||||
ready = []
|
||||
for key, line in story["lines"].items():
|
||||
if line["speaker"] != "Катя":
|
||||
continue
|
||||
if key in segments:
|
||||
source = work / "split" / (key + ".wav")
|
||||
provenance = dict(assembly["batch"], source_start=segments[key]["start"],
|
||||
source_end=segments[key]["end"], matched_words=segments[key]["matched_words"])
|
||||
elif key == "intro_09":
|
||||
source = work / "intro_09.wav"
|
||||
provenance = assembly["intro09"]
|
||||
else:
|
||||
source = voiceover / (key + ".wav")
|
||||
provenance = {field: original[key][field] for field in ["generation_id", "node_id", "session_ids", "model_id"]}
|
||||
with wave.open(str(source)) as audio:
|
||||
assert audio.getsampwidth() == 2 and audio.getnframes() > 0, key
|
||||
duration = round(audio.getnframes() / audio.getframerate(), 3)
|
||||
target = game / "assets/voice" / (key + ".wav")
|
||||
shutil.copyfile(source, target)
|
||||
entry = dict(id=key, text=line["text"], voice_name=manifest["voice_name"],
|
||||
voice_id=manifest["voice_id"], provider="ElevenLabs", **provenance,
|
||||
wav_duration=duration, sha256=digest(target),
|
||||
file="../../do-otboy/assets/voice/" + target.name)
|
||||
ready.append(entry)
|
||||
metadata[key] = dict(entry, speaker="Катя", voice=manifest["voice_name"],
|
||||
file="assets/voice/" + target.name)
|
||||
assert len(ready) == 48
|
||||
assert all(digest(game / "assets/voice" / (key + ".wav")) == value for key, value in mothers.items())
|
||||
manifest.update(status="complete", ready=ready, pending=[],
|
||||
note="All 48 Katya lines installed. 44 split by word timestamps; all 337 script words matched. Mother unchanged.")
|
||||
write(voiceover / "manifest.json", manifest)
|
||||
write(voiceover / "alignment.json", aligned)
|
||||
write(game / "data/voice_manifest.json", metadata)
|
||||
print(f"Installed {len(ready)} Jessica lines; {len(mothers)} mother's recordings unchanged")
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -1,5 +1,5 @@
|
||||
# Run with Windows PowerShell 5.1. Russian strings come from UTF-8 JSON.
|
||||
param([string]$Only = '')
|
||||
param([string]$Only = '', [switch]$ReplaceRecordedVoices)
|
||||
$ErrorActionPreference = 'Stop'
|
||||
Add-Type -AssemblyName System.Runtime.WindowsRuntime
|
||||
$null = [Windows.Media.SpeechSynthesis.SpeechSynthesizer, Windows.Media.SpeechSynthesis, ContentType=WindowsRuntime]
|
||||
@@ -14,9 +14,16 @@ $story = Get-Content -LiteralPath (Join-Path $project 'data/phone_story.json') -
|
||||
$output = Join-Path $project 'assets/voice'
|
||||
New-Item -ItemType Directory -Force -Path $output | Out-Null
|
||||
$metadata = @{}
|
||||
$manifestPath = Join-Path $project 'data/voice_manifest.json'
|
||||
if (Test-Path -LiteralPath $manifestPath) {
|
||||
$existing = Get-Content -LiteralPath $manifestPath -Raw -Encoding UTF8 | ConvertFrom-Json
|
||||
foreach ($property in $existing.PSObject.Properties) { $metadata[$property.Name] = $property.Value }
|
||||
}
|
||||
$generatedCount = 0
|
||||
foreach ($property in $story.lines.PSObject.Properties) {
|
||||
$id = $property.Name
|
||||
if ($Only -and $id -ne $Only) { continue }
|
||||
if (-not $ReplaceRecordedVoices -and $metadata.ContainsKey($id) -and $metadata[$id].provider -eq 'ElevenLabs') { continue }
|
||||
$entry = $property.Value
|
||||
$daughter = $entry.speaker -eq $story.lines.intro_01.speaker
|
||||
$synth.Options.SpeakingRate = $(if ($daughter) { 1.16 } else { 1.05 })
|
||||
@@ -31,10 +38,9 @@ foreach ($property in $story.lines.PSObject.Properties) {
|
||||
$file.Dispose()
|
||||
$stream.Dispose()
|
||||
$metadata[$id] = @{ voice = $voice.DisplayName; speaker = $entry.speaker; text = $entry.text; provider = 'Windows Speech / draft'; file = 'assets/voice/' + $id + '.wav' }
|
||||
$generatedCount++
|
||||
}
|
||||
$synth.Dispose()
|
||||
if (-not $Only) {
|
||||
$json = $metadata | ConvertTo-Json -Depth 5
|
||||
[IO.File]::WriteAllText((Join-Path $project 'data/voice_manifest.json'), $json, [Text.UTF8Encoding]::new($false))
|
||||
}
|
||||
Write-Output ('Generated ' + $metadata.Count + ' draft voice clips with ' + $voice.DisplayName)
|
||||
$json = $metadata | ConvertTo-Json -Depth 8
|
||||
[IO.File]::WriteAllText($manifestPath, $json, [Text.UTF8Encoding]::new($false))
|
||||
Write-Output ('Generated ' + $generatedCount + ' draft voice clips with ' + $voice.DisplayName)
|
||||
|
||||
@@ -2,19 +2,31 @@
|
||||
from pathlib import Path
|
||||
import hashlib
|
||||
import zipfile
|
||||
import argparse
|
||||
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("--windows-dir", default="Windows")
|
||||
parser.add_argument("--version", default="0.2.1")
|
||||
args = parser.parse_args()
|
||||
|
||||
root = Path(__file__).resolve().parents[1]
|
||||
builds = root / "builds"
|
||||
windows = builds / "Windows"
|
||||
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Windows.zip", "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
|
||||
windows = builds / args.windows_dir
|
||||
assert windows.resolve().is_relative_to(builds.resolve())
|
||||
assert all(c in "0123456789." for c in args.version)
|
||||
windows_zip = builds / f"DoOtboy_v{args.version}_Windows.zip"
|
||||
source_zip = builds / f"DoOtboy_v{args.version}_Source.zip"
|
||||
with zipfile.ZipFile(windows_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
|
||||
for name in ("DoOtboy.exe", "README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt"):
|
||||
archive.write(windows / name, "DoOtboy/" + name)
|
||||
|
||||
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip", "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
|
||||
with zipfile.ZipFile(source_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
|
||||
for name in ("README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt", "build.ps1", ".gitignore"):
|
||||
archive.write(root / name, "DoOtboy/" + name)
|
||||
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "package.py"):
|
||||
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "package.py"):
|
||||
archive.write(root / "tools" / name, "DoOtboy/tools/" + name)
|
||||
for name in ("README_RU.md", "manifest.json", "alignment.json"):
|
||||
archive.write(root / "voiceover/jessica" / name, "DoOtboy/voiceover/jessica/" + name)
|
||||
for path in (root / "do-otboy").rglob("*"):
|
||||
if not path.is_file() or ".godot" in path.parts or path.suffix == ".import":
|
||||
continue
|
||||
@@ -28,13 +40,12 @@ with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip", "w", zipfile.ZIP_DEFLAT
|
||||
else:
|
||||
archive.write(path, archive_name)
|
||||
|
||||
for name in ("DoOtboy_v0.2_Windows.zip", "DoOtboy_v0.2_Source.zip"):
|
||||
path = builds / name
|
||||
for path in (windows_zip, source_zip):
|
||||
digest = hashlib.sha256(path.read_bytes()).hexdigest()
|
||||
print(f"{name}: {path.stat().st_size:,} bytes; SHA256 {digest}")
|
||||
print(f"{path.name}: {path.stat().st_size:,} bytes; SHA256 {digest}")
|
||||
|
||||
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Windows.zip") as archive:
|
||||
with zipfile.ZipFile(windows_zip) as archive:
|
||||
assert archive.testzip() is None
|
||||
with zipfile.ZipFile(builds / "DoOtboy_v0.2_Source.zip") as archive:
|
||||
with zipfile.ZipFile(source_zip) as archive:
|
||||
assert archive.testzip() is None
|
||||
print("Both ZIP archives verified")
|
||||
|
||||
@@ -0,0 +1,90 @@
|
||||
"""Split a voice batch against word timestamps; reject missing script words.
|
||||
|
||||
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY
|
||||
Requires soundfile (the local build helper directory is also supported).
|
||||
"""
|
||||
from pathlib import Path
|
||||
import difflib
|
||||
import json
|
||||
import re
|
||||
import sys
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / "builds/python_audio"))
|
||||
import soundfile as sf
|
||||
|
||||
DIGITS = dict(zip("0123456789", "ноль один два три четыре пять шесть семь восемь девять".split()))
|
||||
|
||||
def tokens(text):
|
||||
result = []
|
||||
for token in re.findall(r"[а-яёa-z0-9]+", text.lower().replace("ё", "е")):
|
||||
result.extend([DIGITS[d] for d in token] if token.isdigit() else [token])
|
||||
return result
|
||||
|
||||
def main():
|
||||
audio_path, words_path, lines_path, output_path = map(Path, sys.argv[1:5])
|
||||
data = json.loads(words_path.read_text(encoding="utf-8"))
|
||||
words = data["words"] if isinstance(data, dict) else data
|
||||
lines = json.loads(lines_path.read_text(encoding="utf-8"))
|
||||
spoken, timing = [], []
|
||||
for word in words:
|
||||
if word.get("type", "word") != "word":
|
||||
continue
|
||||
for token in tokens(word["text"]):
|
||||
spoken.append(token)
|
||||
timing.append((float(word["start"]), float(word["end"])))
|
||||
reference, spans = [], []
|
||||
for line in lines:
|
||||
start = len(reference)
|
||||
reference.extend(tokens(line["text"]))
|
||||
spans.append((start, len(reference)))
|
||||
aligned = {}
|
||||
matcher = difflib.SequenceMatcher(None, reference, spoken, autojunk=False)
|
||||
for a, b, length in matcher.get_matching_blocks():
|
||||
for i in range(length):
|
||||
aligned[a + i] = b + i
|
||||
mismatches = []
|
||||
for tag, a, end_a, b, end_b in matcher.get_opcodes():
|
||||
if tag != "equal":
|
||||
mismatches.append(dict(kind=tag, reference=" ".join(reference[a:end_a]),
|
||||
spoken=" ".join(spoken[b:end_b]), at_reference=a))
|
||||
print(json.dumps({"reference_words": len(reference), "spoken_words": len(spoken),
|
||||
"matched": len(aligned), "mismatches": mismatches}, ensure_ascii=False))
|
||||
missing = [(line["id"], " ".join(reference[a:b])) for line, (a, b) in zip(lines, spans)
|
||||
if any(i not in aligned for i in range(a, b))]
|
||||
if missing:
|
||||
raise SystemExit("Missing script words; no clips written: " + repr(missing))
|
||||
boundaries = {point for span in spans for point in span}
|
||||
if any(m["kind"] == "insert" and m["at_reference"] not in boundaries for m in mismatches):
|
||||
raise SystemExit("Unexpected words inside a line; review the transcript before exporting")
|
||||
samples, rate = sf.read(audio_path, always_2d=True)
|
||||
samples = samples.mean(axis=1)
|
||||
output_path.mkdir(parents=True, exist_ok=True)
|
||||
report = []
|
||||
for line, (a, b) in zip(lines, spans):
|
||||
first, last = aligned[a], aligned[b - 1]
|
||||
start = max(0, timing[first][0] - .10)
|
||||
end = min(len(samples) / rate, timing[last][1] + .16)
|
||||
if first > 0:
|
||||
start = max(start, (timing[first - 1][1] + timing[first][0]) / 2)
|
||||
if last + 1 < len(timing):
|
||||
end = min(end, (timing[last][1] + timing[last + 1][0]) / 2)
|
||||
clip = samples[round(start * rate):round(end * rate)].copy()
|
||||
assert len(clip) > rate * .2, line["id"]
|
||||
fade = min(round(.005 * rate), len(clip) // 4)
|
||||
for i in range(fade):
|
||||
clip[i] *= i / fade
|
||||
clip[-i - 1] *= i / fade
|
||||
peak = max(abs(clip))
|
||||
if peak > .98:
|
||||
clip *= .98 / peak
|
||||
target = output_path / (line["id"] + ".wav")
|
||||
sf.write(target, clip, rate, subtype="PCM_16")
|
||||
report.append(dict(id=line["id"], text=line["text"], start=round(start, 3),
|
||||
end=round(end, 3), duration=round(len(clip) / rate, 3),
|
||||
reference_words=b - a, matched_words=b - a, file=target.name))
|
||||
(output_path / "alignment.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
print(f"Exported {len(report)} clips; every script word aligned")
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -213,7 +213,7 @@ target = ROOT / "do-otboy" / "data" / "phone_story.json"
|
||||
target.parent.mkdir(parents=True, exist_ok=True)
|
||||
target.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
|
||||
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
|
||||
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.1. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
|
||||
for beat in intro:
|
||||
entry = lines[beat["line"]]
|
||||
doc.append(f"{beat['at'] // 60}:{beat['at'] % 60:02} — {entry['speaker']}: «{entry['text']}»")
|
||||
@@ -232,7 +232,7 @@ for a in actions:
|
||||
doc += ["", "## Исходы", "", "Пять исходов зависят от фактического места мамы и состояния связи в момент удара. Нет счёта за спасённых, наказания за доброту или утверждения, что правильная последовательность гарантирует выживание."]
|
||||
for ending in endings.values():
|
||||
doc += ["", "**" + ending["title"] + ".** " + ending["text"]]
|
||||
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "ElevenLabs: запрошенный дубль не создан — подключённый сервис отклонил генерацию из-за отключённого Free Tier. Билд использует временный русский синтез Microsoft Irina (локальный Windows Speech). Для Кати и мамы заданы разные темп и высота. Это черновая озвучка для проверки ритма, не финальная актёрская работа. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
|
||||
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). У мамы остаются 54 черновые реплики Microsoft Irina (локальный Windows Speech) с телефонным фильтром. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
|
||||
(ROOT / "SCENARIO_RU.md").write_text("\n".join(doc) + "\n", encoding="utf-8")
|
||||
with (ROOT / "SCENARIO_RU.md").open("a", encoding="utf-8") as output:
|
||||
output.write("\n## Пять сообщений от подруги\n\nВ каждом звонке Аня присылает пять сообщений. Уведомление появляется поверх разговора, звучит короткий сигнал. Можно открыть переписку или закрыть баннер; чтение не останавливает время и не отменяет просьбу маме. Непрочитанное остаётся в переписке. Пятый пуш приходит через две секунды после удара, даже если уже открыт экран обрыва. Между попытками переписка начинается заново, а после обрыва доступна до следующего звонка.\n\n")
|
||||
|
||||
Reference in New Issue
Block a user