Voice mother with Carol and synchronize all call events

This commit is contained in:
Codex
2026-10-30 00:43:57 +02:00
parent 23d4e49468
commit eaefde2e07
124 changed files with 7903 additions and 2241 deletions
+63
View File
@@ -0,0 +1,63 @@
"""Install verified, word-aligned Carol/Jessica batches; no network/API calls."""
from pathlib import Path
import hashlib
import json
import shutil
import wave
ROOT = Path(__file__).resolve().parents[1]
WORK = ROOT / "builds/carol"
GAME = ROOT / "do-otboy"
def read(path):
return json.loads(path.read_text(encoding="utf-8"))
def write(path, data):
path.parent.mkdir(parents=True, exist_ok=True)
path.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
def main():
story = read(GAME / "data/phone_story.json")
score = {line["id"]: line for line in read(ROOT / "voiceover/performance.json")["lines"]}
assembly = read(WORK / "assembly.json")
metadata, alignments, prepared = {}, {}, []
# Validate everything before changing a production voice.
for batch, source in assembly.items():
segments = read(WORK / (batch + "_split/alignment.json"))
alignments[batch] = segments
for segment in segments:
key = segment["id"]
assert key not in metadata, key
line = story["lines"][key]
assert segment["text"] == line["text"], key
assert segment["reference_words"] == segment["matched_words"], key
path = WORK / (batch + "_split") / (key + ".wav")
with wave.open(str(path)) as wav:
assert wav.getsampwidth() == 2 and wav.getnchannels() == 1 and wav.getnframes() > 0
duration = wav.getnframes() / wav.getframerate()
metadata[key] = dict(id=key, **line, provider="ElevenLabs", **source,
voice=source["voice_name"], file="assets/voice/" + path.name,
source_start=segment["start"], source_end=segment["end"],
wav_duration=round(duration, 3),
sha256=hashlib.sha256(path.read_bytes()).hexdigest(),
direction=score[key]["direction"], tts_text=score[key]["tts_text"],
pronunciation=score[key]["pronunciation"])
prepared.append((path, GAME / "assets/voice" / path.name))
assert set(metadata) == set(story["lines"]), "All 102 lines must be ready"
for source, destination in prepared:
shutil.copyfile(source, destination)
write(GAME / "data/voice_manifest.json", metadata)
write(ROOT / "voiceover/alignment.json", alignments)
for character, speaker in [("carol", "Мама"), ("jessica", "Катя")]:
entries = [dict(item, file="../../do-otboy/" + item["file"])
for item in metadata.values() if item["speaker"] == speaker]
write(ROOT / "voiceover" / character / "manifest.json",
dict(status="complete", version="0.2.2", voice_id=entries[0]["voice_id"],
voice_name=entries[0]["voice_name"], ready=entries, pending=[]))
write(ROOT / "voiceover" / character / "alignment.json",
[entry for batch in alignments.values() for entry in batch
if story["lines"][entry["id"]]["speaker"] == speaker])
print("Installed", len(metadata), "directed lines: Carol 54, Jessica 48")
if __name__ == "__main__":
main()
+5 -4
View File
@@ -6,7 +6,7 @@ import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--windows-dir", default="Windows")
parser.add_argument("--version", default="0.2.1")
parser.add_argument("--version", default="0.2.2")
args = parser.parse_args()
root = Path(__file__).resolve().parents[1]
@@ -23,10 +23,11 @@ with zipfile.ZipFile(windows_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as
with zipfile.ZipFile(source_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
for name in ("README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt", "build.ps1", ".gitignore"):
archive.write(root / name, "DoOtboy/" + name)
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "package.py"):
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "write_voice_direction.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "install_directed_voices.py", "package.py"):
archive.write(root / "tools" / name, "DoOtboy/tools/" + name)
for name in ("README_RU.md", "manifest.json", "alignment.json"):
archive.write(root / "voiceover/jessica" / name, "DoOtboy/voiceover/jessica/" + name)
for path in (root / "voiceover").rglob("*"):
if path.is_file() and path.suffix in (".md", ".json"):
archive.write(path, "DoOtboy/" + path.relative_to(root).as_posix())
for path in (root / "do-otboy").rglob("*"):
if not path.is_file() or ".godot" in path.parts or path.suffix == ".import":
continue
+15 -2
View File
@@ -1,6 +1,6 @@
"""Split a voice batch against word timestamps; reject missing script words.
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY [SCORE_JSON]
Requires soundfile (the local build helper directory is also supported).
"""
from pathlib import Path
@@ -26,11 +26,24 @@ def main():
data = json.loads(words_path.read_text(encoding="utf-8"))
words = data["words"] if isinstance(data, dict) else data
lines = json.loads(lines_path.read_text(encoding="utf-8"))
pronunciations = {}
if len(sys.argv) > 5:
score = json.loads(Path(sys.argv[5]).read_text(encoding="utf-8"))
pronunciations = score["pronunciation"]
spoken, timing = [], []
in_tag = False
for word in words:
if word.get("type", "word") != "word":
continue
for token in tokens(word["text"]):
text = word["text"]
# The provider may retain direction tags and IPA in its timed output.
# Tags are metadata, not dialogue; map IPA back to the caption word.
if text.startswith("[") or in_tag:
in_tag = "]" not in text
continue
for spelling, ipa in pronunciations.items():
text = text.replace(ipa, spelling)
for token in tokens(text):
spoken.append(token)
timing.append((float(word["start"]), float(word["end"])))
reference, spans = [], []
+5 -4
View File
@@ -18,7 +18,7 @@ intro_line(12, "intro_02", "Мама", "Чай поставила. Хотела
intro_line(21, "intro_03", "Катя", "Обычный. Автобус долго ждала. У тебя телевизор так громко работает?")
intro_line(30, "intro_04", "Мама", "Сейчас убавлю. Я его больше для голоса включаю. Так в квартире не пусто.")
intro_line(40, "intro_05", "Катя", "Я в воскресенье приеду. Привезти тебе что-нибудь?")
intro_line(48, "intro_06", "Мама", "Свет моргнул. И сирена опять. Чайник уже закипел, сейчас отойду от кухни.")
intro_line(51, "intro_06", "Мама", "Совсем темно. Чайник уже закипел. Сейчас отойду от кухни.")
intro_line(60, "intro_07", "Катя", "Мам, ты меня слышишь? Я говорю, в воскресенье приеду.")
intro_line(69, "intro_08", "Мама", "Слышу. Ничего не покупай. Просто приезжай. У меня твоя чашка так и стоит.")
intro_line(81, "intro_09", "Катя", "Хорошо. Я тогда утром позвоню, когда выеду.")
@@ -206,14 +206,15 @@ notifications = [
{"at": 76, "text": "Ты читала новости? Там переговоры, походу скоро все закончится"},
{"at": 92, "text": "Кать в твой дом походу попали..."},
]
data = dict(version=2, duration=90, lines=lines, intro=intro, facts=facts,
timeline = dict(alarm=24, power=45, hum=85, impact=90)
data = dict(version=3, duration=timeline["impact"], timeline=timeline, lines=lines, intro=intro, facts=facts,
actions=actions, chapters=chapters, endings=endings,
friend="Аня", notifications=notifications)
target = ROOT / "do-otboy" / "data" / "phone_story.json"
target.parent.mkdir(parents=True, exist_ok=True)
target.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.1. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.2. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Во всех звонках сирена начинается на 24-й секунде; все четыре внешних события совпадают при каждом повторе. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
for beat in intro:
entry = lines[beat["line"]]
doc.append(f"{beat['at'] // 60}:{beat['at'] % 60:02} — {entry['speaker']}: «{entry['text']}»")
@@ -232,7 +233,7 @@ for a in actions:
doc += ["", "## Исходы", "", "Пять исходов зависят от фактического места мамы и состояния связи в момент удара. Нет счёта за спасённых, наказания за доброту или утверждения, что правильная последовательность гарантирует выживание."]
for ending in endings.values():
doc += ["", "**" + ending["title"] + ".** " + ending["text"]]
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). У мамы остаются 54 черновые реплики Microsoft Irina (локальный Windows Speech) с телефонным фильтром. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). Все 54 реплики мамы озвучены Carol — Relatable, Real, Likeable Grandma. Для обеих героинь прописаны интонационные задачи, паузы и произношение сложных слов; телефонный фильтр применяется к маме. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
(ROOT / "SCENARIO_RU.md").write_text("\n".join(doc) + "\n", encoding="utf-8")
with (ROOT / "SCENARIO_RU.md").open("a", encoding="utf-8") as output:
output.write("\n## Пять сообщений от подруги\n\nВ каждом звонке Аня присылает пять сообщений. Уведомление появляется поверх разговора, звучит короткий сигнал. Можно открыть переписку или закрыть баннер; чтение не останавливает время и не отменяет просьбу маме. Непрочитанное остаётся в переписке. Пятый пуш приходит через две секунды после удара, даже если уже открыт экран обрыва. Между попытками переписка начинается заново, а после обрыва доступна до следующего звонка.\n\n")
+100
View File
@@ -0,0 +1,100 @@
"""Acting and pronunciation score; captions remain ordinary readable Russian."""
from pathlib import Path
import json
import re
ROOT = Path(__file__).resolve().parents[1]
story = json.loads((ROOT / "do-otboy/data/phone_story.json").read_text(encoding="utf-8"))
# IPA is used only for words with an easy-to-misplace Russian stress.
pronunciation = {
"позвонить": "/pəzvɐˈnʲitʲ/", "позвонила": "/pəzvɐˈnʲilə/",
"позвоню": "/pəzvɐˈnʲu/", "включаю": "/fklʲʊˈt͡ɕajʊ/",
"убрала": "/ʊˈbralə/", "взяла": "/vzʲɪˈla/",
"тамбура": "/ˈtambʊrə/", "тамбуре": "/ˈtambʊrʲɪ/",
"перила": "/pʲɪˈrʲilə/", "язычок": "/jɪzɨˈt͡ɕɵk/",
}
directions = {
"greeting": ("warmly", "Повседневный вопрос дочери, без предчувствия беды."),
"intro_01": ("warmly", "Обычный ответ после рабочего дня."),
"intro_02": ("warmly", "Рада звонку; вопрос о дне живой, не дикторский."),
"intro_03": ("tired", "Бытовая усталость, вопрос о телевизоре без раздражения."),
"intro_04": ("softly", "Признаётся в одиночестве без жалобы."),
"intro_05": ("warmly", "Обычный план на воскресенье."),
"intro_06": ("nervous", "Уже темно; пытается удержать привычный спокойный тон."),
"intro_07": ("concerned", "Переспрашивает из-за связи, ещё без паники."),
"intro_08": ("softly", "Тепло; смысловой центр — просто приезжай."),
"intro_09": ("warmly", "Обычная договорённость, не прощальная речь."),
"power": ("surprised", "Короткая растерянность, проверяет связь с дочерью."),
"alarm": ("nervous", "Узнаёт сирену; тихо, без театрального крика."),
"hum": ("hushed", "Прислушивается. Последний вопрос короткий, испуганный."),
"here": ("reassuring", "Уверяет маму, хотя сама напугана."),
"mother_here": ("vulnerable", "Просьба не оставлять её одну."),
"love": ("softly", "Прямо и негромко, без растягивания слов."),
"mother_love": ("warmly", "Отвечает дочери, держит себя в руках."),
"cancel": ("urgent", "Резко передумала, но не злится на маму."),
"cancel_reply": ("confused", "Сбилась; ждёт одной понятной инструкции."),
"late_mail": ("disappointed", "Не успела дочитать; без самообвинения."),
"dark_reply": ("strained", "Вынуждена искать на ощупь, просит не торопить."),
"signal_bad": ("concerned", "Проверяет слышимость, не кричит."),
"after_alive": ("weakly", "Короткий ответ после удара, без победной интонации."),
"after_call": ("trembling voice", "Зовёт маму всё тише; не истерика."),
"stairs_m": ("afraid", "Факт о завале, затем тихое признание страха."),
"side_try_m": ("strained", "Разбирается с заевшей дверью; небольшой проблеск надежды."),
"neighbor_m": ("sad", "Никто не отвечает; бытовое воспоминание о соседке."),
"speak_here_m": ("reassured", "Ей легче от одной простой просьбы."),
"speak_love_k": ("vulnerable", "Говорит прямо; не играет финальную сцену."),
"speak_love_m": ("warmly", "Повторяет ответ, чтобы дочь точно услышала."),
}
katya_opening = ["warmly", "shaken", "urgent", "focused", "focused",
"concerned", "steady", "concerned", "tired", "softly"]
mother_opening = ["warmly", "concerned", "focused", "focused", "cautiously",
"serious", "gently", "reassuring", "warmly", "softly"]
for index in range(1, 11):
directions[f"call_{index:02d}_k"] = (katya_opening[index - 1], "Дочь помнит прошлые попытки; удерживает мысль и не тараторит.")
directions[f"call_{index:02d}_m"] = (mother_opening[index - 1], "Мама не помнит повторов и отвечает на нынешнюю просьбу.")
directions[f"question_{index:02d}_k"] = ("concerned" if index < 9 else "softly", "Один конкретный вопрос, место для ответа.")
directions[f"question_{index:02d}_m"] = ("conversational" if index < 9 else "sad", "Отвечает дочери, без перечислительной интонации.")
emphasis = {
"intro_08": {"Просто приезжай.": "Просто… приезжай."},
"hum": {"Подожди.": "Подожди…"},
"after_call": {"Мам? Мам,": "Мам?.. Мам,"},
"stairs_m": {"Катя, я боюсь.": "Катя… я боюсь."},
"speak_love_m": {"И я тебя.": "И Я тебя."},
"call_07_k": {"Одна команда,": "ОДНА команда,"},
"call_09_k": {"всё.": "всё…"},
"read_mail_m": {"Ноль, четыре, один, семь.": "Ноль. Четыре. Один. Семь."},
}
score = []
for key, line in story["lines"].items():
tag, note = directions.get(key, ("focused" if line["speaker"] == "Катя" else "cautiously", "Короткая понятная просьба или ответ; сдержанная тревога, без крика."))
text = line["text"]
for before, after in emphasis.get(key, {}).items():
text = text.replace(before, after)
used = {}
def pronounce(match):
word = match.group(0)
ipa = pronunciation.get(word.lower())
if ipa:
used[word] = ipa
return ipa
return word
text = re.sub(r"[А-Яа-яЁё]+", pronounce, text)
score.append(dict(id=key, **line, direction=note, tag=tag,
pronunciation=used, tts_text=f"[{tag}] {text}"))
target = ROOT / "voiceover/performance.json"
target.write_text(json.dumps(dict(version="0.2.2", pronunciation=pronunciation, lines=score), ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
work = ROOT / "builds/carol"
work.mkdir(parents=True, exist_ok=True)
mother = [line for line in score if line["speaker"] == "Мама"]
daughter = [line for line in score if line["speaker"] == "Катя"]
for name, batch in [("mother_a", mother[:27]), ("mother_b", mother[27:]), ("katya", daughter)]:
(work / (name + "_lines.json")).write_text(json.dumps(batch, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
(work / (name + "_prompt.txt")).write_text("\n[long pause]\n".join(line["tts_text"] for line in batch), encoding="utf-8")
print(name, len(batch), "lines", sum(len(line["tts_text"]) for line in batch), "characters")
assert len(score) == 102 and len(mother) == 54 and len(daughter) == 48