Voice mother with Carol and synchronize all call events
This commit is contained in:
@@ -0,0 +1,63 @@
|
||||
"""Install verified, word-aligned Carol/Jessica batches; no network/API calls."""
|
||||
from pathlib import Path
|
||||
import hashlib
|
||||
import json
|
||||
import shutil
|
||||
import wave
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
WORK = ROOT / "builds/carol"
|
||||
GAME = ROOT / "do-otboy"
|
||||
|
||||
def read(path):
|
||||
return json.loads(path.read_text(encoding="utf-8"))
|
||||
|
||||
def write(path, data):
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
|
||||
def main():
|
||||
story = read(GAME / "data/phone_story.json")
|
||||
score = {line["id"]: line for line in read(ROOT / "voiceover/performance.json")["lines"]}
|
||||
assembly = read(WORK / "assembly.json")
|
||||
metadata, alignments, prepared = {}, {}, []
|
||||
# Validate everything before changing a production voice.
|
||||
for batch, source in assembly.items():
|
||||
segments = read(WORK / (batch + "_split/alignment.json"))
|
||||
alignments[batch] = segments
|
||||
for segment in segments:
|
||||
key = segment["id"]
|
||||
assert key not in metadata, key
|
||||
line = story["lines"][key]
|
||||
assert segment["text"] == line["text"], key
|
||||
assert segment["reference_words"] == segment["matched_words"], key
|
||||
path = WORK / (batch + "_split") / (key + ".wav")
|
||||
with wave.open(str(path)) as wav:
|
||||
assert wav.getsampwidth() == 2 and wav.getnchannels() == 1 and wav.getnframes() > 0
|
||||
duration = wav.getnframes() / wav.getframerate()
|
||||
metadata[key] = dict(id=key, **line, provider="ElevenLabs", **source,
|
||||
voice=source["voice_name"], file="assets/voice/" + path.name,
|
||||
source_start=segment["start"], source_end=segment["end"],
|
||||
wav_duration=round(duration, 3),
|
||||
sha256=hashlib.sha256(path.read_bytes()).hexdigest(),
|
||||
direction=score[key]["direction"], tts_text=score[key]["tts_text"],
|
||||
pronunciation=score[key]["pronunciation"])
|
||||
prepared.append((path, GAME / "assets/voice" / path.name))
|
||||
assert set(metadata) == set(story["lines"]), "All 102 lines must be ready"
|
||||
for source, destination in prepared:
|
||||
shutil.copyfile(source, destination)
|
||||
write(GAME / "data/voice_manifest.json", metadata)
|
||||
write(ROOT / "voiceover/alignment.json", alignments)
|
||||
for character, speaker in [("carol", "Мама"), ("jessica", "Катя")]:
|
||||
entries = [dict(item, file="../../do-otboy/" + item["file"])
|
||||
for item in metadata.values() if item["speaker"] == speaker]
|
||||
write(ROOT / "voiceover" / character / "manifest.json",
|
||||
dict(status="complete", version="0.2.2", voice_id=entries[0]["voice_id"],
|
||||
voice_name=entries[0]["voice_name"], ready=entries, pending=[]))
|
||||
write(ROOT / "voiceover" / character / "alignment.json",
|
||||
[entry for batch in alignments.values() for entry in batch
|
||||
if story["lines"][entry["id"]]["speaker"] == speaker])
|
||||
print("Installed", len(metadata), "directed lines: Carol 54, Jessica 48")
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -6,7 +6,7 @@ import argparse
|
||||
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("--windows-dir", default="Windows")
|
||||
parser.add_argument("--version", default="0.2.1")
|
||||
parser.add_argument("--version", default="0.2.2")
|
||||
args = parser.parse_args()
|
||||
|
||||
root = Path(__file__).resolve().parents[1]
|
||||
@@ -23,10 +23,11 @@ with zipfile.ZipFile(windows_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as
|
||||
with zipfile.ZipFile(source_zip, "w", zipfile.ZIP_DEFLATED, compresslevel=6) as archive:
|
||||
for name in ("README_RU.md", "SCENARIO_RU.md", "AUDIO_CREDITS.md", "GODOT_LICENSE.txt", "build.ps1", ".gitignore"):
|
||||
archive.write(root / name, "DoOtboy/" + name)
|
||||
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "package.py"):
|
||||
for name in ("make_audio.py", "make_phone_effects.py", "write_phone_story.py", "write_voice_direction.py", "make_draft_voices.ps1", "split_voice_batch.py", "install_jessica_voice.py", "install_directed_voices.py", "package.py"):
|
||||
archive.write(root / "tools" / name, "DoOtboy/tools/" + name)
|
||||
for name in ("README_RU.md", "manifest.json", "alignment.json"):
|
||||
archive.write(root / "voiceover/jessica" / name, "DoOtboy/voiceover/jessica/" + name)
|
||||
for path in (root / "voiceover").rglob("*"):
|
||||
if path.is_file() and path.suffix in (".md", ".json"):
|
||||
archive.write(path, "DoOtboy/" + path.relative_to(root).as_posix())
|
||||
for path in (root / "do-otboy").rglob("*"):
|
||||
if not path.is_file() or ".godot" in path.parts or path.suffix == ".import":
|
||||
continue
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
"""Split a voice batch against word timestamps; reject missing script words.
|
||||
|
||||
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY
|
||||
Usage: python split_voice_batch.py AUDIO WORDS_JSON LINES_JSON OUTPUT_DIRECTORY [SCORE_JSON]
|
||||
Requires soundfile (the local build helper directory is also supported).
|
||||
"""
|
||||
from pathlib import Path
|
||||
@@ -26,11 +26,24 @@ def main():
|
||||
data = json.loads(words_path.read_text(encoding="utf-8"))
|
||||
words = data["words"] if isinstance(data, dict) else data
|
||||
lines = json.loads(lines_path.read_text(encoding="utf-8"))
|
||||
pronunciations = {}
|
||||
if len(sys.argv) > 5:
|
||||
score = json.loads(Path(sys.argv[5]).read_text(encoding="utf-8"))
|
||||
pronunciations = score["pronunciation"]
|
||||
spoken, timing = [], []
|
||||
in_tag = False
|
||||
for word in words:
|
||||
if word.get("type", "word") != "word":
|
||||
continue
|
||||
for token in tokens(word["text"]):
|
||||
text = word["text"]
|
||||
# The provider may retain direction tags and IPA in its timed output.
|
||||
# Tags are metadata, not dialogue; map IPA back to the caption word.
|
||||
if text.startswith("[") or in_tag:
|
||||
in_tag = "]" not in text
|
||||
continue
|
||||
for spelling, ipa in pronunciations.items():
|
||||
text = text.replace(ipa, spelling)
|
||||
for token in tokens(text):
|
||||
spoken.append(token)
|
||||
timing.append((float(word["start"]), float(word["end"])))
|
||||
reference, spans = [], []
|
||||
|
||||
@@ -18,7 +18,7 @@ intro_line(12, "intro_02", "Мама", "Чай поставила. Хотела
|
||||
intro_line(21, "intro_03", "Катя", "Обычный. Автобус долго ждала. У тебя телевизор так громко работает?")
|
||||
intro_line(30, "intro_04", "Мама", "Сейчас убавлю. Я его больше для голоса включаю. Так в квартире не пусто.")
|
||||
intro_line(40, "intro_05", "Катя", "Я в воскресенье приеду. Привезти тебе что-нибудь?")
|
||||
intro_line(48, "intro_06", "Мама", "Свет моргнул. И сирена опять. Чайник уже закипел, сейчас отойду от кухни.")
|
||||
intro_line(51, "intro_06", "Мама", "Совсем темно. Чайник уже закипел. Сейчас отойду от кухни.")
|
||||
intro_line(60, "intro_07", "Катя", "Мам, ты меня слышишь? Я говорю, в воскресенье приеду.")
|
||||
intro_line(69, "intro_08", "Мама", "Слышу. Ничего не покупай. Просто приезжай. У меня твоя чашка так и стоит.")
|
||||
intro_line(81, "intro_09", "Катя", "Хорошо. Я тогда утром позвоню, когда выеду.")
|
||||
@@ -206,14 +206,15 @@ notifications = [
|
||||
{"at": 76, "text": "Ты читала новости? Там переговоры, походу скоро все закончится"},
|
||||
{"at": 92, "text": "Кать в твой дом походу попали..."},
|
||||
]
|
||||
data = dict(version=2, duration=90, lines=lines, intro=intro, facts=facts,
|
||||
timeline = dict(alarm=24, power=45, hum=85, impact=90)
|
||||
data = dict(version=3, duration=timeline["impact"], timeline=timeline, lines=lines, intro=intro, facts=facts,
|
||||
actions=actions, chapters=chapters, endings=endings,
|
||||
friend="Аня", notifications=notifications)
|
||||
target = ROOT / "do-otboy" / "data" / "phone_story.json"
|
||||
target.parent.mkdir(parents=True, exist_ok=True)
|
||||
target.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
|
||||
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.1. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Пролог: тревога на 43-й секунде; дальше — на 24-й. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
|
||||
doc = ["# До отбоя — Не клади трубку", "", "Сценарий тестового билда 0.2.2. Десять звонков по 90 секунд, включая первый разговор. Катя — взрослая дочь, Нина — её мама. Мама не помнит повторов; Катя помнит только услышанное. Предметы и положение мамы сбрасываются. Сценарий не является инструкцией по поведению при обстреле.", "", "Первый звонок скрывает таймер. С 2-го звонка показана длительность соединения, а не отсчёт до смерти. На 45-й секунде пропадает электричество, на 85-й слышен гул, на 90-й удар и обрыв. Во всех звонках сирена начинается на 24-й секунде; все четыре внешних события совпадают при каждом повторе. Субтитры всех произнесённых фраз остаются в журнале текущего звонка.", "", "## Первый разговор — точная партитура", "", "0:00 — Мама: «Катюш, привет. Ты поела?»"]
|
||||
for beat in intro:
|
||||
entry = lines[beat["line"]]
|
||||
doc.append(f"{beat['at'] // 60}:{beat['at'] % 60:02} — {entry['speaker']}: «{entry['text']}»")
|
||||
@@ -232,7 +233,7 @@ for a in actions:
|
||||
doc += ["", "## Исходы", "", "Пять исходов зависят от фактического места мамы и состояния связи в момент удара. Нет счёта за спасённых, наказания за доброту или утверждения, что правильная последовательность гарантирует выживание."]
|
||||
for ending in endings.values():
|
||||
doc += ["", "**" + ending["title"] + ".** " + ending["text"]]
|
||||
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). У мамы остаются 54 черновые реплики Microsoft Irina (локальный Windows Speech) с телефонным фильтром. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
|
||||
doc += ["", "## Алгоритм проверки всех исходов", "", "1. Первый разговор: дождаться 90 секунд — «Фраза оборвалась».", "2. Во внутренний коридор → дождаться удара — «Я тебя слышу».", "3. Найти ключи → выйти на площадку → дождаться удара — «По другую сторону двери».", "4. Разведка: выяснить письмо → прочитать до отключения питания. В следующих попытках взять ключи, проверить фонарь, открыть сейф, выйти, попробовать боковую дверь. Запоминается способ открыть её.", "5. После этих открытий: ключи из куртки (6 с) → фонарь с батарейкой (9 с) → сейф (15 с) → площадка (11 с) → ручка и ключ (9 с) — мама в тамбуре. Без установки телефона исход «Вне сети».", "6. В тамбуре найти место, где слышно (12 с), и в этой или следующей попытке поставить телефон на полку (6 с). На 90-й секунде исход «Катя?..». Оставшееся время можно провести в разговоре.", "", "В меню «Проверка сцен» доступны все десять звонков, чистый или накопленный набор знаний. Этот режим не меняет основное сохранение. Режим с полными знаниями позволяет быстро проверить маршруты; обычная игра открывает их только через завершённые действия.", "", "## Озвучка", "", "Все 48 реплик Кати озвучены через ElevenLabs голосом Jessica — Playful, Bright, Warm (eleven_v4). Все 54 реплики мамы озвучены Carol — Relatable, Real, Likeable Grandma. Для обеих героинь прописаны интонационные задачи, паузы и произношение сложных слов; телефонный фильтр применяется к маме. Длительности игровых действий учитывают полные записи обеих сторон. Все реплики хранятся отдельно, с постоянными ID, в data/phone_story.json и assets/voice/. Замена WAV не требует переписывать сценарий."]
|
||||
(ROOT / "SCENARIO_RU.md").write_text("\n".join(doc) + "\n", encoding="utf-8")
|
||||
with (ROOT / "SCENARIO_RU.md").open("a", encoding="utf-8") as output:
|
||||
output.write("\n## Пять сообщений от подруги\n\nВ каждом звонке Аня присылает пять сообщений. Уведомление появляется поверх разговора, звучит короткий сигнал. Можно открыть переписку или закрыть баннер; чтение не останавливает время и не отменяет просьбу маме. Непрочитанное остаётся в переписке. Пятый пуш приходит через две секунды после удара, даже если уже открыт экран обрыва. Между попытками переписка начинается заново, а после обрыва доступна до следующего звонка.\n\n")
|
||||
|
||||
@@ -0,0 +1,100 @@
|
||||
"""Acting and pronunciation score; captions remain ordinary readable Russian."""
|
||||
from pathlib import Path
|
||||
import json
|
||||
import re
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
story = json.loads((ROOT / "do-otboy/data/phone_story.json").read_text(encoding="utf-8"))
|
||||
|
||||
# IPA is used only for words with an easy-to-misplace Russian stress.
|
||||
pronunciation = {
|
||||
"позвонить": "/pəzvɐˈnʲitʲ/", "позвонила": "/pəzvɐˈnʲilə/",
|
||||
"позвоню": "/pəzvɐˈnʲu/", "включаю": "/fklʲʊˈt͡ɕajʊ/",
|
||||
"убрала": "/ʊˈbralə/", "взяла": "/vzʲɪˈla/",
|
||||
"тамбура": "/ˈtambʊrə/", "тамбуре": "/ˈtambʊrʲɪ/",
|
||||
"перила": "/pʲɪˈrʲilə/", "язычок": "/jɪzɨˈt͡ɕɵk/",
|
||||
}
|
||||
directions = {
|
||||
"greeting": ("warmly", "Повседневный вопрос дочери, без предчувствия беды."),
|
||||
"intro_01": ("warmly", "Обычный ответ после рабочего дня."),
|
||||
"intro_02": ("warmly", "Рада звонку; вопрос о дне живой, не дикторский."),
|
||||
"intro_03": ("tired", "Бытовая усталость, вопрос о телевизоре без раздражения."),
|
||||
"intro_04": ("softly", "Признаётся в одиночестве без жалобы."),
|
||||
"intro_05": ("warmly", "Обычный план на воскресенье."),
|
||||
"intro_06": ("nervous", "Уже темно; пытается удержать привычный спокойный тон."),
|
||||
"intro_07": ("concerned", "Переспрашивает из-за связи, ещё без паники."),
|
||||
"intro_08": ("softly", "Тепло; смысловой центр — просто приезжай."),
|
||||
"intro_09": ("warmly", "Обычная договорённость, не прощальная речь."),
|
||||
"power": ("surprised", "Короткая растерянность, проверяет связь с дочерью."),
|
||||
"alarm": ("nervous", "Узнаёт сирену; тихо, без театрального крика."),
|
||||
"hum": ("hushed", "Прислушивается. Последний вопрос короткий, испуганный."),
|
||||
"here": ("reassuring", "Уверяет маму, хотя сама напугана."),
|
||||
"mother_here": ("vulnerable", "Просьба не оставлять её одну."),
|
||||
"love": ("softly", "Прямо и негромко, без растягивания слов."),
|
||||
"mother_love": ("warmly", "Отвечает дочери, держит себя в руках."),
|
||||
"cancel": ("urgent", "Резко передумала, но не злится на маму."),
|
||||
"cancel_reply": ("confused", "Сбилась; ждёт одной понятной инструкции."),
|
||||
"late_mail": ("disappointed", "Не успела дочитать; без самообвинения."),
|
||||
"dark_reply": ("strained", "Вынуждена искать на ощупь, просит не торопить."),
|
||||
"signal_bad": ("concerned", "Проверяет слышимость, не кричит."),
|
||||
"after_alive": ("weakly", "Короткий ответ после удара, без победной интонации."),
|
||||
"after_call": ("trembling voice", "Зовёт маму всё тише; не истерика."),
|
||||
"stairs_m": ("afraid", "Факт о завале, затем тихое признание страха."),
|
||||
"side_try_m": ("strained", "Разбирается с заевшей дверью; небольшой проблеск надежды."),
|
||||
"neighbor_m": ("sad", "Никто не отвечает; бытовое воспоминание о соседке."),
|
||||
"speak_here_m": ("reassured", "Ей легче от одной простой просьбы."),
|
||||
"speak_love_k": ("vulnerable", "Говорит прямо; не играет финальную сцену."),
|
||||
"speak_love_m": ("warmly", "Повторяет ответ, чтобы дочь точно услышала."),
|
||||
}
|
||||
|
||||
katya_opening = ["warmly", "shaken", "urgent", "focused", "focused",
|
||||
"concerned", "steady", "concerned", "tired", "softly"]
|
||||
mother_opening = ["warmly", "concerned", "focused", "focused", "cautiously",
|
||||
"serious", "gently", "reassuring", "warmly", "softly"]
|
||||
for index in range(1, 11):
|
||||
directions[f"call_{index:02d}_k"] = (katya_opening[index - 1], "Дочь помнит прошлые попытки; удерживает мысль и не тараторит.")
|
||||
directions[f"call_{index:02d}_m"] = (mother_opening[index - 1], "Мама не помнит повторов и отвечает на нынешнюю просьбу.")
|
||||
directions[f"question_{index:02d}_k"] = ("concerned" if index < 9 else "softly", "Один конкретный вопрос, место для ответа.")
|
||||
directions[f"question_{index:02d}_m"] = ("conversational" if index < 9 else "sad", "Отвечает дочери, без перечислительной интонации.")
|
||||
|
||||
emphasis = {
|
||||
"intro_08": {"Просто приезжай.": "Просто… приезжай."},
|
||||
"hum": {"Подожди.": "Подожди…"},
|
||||
"after_call": {"Мам? Мам,": "Мам?.. Мам,"},
|
||||
"stairs_m": {"Катя, я боюсь.": "Катя… я боюсь."},
|
||||
"speak_love_m": {"И я тебя.": "И Я тебя."},
|
||||
"call_07_k": {"Одна команда,": "ОДНА команда,"},
|
||||
"call_09_k": {"всё.": "всё…"},
|
||||
"read_mail_m": {"Ноль, четыре, один, семь.": "Ноль. Четыре. Один. Семь."},
|
||||
}
|
||||
|
||||
score = []
|
||||
for key, line in story["lines"].items():
|
||||
tag, note = directions.get(key, ("focused" if line["speaker"] == "Катя" else "cautiously", "Короткая понятная просьба или ответ; сдержанная тревога, без крика."))
|
||||
text = line["text"]
|
||||
for before, after in emphasis.get(key, {}).items():
|
||||
text = text.replace(before, after)
|
||||
used = {}
|
||||
def pronounce(match):
|
||||
word = match.group(0)
|
||||
ipa = pronunciation.get(word.lower())
|
||||
if ipa:
|
||||
used[word] = ipa
|
||||
return ipa
|
||||
return word
|
||||
text = re.sub(r"[А-Яа-яЁё]+", pronounce, text)
|
||||
score.append(dict(id=key, **line, direction=note, tag=tag,
|
||||
pronunciation=used, tts_text=f"[{tag}] {text}"))
|
||||
|
||||
target = ROOT / "voiceover/performance.json"
|
||||
target.write_text(json.dumps(dict(version="0.2.2", pronunciation=pronunciation, lines=score), ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
work = ROOT / "builds/carol"
|
||||
work.mkdir(parents=True, exist_ok=True)
|
||||
mother = [line for line in score if line["speaker"] == "Мама"]
|
||||
daughter = [line for line in score if line["speaker"] == "Катя"]
|
||||
for name, batch in [("mother_a", mother[:27]), ("mother_b", mother[27:]), ("katya", daughter)]:
|
||||
(work / (name + "_lines.json")).write_text(json.dumps(batch, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
(work / (name + "_prompt.txt")).write_text("\n[long pause]\n".join(line["tts_text"] for line in batch), encoding="utf-8")
|
||||
print(name, len(batch), "lines", sum(len(line["tts_text"]) for line in batch), "characters")
|
||||
|
||||
assert len(score) == 102 and len(mother) == 54 and len(daughter) == 48
|
||||
Reference in New Issue
Block a user