既存キャラクターの音域調整量をマジックナンバーとして埋め込み、自動入力する (#2028)

* 音量域→声量

* 音域自動調整ワークアラウンド　実装しないほうが良いかもなやつ

* stash

* withRelated追加

* 音域の値追加

* 説明追加

* 説明を追加

* COMMAND_SET_SINGERが冗長だった

* だいぶ見づらいので修正

public/howtouse.md

@@ -301,10 +301,18 @@ VOICEVOX では、歌声合成機能がプロトタイプ版として提供さ
 
 ### 音域調整
 
-デフォルトの設定だと、声が低いキャラクターがうまく歌えないことがあります。
-そのような場合は「音域調整」を`-12`や`-24`などにすることで、音域を低めに合わせることができます。
+「音域調整」の値が大きいほど高い音域で、小さいほど低い音域でうまく歌えるようになります。
+デフォルトではキャラクターに合う音域が設定されています。
 
-将来的にこの値は自動設定される予定です。
+「音域調整」の値と中央のキーの関係はおおよそ以下の通りです。
+
+| 音域調整の値 | 中央のキー |
+| --- | --- |
+| 0 | G4（ソ4） |
+| -7 | C4（ド4） |
+| -12 | G3（ソ3） |
+| -19 | C3（ド3） |
+| -24 | G2（ソ2） |
 
 ### 声量調整
 
@@ -313,11 +321,18 @@ VOICEVOX では、歌声合成機能がプロトタイプ版として提供さ
 
 将来的にこの値は自動設定される予定です。
 
+### ピッチ編集
+
+「設定」の「実験的機能」から「ソング：ピッチ編集機能」をONにすることで、歌の音程を細かく制御することができます。
+
 ### ソング機能のよくある質問
 
 Q. 赤くなって声が再生されない  
 A. なにかしらのエラー状態を示しています。現在のバージョンでは、１つのノート（音符）につき日本語１文字分のみ入力できます。またノートが重なっていてもエラーとなります。
 
+Q. 思った高さの音が出ない
+A. 音域がずれている可能性があります。「音域調整」で調整してみてください。
+
 ## オプション
 
 「設定」の「オプション」でいろいろな設定を変更することができます。

src/components/Sing/CharacterMenuButton/MenuButton.vue

@@ -186,7 +186,10 @@ const changeStyleId = (speakerUuid: SpeakerId, styleId: StyleId) => {
       `No engineId for target character style (speakerUuid == ${speakerUuid}, styleId == ${styleId})`,
     );
 
-  store.dispatch("COMMAND_SET_SINGER", { singer: { engineId, styleId } });
+  store.dispatch("COMMAND_SET_SINGER", {
+    singer: { engineId, styleId },
+    withRelated: true,
+  });
 };
 
 const getDefaultStyle = (speakerUuid: string) => {

src/components/Sing/SingEditor.vue

@@ -101,7 +101,7 @@ onetimeWatch(
       // CI上のe2eテストのNemoエンジンには歌手がいないためエラーになるのでワークアラウンド
       // FIXME: 歌手をいると見せかけるmock APIを作り、ここのtry catchを削除する
       try {
-        await store.dispatch("SET_SINGER", {});
+        await store.dispatch("SET_SINGER", { withRelated: true });
       } catch (e) {
         window.backend.logError(e);
       }

src/sing/workaroundKeyRangeAdjustment.ts

@@ -0,0 +1,215 @@
+/**
+ * 音域調整量の自動入力のためのワークアラウンド。
+ * 本来エンジンから得るべき音域調整量を、マジックナンバーとして直接データ化している。
+ *
+ * FIXME: スタイルの音域をエンジンから取得可能にし、音域調整量を計算するように修正する。
+ */
+
+import { createLogger } from "@/domain/frontend/log";
+import { Singer } from "@/store/type";
+import { CharacterInfo, EngineId } from "@/type/preload";
+
+const logger = createLogger("sing/workaroundKeyRangeAdjustment");
+
+const workaroundKeyRangeAdjustmentValues: {
+  [key: string]: { [key: string]: number };
+} = {
+  四国めたん: {
+    ノーマル: -4,
+    あまあま: -4,
+    ツンツン: -5,
+    セクシー: -4,
+    ヒソヒソ: -9,
+  },
+  ずんだもん: {
+    ノーマル: -2,
+    あまあま: 0,
+    ツンツン: -3,
+    セクシー: 0,
+    ヒソヒソ: -7,
+    ヘロヘロ: -3,
+    なみだめ: 6,
+  },
+  春日部つむぎ: {
+    ノーマル: -2,
+  },
+  雨晴はう: {
+    ノーマル: 0,
+  },
+  波音リツ: {
+    ノーマル: -8,
+    クイーン: -5,
+  },
+  玄野武宏: {
+    ノーマル: -17,
+    喜び: -9,
+    ツンギレ: -14,
+    悲しみ: -18,
+  },
+  白上虎太郎: {
+    ふつう: -14,
+    わーい: -8,
+    びくびく: -7,
+    おこ: -9,
+    びえーん: -3,
+  },
+  青山龍星: {
+    ノーマル: -22,
+    熱血: -18,
+    不機嫌: -23,
+    喜び: -21,
+    しっとり: -27,
+    かなしみ: -22,
+  },
+  冥鳴ひまり: {
+    ノーマル: -7,
+  },
+  九州そら: {
+    ノーマル: -7,
+    あまあま: -2,
+    ツンツン: -6,
+    セクシー: -4,
+  },
+  もち子さん: {
+    ノーマル: -5,
+    "セクシー／あん子": -7,
+    泣き: -2,
+    怒り: -3,
+    喜び: -2,
+    のんびり: -5,
+  },
+  剣崎雌雄: {
+    ノーマル: -18,
+  },
+  WhiteCUL: {
+    ノーマル: -6,
+    たのしい: -3,
+    かなしい: -7,
+    びえーん: 0,
+  },
+  後鬼: {
+    "人間ver.": -7,
+    "ぬいぐるみver.": -2,
+  },
+  "No.7": {
+    ノーマル: -8,
+    アナウンス: -10,
+    読み聞かせ: -9,
+  },
+  ちび式じい: {
+    ノーマル: -18,
+  },
+  櫻歌ミコ: {
+    ノーマル: -6,
+    第二形態: -12,
+    ロリ: -7,
+  },
+  "小夜/SAYO": {
+    ノーマル: -4,
+  },
+  ナースロボ＿タイプＴ: {
+    ノーマル: -6,
+    楽々: -3,
+    恐怖: -4,
+  },
+  "†聖騎士 紅桜†": {
+    ノーマル: -15,
+  },
+  雀松朱司: {
+    ノーマル: -21,
+  },
+  麒ヶ島宗麟: {
+    ノーマル: -17,
+  },
+  春歌ナナ: {
+    ノーマル: -2,
+  },
+  猫使アル: {
+    ノーマル: -8,
+    おちつき: -9,
+    うきうき: -7,
+  },
+  猫使ビィ: {
+    ノーマル: -1,
+    おちつき: -3,
+  },
+  中国うさぎ: {
+    ノーマル: -8,
+    おどろき: -4,
+    こわがり: -2,
+    へろへろ: -4,
+  },
+  栗田まろん: {
+    ノーマル: -14,
+  },
+  あいえるたん: {
+    ノーマル: -2,
+  },
+  満別花丸: {
+    ノーマル: -4,
+    元気: 2,
+    ささやき: -33,
+    ぶりっ子: 0,
+    ボーイ: -10,
+  },
+  琴詠ニア: {
+    ノーマル: -4,
+  },
+};
+
+/**
+ * 指定した歌手の音域調整量を取得するワークアラウンド。
+ * ハミングの場合はマジックナンバーを使う。
+ * 歌手の場合は0を返す。
+ */
+export function getWorkaroundKeyRangeAdjustment(
+  engineCharacterInfos: Record<EngineId, CharacterInfo[]>,
+  singer: Singer,
+): number {
+  const defaultKeyRangeAdjustment = 0;
+
+  const characterInfos = engineCharacterInfos[singer.engineId];
+  if (characterInfos == undefined) {
+    logger.warn("characterInfos not found.", singer);
+    return defaultKeyRangeAdjustment;
+  }
+
+  const characterInfo = characterInfos.find((c) =>
+    c.metas.styles.find((s) => s.styleId === singer.styleId),
+  );
+  if (characterInfo == undefined) {
+    logger.warn("characterInfo not found.", singer);
+    return defaultKeyRangeAdjustment;
+  }
+
+  const styleInfo = characterInfo.metas.styles.find(
+    (s) => s.styleId === singer.styleId,
+  );
+  if (styleInfo == undefined) {
+    logger.warn("styleInfo not found.", singer);
+    return defaultKeyRangeAdjustment;
+  }
+
+  if (styleInfo.styleType == "frame_decode") {
+    // ハミングの場合はマジックナンバーを使う
+    const singerName = characterInfo.metas.speakerName;
+    const styleName = styleInfo.styleName;
+    if (styleName == undefined) {
+      logger.warn("styleName not found.", singer);
+      return defaultKeyRangeAdjustment;
+    }
+
+    const keyRangeAdjustment =
+      workaroundKeyRangeAdjustmentValues[singerName]?.[styleName];
+    if (keyRangeAdjustment == undefined) {
+      // 新しいキャラなどの場合はここに来る
+      logger.warn("keyRangeAdjustment not found.", singer);
+      return defaultKeyRangeAdjustment;
+    }
+
+    return keyRangeAdjustment;
+  } else {
+    // 歌手の場合はそのまま
+    return 0;
+  }
+}

src/store/project.ts

@@ -173,7 +173,7 @@ export const projectStore = createPartialStore<ProjectStoreTypes>({
             notes: tracks[0].notes,
           },
         });
-        await context.dispatch("SET_SINGER", {});
+        await context.dispatch("SET_SINGER", { withRelated: true });
         await context.dispatch("CLEAR_PITCH_EDIT_DATA");
 
         context.commit("SET_PROJECT_FILEPATH", { filePath: undefined });

src/store/singing.ts

@@ -81,6 +81,7 @@ import {
   createPromiseThatResolvesWhen,
   round,
 } from "@/sing/utility";
+import { getWorkaroundKeyRangeAdjustment } from "@/sing/workaroundKeyRangeAdjustment";
 import { createLogger } from "@/domain/frontend/log";
 import { noteSchema } from "@/domain/project/schema";
 
@@ -218,12 +219,27 @@ export const singingStore = createPartialStore<SingingStoreTypes>({
   },
 
   SET_SINGER: {
-    mutation(state, { singer }: { singer?: Singer }) {
+    // 歌手をセットする。
+    // withRelatedがtrueの場合、関連する情報もセットする。
+    mutation(
+      state,
+      { singer, withRelated }: { singer?: Singer; withRelated?: boolean },
+    ) {
       state.tracks[selectedTrackIndex].singer = singer;
+
+      if (withRelated == true && singer != undefined) {
+        // 音域調整量マジックナンバーを設定するワークアラウンド
+        const keyRangeAdjustment = getWorkaroundKeyRangeAdjustment(
+          state.characterInfos,
+          singer,
+        );
+        state.tracks[selectedTrackIndex].keyRangeAdjustment =
+          keyRangeAdjustment;
+      }
     },
     async action(
       { state, getters, dispatch, commit },
-      { singer }: { singer?: Singer },
+      { singer, withRelated }: { singer?: Singer; withRelated?: boolean },
     ) {
       if (state.defaultStyleIds == undefined)
         throw new Error("state.defaultStyleIds == undefined");
@@ -242,7 +258,7 @@ export const singingStore = createPartialStore<SingingStoreTypes>({
       const styleId = singer?.styleId ?? defaultStyleId;
 
       dispatch("SETUP_SINGER", { singer: { engineId, styleId } });
-      commit("SET_SINGER", { singer: { engineId, styleId } });
+      commit("SET_SINGER", { singer: { engineId, styleId }, withRelated });
 
       dispatch("RENDER");
     },
@@ -2529,12 +2545,12 @@ export const singingCommandStoreState: SingingCommandStoreState = {};
 export const singingCommandStore = transformCommandStore(
   createPartialStore<SingingCommandStoreTypes>({
     COMMAND_SET_SINGER: {
-      mutation(draft, { singer }) {
-        singingStore.mutations.SET_SINGER(draft, { singer });
+      mutation(draft, { singer, withRelated }) {
+        singingStore.mutations.SET_SINGER(draft, { singer, withRelated });
       },
-      async action({ dispatch, commit }, { singer }) {
+      async action({ dispatch, commit }, { singer, withRelated }) {
         dispatch("SETUP_SINGER", { singer });
-        commit("COMMAND_SET_SINGER", { singer });
+        commit("COMMAND_SET_SINGER", { singer, withRelated });
 
         dispatch("RENDER");
       },

src/store/type.ts

@@ -840,8 +840,8 @@ export type SingingStoreTypes = {
   };
 
   SET_SINGER: {
-    mutation: { singer?: Singer };
-    action(payload: { singer?: Singer }): void;
+    mutation: { singer?: Singer; withRelated?: boolean };
+    action(payload: { singer?: Singer; withRelated?: boolean }): void;
   };
 
   SET_KEY_RANGE_ADJUSTMENT: {
@@ -1116,8 +1116,8 @@ export type SingingCommandStoreState = {
 
 export type SingingCommandStoreTypes = {
   COMMAND_SET_SINGER: {
-    mutation: { singer: Singer };
-    action(payload: { singer: Singer }): void;
+    mutation: { singer: Singer; withRelated?: boolean };
+    action(payload: { singer: Singer; withRelated?: boolean }): void;
   };
 
   COMMAND_SET_KEY_RANGE_ADJUSTMENT: {