GREE Tech Conference 2023で発表された資料です。 https://techcon.gree.jp/2023/session/TrackB-5
「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み株式会社ExPlayQAエンジニア勅使川原 大輔 瀬谷 涼太
View Slide
Agenda1. 登壇者紹介2. ヘブンバーンズレッドについて3. チーム体制について4. 翻訳QA（LQA）の取り組み5. 国内QAの取り組み2
登壇者紹介氏名 所属勅使川原 大輔 (てしがわら だいすけ)株式会社ExPlayCustomer & Product Satisfaction部QAチーム略歴 2016年グリー株式会社に入社。2021年から「ヘブンバーンズレッド」のテスト管理、チームマネジメント、品質改善活動に従事。共著『ゼロからはじめるゲームテスト ―壁抜けしたら無限ガチャで最強モードな件？』が発売中。氏名 所属 瀬谷 涼太 (せや りょうた)株式会社ExPlayCustomer & Product Satisfaction部LQAチーム 略歴 2021年グリー株式会社に入社。QAとして新規タイトルのリリースなどを経験し、現在は「ヘブンバーンズレッド」の海外ローカライズ版の翻訳QA(LQA)として従事。3
ヘブンバーンズレッドについてライトフライヤースタジオとKeyがおくるドラマチックRPGApp Store, Google Play Store, Steamにて配信中日本, 韓国, 台湾, 香港, マカオの5つの地域で世界同時運営
2022年 2023年■2月10日サービス開始メインストーリー第三章リリース韓国&繁体字圏サービス開始ヘブンバーンズレッドについて■8月10日0.5周年■2月10日1周年メインストーリー第四章前編リリース■8月10日1.5周年メインストーリー第四章後編リリースメインストーリー断章リリースサブスクリプションサービス開始新機能追加・異時層・限界突破の器Angel Beats!コラボイベント新機能追加・リズムゲームゲームバランスの大規模再構築新機能追加・ジオラマモード・ホーム画面改修5
2022年 2023年■2月10日サービス開始メインストーリー第三章リリース韓国&繁体字圏サービス開始ヘブンバーンズレッドについて■8月10日0.5周年■2月10日1周年メインストーリー第四章前編リリース■8月10日1.5周年メインストーリー第四章後編リリースメインストーリー断章リリースサブスクリプションサービス開始新機能追加・異時層・限界突破の器Angel Beats!コラボイベント新機能追加・リズムゲームゲームバランスの大規模再構築新機能追加・ジオラマモード・ホーム画面改修6
チーム体制について国内QA（QA）翻訳QA（LQA）開発チーム翻訳チーム翻訳依頼等 情報連携等検証依頼等検証依頼等7
チーム体制について● 連携部分○ 運用スケジュール上の変更、仕様変更などの情報共有○ テスト設計■ 翻訳QAでは、新機能などのテストケースは国内QAで設計したものをベースに調整・作成を行っている国内QA（QA）翻訳QA（LQA）データ、国内海外含めた機能検証等海外言語の翻訳テキスト全般● 検証範囲8
国内1周年と海外版同時リリースにおける翻訳QA（LQA）の対応9
Agenda（翻訳QA）● セッション内容○ 検証範囲の対応区分の切り分け○ 翻訳～検証終了までのスケジュールの懸念○ リリース対象各国にあわせたニュアンス調整○ まとめ10
検証範囲の対応区分切り分け①11非ネイティブテスター日本人のテスター各テスターの検証範囲の切り分けが必要ネイティブテスター言語理解のあるテスター
検証範囲の対応区分切り分け①▶シナリオテキストADVパートの話者名、会話テキストetc…12▶マスタテキストスキル名、アイテム名etc…検証対象の切り分け
検証範囲の対応区分切り分け②▶実機検証● 主な観点○ 設定言語通りの表示か○ 表示崩れ、はみ出し etc…13▶テキスト検証● 主な観点○ 誤字脱字○ 文章のニュアンス etc…検証方法の切り分け
検証範囲の対応区分切り分け③● 以下のプランで検証を実施○ 検証の範囲と人材の区分と振り分けを行った（以下の図）○ 検証漏れを防ぐため画面ベースでなくマスタをベースとした検証を実施● 結果○ 効果的なアサインができ、翻訳品質向上に繋げることができた○ 検証対象の検知漏れを極力抑えることができた14
翻訳～検証終了までのスケジュールの懸念①15検証開始 終了国内QA国内検証開始 終了翻訳QA海外データ・機能実装翻訳実装目標：検証期間が国内実装と翻訳実装を同時ラインで進行すること懸念：スケジュール上無理なく進行可能か
翻訳～検証終了までのスケジュールの懸念②16● 目標○ 国内と並行して海外版対応が可能となること● 打ち手○ 国内で検証が動くストーリーイベントで国内/海外同時ラインで翻訳～検証を実行■ 進行を阻害する要因の見える化を行った● 結果○ 人員やビルドトラブルなどの環境に問題なないか等の見直しをすることができた■ リリース後も国内と同時進行を実現できている
リリース対象各国にあわせたニュアンス調整①キャラクターの方言やネットスラングなど、国内でしか伝わりにくいニュアンスに対する翻訳の課題について17
リリース対象各国にあわせたニュアンス調整①「はあ？ 何やねん今川焼って。これは回転焼きやろ。」● 方言は設定資料通り● 「回転焼き」は「車輪餅（繁体字圏での呼称）」18「要は、ぬるぽと言ったらガッですね。」● 「87分不能再高了」○ 繁体字圏で使用されているネットスラング繁体字での翻訳例
リリース対象各国にあわせたニュアンス調整②19● 課題○ 国内でしか伝わりにくいニュアンスに対する翻訳QA● 打ち手○ 開発担当へ設定資料、用語集の共有を促す■ テスターへ資料集の早期展開○ ストーリー理解のあるバイリンガル人材の確保■ ストーリーを中心に、ニュアンスに違和感がないかのテストを実施● 結果○ 海外コミュニティでのシナリオの評価■ 現地のお客様からみて違和感のない翻訳となった● 品質の向上に繋げられた
まとめ（翻訳QA）● プロダクトの実績○ リリース遅延なく韓国、台湾、香港、マカオ地域でのリリースを実現できた○ 台湾・香港のApp Storeセールスランキングで1位を獲得● 翻訳QAとして○ 言語追加など大規模な翻訳検証を実施するにあたり注意すべきこと■ プロダクトの性質や作業量などを把握し検証範囲を早期に定める● 検証範囲の対応優先度から人員の割り当てやスケジュールを組み立てる○ 結果■ 遅延なくリリースすることができ、重篤な障害を抑制できた20
ゲームバランスの再構築に対するQA21
Agenda（国内QA）● セッション内容○ サマリ○ ゲームバランスの再構築とは○ 既存データを変更する時のテスト手法■ 変更内容の一覧化とステータス管理■ プルリクエスト単位で全チェック■ 変更差分の異常値チェック■ 指差し確認○ 結果○ まとめ22
サマリゲームバランスの再構築に対するQA既存データを変更する時に漏れないようにテストする手法の紹介● 変更内容の一覧化とステータス管理● プルリクエスト単位で全チェック● 変更差分の異常値チェック● 指差し確認23
ゲームバランスの再構築新しくヘブンバーンズレッドをはじめる方、なかなか進めない方、一度ヘブンバーンズレッドから離れてしまった方のためにゲームバランスを再構築24● 複雑な進行 / 育成フローをシンプル化● 時間のかかる要素 / ストレス要素の緩和● サポート機能の充実
ゲームバランスの再構築追加・変更量が多い影響範囲も広い25アップデートのお知らせも長い！
ゲームバランスの再構築テストする上での課題● 変更されるデータが膨大影響範囲が広範囲かつ複雑に関係しあっているため、必要な変更やテストが漏れやすくなる● ゲームバランス変更のため、テストプレイと調整を繰り返す調整期間が長期化&何度も変更され、変更内容の把握が難しくなる26
既存データを変更する時のテスト手法4つの取り組み● 変更内容の一覧化とステータス管理● プルリクエスト単位で全チェック● 変更差分の異常値チェック● 指差し確認27
追加日 カテゴリ 内容 詳細 優先度 担当者 ステータス QAステータス6/26 機能 オートバトル改善 ~~~ 中 Aさん 完了 完了7/4 バトル エネミーの耐性緩和 ~~~ 高 Bさん 完了 保留7/10 機能 ログボリニューアル ~~~ 中 Cさん 対応中 未着手7/14 バトル エネミーの耐性緩和 ~~~ 高 Bさん 対応中 未着手7/24 メイン 攻略のヒント追加 ~~~ 低 Aさん 完了 対応中7/25 メイン ミッションの追加 ~~~ 中 Cさん 未着手 未着手変更内容の一覧化とステータス管理28※実際の調整内容とは異なります
追加日 カテゴリ 内容 詳細 優先度 担当者 ステータス QAステータス6/26 機能 オートバトル改善 ~~~ 中 Aさん 完了 完了7/4 バトル エネミーの耐性緩和 ~~~ 高 Bさん 完了 保留7/10 機能 ログボリニューアル ~~~ 中 Cさん 対応中 未着手7/14 バトル エネミーの耐性緩和 ~~~ 高 Bさん 対応中 未着手7/24 メイン 攻略のヒント追加 ~~~ 低 Aさん 完了 対応中7/25 メイン ミッションの追加 ~~~ 中 Cさん 未着手 未着手変更内容の一覧化とステータス管理29※実際の調整内容とは異なります
変更内容の一覧化とステータス管理ポイント● タスクの内容● タスクの追加タイミング● タスクのステータス● テストのステータス30変更内容の状況把握が容易に
プルリクエスト単位で全チェック● 全てのプルリクエストを自動でバージョン別に記載● 原則プルリクエストにはQAに確認して欲しい内容を入力● QAが全てチェックしてテストステータス、確認内容を記録※チケットやテストケースが別途ある場合は詳細はそちらで確認31テスト漏れを防止開発チーム内でのテストに対する意識が向上
プルリクエスト単位で全チェック●32
変更差分の異常値チェック33名前 DP_変更前 DP_変更後 DP_比較 経験値_変更前経験値_変更後経験値_比較スモールホッパー 1200 1000 ~30%減 20 140 5倍~クレストホッパー 2200 1500 30~50%減 80 320 3~5倍ノッカー 1000 1000 一致 60 260 3~5倍アビスノッカー 12000 1200 50%~減 600 1200 ~3倍デススラッグ 10000 10000 一致 600 1200 ~3倍※実際の調整内容とは異なります
変更差分の異常値チェック広範囲のデータの変更が加わったため人力での確認では精度の不安や工数の増大が懸念変更前後で比較し変化量を視覚化桁の入力ミスなどの異常値を検知しやすく34確認精度の向上テスト工数の削減
指差し確認ゲーム画面を一緒に見ながらプレイ画面共有しながらマスタデータをチェック古典的だが効果あり35安心感が得られる実際ミスが見つかることもあるヨシ!
結果変更の規模に対して本番障害は狭小○ 大きな進行不能や、ゲームバランスを崩す不具合はなしDAU、インストールは大きく増加○ 特に再構築によりメインストーリーの進行度も改善36
まとめ（国内QA）既存データを大きく変更する時に漏れなくテストする手法● 変更内容の一覧化とステータス管理● プルリクエスト単位で全チェック● 変更差分の異常値チェック● 指差し確認37
まとめ（国内QA）● バランス調整の内容／変更時期/ステータスを管理して状況を可視化する● 変更内容の確認はある程度自動的に把握できるように効率化を行う● 変更が意図通りに反映されているか開発者とQAが連携して確認を行う38
今後の展望(国内QA,翻訳QA)● プロダクトの品質を向上するために○ プロダクトが実現しようとすることに、QAとして適切なアプローチを検討する■ プロダクトに寄り添って共に歩むQAであるべき● チーム間のさらなる連携強化○ QA間で引き続き課題や対策の共有、連携しての取り組みを強化する■ 開発サイドからの情報をQA間で共有することで一定の効果を得られた39
ご清聴ありがとうございました40
41
gree_tech
sansan_randd
tamago3keran
vaaaaanquish
o11yfes2023
yuneco
suzuki
flatt_security
kyonmm
.jpeg){kind=avatar}
takarkiz
jollyjoester
mkwrd
nonsquared
chrislema
deanohume
jponch
dougneiner
jakevdp
paulrobertlloyd
morganepeng
brettharned
caitiem20
kastner
tanoku