コミュニティで言われることのある「テストサーバーであるPBEの結果からなぜバランス調整を行わないのか」という疑問について、Meddler氏が公式ボードで投稿した部分の訳です。
原文
Quick Gameplay Thoughts: May 30
頻繁に持ち上がる話題として「どうしてPBEテストでもっとバランス調整しないのか？」というものがあります。PBEでのテスト中ならライブサーバー実装前にいろいろなことがわかるので、その時にもっと良いバランス調整ができればしたいものです。しかし残念ながら、PBEは通常のLoLプレイのサンプルとなる場所ではないのです。
このことをもう少し掘り下げていくために、同じ変更について、PBEと通常サーバーでのバランス変更の影響について、いくつかのデータを比較してみましょう。まずライブサーバーでのデータが上の図、PBEでのデータが下の図になります。8.9で変更を行ったチャンピオン全員が並んでいます。ライブサーバーのデータはパッチ実装直後のデータで、PBEのデータはそのパッチサイクルのほぼ全体のものです。勝率差分は各チャンピオンについて、それぞれのサーバーで前サイクルとの差を出したものです（たとえば、PBE8.9のムンドはPBE8.8のムンドとの差を出してあり、ライブサーバー8.8のムンドとの差ではありません）。見づらいグラフで申し訳ありませんが、内製ツールのスクリーンショットからほんの少し調整したものになっています。
こういった、PBEとライブサーバーでのパフォーマンスの違いには、さまざまな要因があります。
- PBEには勝利を目指すのではなくおかしなことを試そうとするプレイヤーが多く、AFKなども多く見られます
- PBEのマッチメイキング品質は粗悪です（プレイヤー間の技量の差が非常に大きい）。サーバーのプレイヤー人口が少ないこと、ほとんどのプレイヤーについて正しい技量を示せるほどの対戦履歴がないこと、この両方が原因です。
- 適切なマッチメイキングができたとしても、ほとんどのチャンピオンでサンプルサイズに適した試合数まで達することができません。あるチャンピオンについて数百試合程度のデータが得られただけでは、誤差範囲がひどく大きくなってしまい、1～2人のプレイヤーがそのチャンピオンをスパムしただけの試合がデータの多くを占めてしまうことすらあるでしょう。
- 初めてのことにチャレンジするプレイヤーも多く見られます（APシヴァーナなどがあります）。
- などなど
- バグの特定と再現
- 変更についての感想。ゲームとして変更内容を試してみたプレイヤーと、どこか別の場所（ボードやReddit、Surrender@20のようなところ）で変更内容を読んだプレイヤーの両方からのもの
- 他プレイヤーの行動に大きく依らない、直観性と有用性の評価。このスキルは使用時にスムーズに感じるか？ ツールチップの内容はわかりやすいか？
