2023年末にRedditで立てられたスレッドにて、複数のRioterから2024年から改善・導入していく新しいランク戦の評価システムについてのコメントがありました。
プレイヤーとの質疑応答を紹介します。
 |
| 画像元 |
元スレッド
It feels really awful to achieve your highest rating ever by creating a new account instead of improving.（リンク）
質疑応答
LoLのデザインディレクター、RiotIksar氏
Q. まったく上達したわけでもないのに、新しいアカウントでランクに行ったら自分の最高記録にすぐに行ってしまう。このせいでプラチナ以下のランクに誇れる要素なんて全然ないんだよ。
A. これがあなたの慰めになるかわかりませんが、ランクを数戦終わらせた後の新規プレイヤーが入れられる平均的な層はシルバーであり、これは次のシーズンから下げられる予定になっています - 現在の配置はあまりにもひどいものになっています。
最近redditで議論されているような、新アカウントがゴールドやプラチナに混ざるようなことは外れ値になります。（原文）
Q. 新アカウントでのLP増加が激しすぎることで、新しいアカウントでは本来の実力よりも高いランクに到達しがちになっている。これは以前から持っているアカウントで真面目にコツコツ続けるやる気を削ぐものになっています。
A. 私たちはこれから一年を通じてマッチメイキングとランクシステムに大きな変更をいくつも行っていく予定です - その多くは裏側で行われます。理想的には、「本来の」ランクに到達するために新規アカウントを作る理由はなくなり、もしスマーフをするために新アカウントを作られたならば、スマーフアカウントを作る負担が他者を踏み潰すゲーム数にそぐわないほど速やかに私たちがそれを感知して正確なマッチに組み込むようになることです。（原文）
Q. 検出の方法としてはゲームの勝敗だけでなく、ゲーム中にどのようにプレイしているかもチェックするようになるということでしょうか？
10分で100CSとるようなシルバーが検出されるように？
A. 私たちは年明け（ぐらい）からRiot内製の別システムに移行し、その後は年内に「TrueSkill 2」という新システムへの移行を暫定的に計画しています。まだTrueSkill 2の評価は進行中ですが、手堅いシステムだと考えています。
評価が定まればさらなる詳細を皆さんに共有するつもりです―新スプリットの開幕時に間に合うよう、新規アカウントを適切なランクに振り分けるのに役立つ変更が既に実装済みです―さらに、LPの状態が悪化（-30や+20のような）しないような変更も。実際の運用で何が起こるかはこれから見て行きますが―今年を通して調整や修正、バグ修正がたくさん行われると思います。いずれにせよ、（ランク戦の）状態が改善するという確信はありますよ。（原文）
続き
Q. MMRシステムが改善されるのはかなり久しぶりですね。
TrueSkill 2に移行するまでにRiot内製のシステムを使う理由はなぜですか？
A. TrueSkill 2の採用が決定した場合、システムに組み込むには長い時間がかかります―改善を行うのにそんなに長くお待たせしたくはありません。（原文）
Q. LPが-30とか+20とか乱高下する問題はMMRがLPよりも変動が遅いためだとわかっているはずです。ここに変更を与えたことでELOのインフレがもたらされました。過去12年間に大きな問題はなく維持されてきたと思います。
ランク付けの公平さを崩すリスクを取るほどの価値はあるのでしょうか？
A. ランク戦の公平さを犠牲にするつもりはありません―プレイヤーが直感的に予測できるランクに近いところ振り分けられるような変更、これが目標です。
ブロンズは下位の人口約15～20%、ゴールドは中位、などです。結果として、ランク配置は以前のLoLと比べて「インフレした」状態です―しかし、ランク配置の不自然さを改善する変更が行われたのではなく、プレイヤーのランク配置が正されたためだと私は見ています。（原文）
コンペティティブチーム デザインリード、BarackProbama氏
Q. それで、ELOとTrueSkill 2の違いってなんなの？
A. 用語定義：
ELO - Arpad Elo後に作られたチェスのレーティングシステム（英wikiへのリンク）
MMR - マッチメイキングレーティング。LoLでの技術を決定するのに使われている数値で、対戦相手の他プレイヤーとのマッチメイキングに使われる
LoLMMR - LoLで現在使われているベイジアン実力評価システム。（TrueSkill 1の要旨について述べた論文（リンク）があります）経時的なパフォーマンスに基づいてプレイヤーの技量を予測し、より良好な対戦をするためのマッチメイキング情報を提供するのが目的
TrueSkill 2 - TrueSkill 1よりも正確さを高めるべく改良された、実力評価システム
---
私たちが勝利もしくは敗北以外の追加要素を使うあるいは評価に入れるべきであると、TrueSkill 2が示しているわけではありません。とはいえ、私たちは常に精度向上を目指していますし、別の要素を取り入れることで実力の予測精度が上がるのであればそれを試してみるつもりです。（原文）
続き
Q. プレイヤーたちが自分のプレイ内容が評価されることに大喜びしてるところに「いやそんなことないよ」って冷や水をぶっかけられましたw
（訳注：TrueSkillという単語から既存のシステム名ではなく「真の実力を測定する新システム」を想像したコメントが多数書き込まれていた）
A. できる限り最速で正確な実力推定システムを作っています。様々なやり方を試して何が最適かを探っていきます。
TrueSkill 2は試しているものの一つになります。（原文）
Q. おそらくスマーフを迅速に適切なランクに配置することを目的としているのでしょうが、LPの変動にKDAを用いるような変更が計画されているのかが気になります。
A. LPの変動にKDAを用いることは計画にはありません。理にかなっているのであれば検討するでしょうが、それは含まれていません。（原文）
Q. 素人質問で恐縮ですが、いくつか。
疑問
LoLの目標はゲームに勝つことであることは明確で、この目標が達成できたかどうかはゲーム終了時の勝敗で決定されます。
もちろんゲームの結果への貢献度はプレイヤーごとに差があります、15キル5デッドのヴェインは0/13のワーモグトップユーミよりも勝利に貢献しているでしょうし、敗北だった場合は0/13のワーモグトップユーミの敗北への貢献度は大きいものでしょう。
ゲーム内の全プレイヤーのスキルレベルをパフォーマンス内容によって定量化し、優れたプレイヤーが多くのLPを獲得し（失う時は少なくなり）、下手なプレイヤーは獲得LPが減る（そして失う時にはたっぷり減らされる）ようになれば素晴らしいことだと思います。
問題は、ゲームに勝つ手段は多岐に渡り、誰がプラスに貢献して誰がマイナスに貢献したかを把握することが難しいことです。想定されるアプローチとしては、膨大な量のゲームを追跡し優れたプレイヤーがどのようなパフォーマンスをしているかを判断し、これに基づいた評価を実施することです。この評価方法を公開すると、システムを悪用しようとするプレイヤーによって歪んだゲームプレイがされるようになることが容易に予測できるため、公開はしないでいただきたいです。
いずれにせよ、ゲームの勝敗以外の指標は指標でしかありません。例としてKDAを使ってみましょう。高いKDAが多くのゲームにプラスの影響を持つ可能性がありますが、時にはデッドすることが正解の場面がある可能性も否定できません。ここでいくつか質問があります
質問
- ThebausffsがボロボロのKDAを維持しつつチャレンジャーに到達したときのようなプレイでも、新システムは評価してくれますか？（訳注：Thebausffsはサイオンで意図的に倒されながらも暴れ回るプレイで有名な配信者）
- 上への回答が「彼のKDAのマイナスは高いCSと建造物へのダメージで補われる」だった場合、より微妙なシチュエーションはどうでしょうか？ミニオンのファームを捨てて味方の近くにいることを選ぶことでギャンクされることを抑制した時、私は105ゴールドを失ったがチームメイトは生存した。正しい判断をしてなおLP評価はマイナスされてしまうのでしょうか？
- スキルショットの命中率についても他の人が尋ねていました。スキルショットを敵の砲台ミニオンのラストヒットをゾーニングするために使うとどうなるでしょうか？私のスキルショット命中率は下がりますが敵の90ゴールド獲得を阻害しています。これもLP獲得にマイナスに働くのでしょうか？
- そのような評価はLPの査定にわずかにしか影響しないという話になるのでしょうか（例えば+25が+24になる程度だと）？その場合、その違いがプレイヤーに気づかれない程度の差だったとしても価値はあるのでしょうか？
- たとえ評価方法やその係数がプレイヤーに公開されていなかったとしても、プレイヤーが意識して動いてしまうことは懸念されていますか？今でさえ低Eloのプレイヤーは勝敗以上に個人成績を意識する傾向にあります。
- toxicなプレイヤーが増加する心配はありませんか？キルスティールがLPスティールと同じ意味になり、ジャングラーはギャンクしないことをさらに責められることになるでしょう（なぜなら味方ジャングラーが来ること自体がLP獲得量の増加につながるからです）
A. あなたは何故これが困難な取り組みであるかを正確に認識してくれていますね！
もし何かをするとしたら、何百万ものゲームデータをチェックして傾向を把握し、その傾向を使ってランク振り分けや精度の校正そしてLPではなくMMRに反映させることでしょう。
「あなたは優れたKDAであるから、もっとLPをあげましょう！」となる確率はかなり低いでしょうね、なぜならプレイヤーがKDAを目標にプレイするようになり、結果を歪めることになりかねないことが予測されるからです。サーバーの人口の大多数がLPを守るためにプレイするようになり、それ以上のものを失ってしまうのであれば私たちの仕事がうまく行ったとは言えないでしょう。
思考実験として：もしプレイ人口の大多数がKDAを求めてプレイするようになり、白星は増えたもののゲームが退屈なものになってしまった場合、それは許容できる変化か？（一般的にKDA目当てでプレイすると戦闘意欲が減ることを想定してみてください）（原文）
Q. 「客観的に見て優れた」プレイがなんたるかを定義することは困難です。KDAか、CSか、視界か。それぞれでシチュエーションごとになにが優れたプレイになるかは変化します。簡単には設定できない問題でしょう。
A. Trueskillが面白いのは他のシステムと比較して、推定値と実際の実力を迅速にマッチできる点にあります。
もし私たちがKDAがLPに影響するように望んだなら、私たちはTS2に頼ることなくこれを実現可能です。
ランクシステムを大切に考えているため、慎重にやっていきます。（原文）
NextDoorMMR氏（現在の役職の詳細は不明、ワイルドリフトのマッチメイキングを担当した経歴のある人物）
Q. TrueSkill 2はゲーム内のチェックもして報酬を決定します。
メリットは自身のパフォーマンスが良ければゲームに負けても失うものを抑えられる点です。トロールやAFKがより多くを失うようになるためプレイヤーのプレイ意欲にも繋がります。
デメリットは、どのような指標がLPに影響を与えるかが明らかになった場合に、これを悪用することをプレイヤーに推奨してしまう点です。例えば死なないことが重要なら無気力なファームにつながり、視界スコアが重要ならワードに浪費するようになり、CSが重要なら他人のファームを奪うことにつながるでしょう。
これらの予想される問題が実装までに解決されることを願っています。
A. 論文要約を読んでもTrueSkill 2についてはっきりしないかもしれない点があります。（TrueSkill 2が）正確さを上げるためにゲーム内で起こる出来事にさらなる影響を及ぼしうるのにもかかわらず、勝利/敗北条件が最重要だと評価する点です。
勝利/敗北をより精度高く予測するための全てを接続するように、全体のシステムが構築されています。
歴史の授業を少し：ELOのシステム（1960年頃）は一対比較法、ELOが確立されるはるか前の手法（Thurstone, 1927を参照）を使っています。最初のTrueSkill（2006年頃）はこうした元々のモデルをベイジアン拡張したもので、TrueSkill 2はそれをさらに拡張したものです。
ですが、これらは全て勝利/敗北を優先的な予測として使っています。（原文）
0 件のコメント:
コメントを投稿