機械学習をビジネスに応用するにあたって、そもそもビジネスでは何を求められるのかから考える一冊。
機械学習×ビジネスの観点からは、
目的関数：機械学習で学習して最小化／最大化を目指す関数
評価指標：自分たちが達成したいビジネス上の目標との近さを学習後に計るための指標
KPI：ビジネス上の目標の達成度合いを計るための指標
という整理がある。
この切り分けをミスると機械学習の目的関数をコネコネするだけに留まってビジネス上のKPIは達成されない。そのためには、二つを繋ぐ評価指標を適切に設定しなければならない。評価指標には、教科書的な様々な指標があるが、そもそもビジネスに適合するように自分で作ってもよい。
今まさに「自分で評価指標を上手く設定したい」というケースがあって、ちょうど刺さる。助かる。
私が解きたい具体的なケースについて書くと、
【前提】
・日次ロングショート戦略S1を評価するとする。
・S1では全銘柄が値動きしやすい順にランク付けされて評価されるとする。
・ロングをm銘柄、ショートをn銘柄だけ毎日選ぶとする。
【解きたいケース】
新たな戦略S2を考案した際に、S1に対して改善されているかを評価したい。
【問題意識】
①従来、Claude Codeに丸投げしていたところ、S1とS2は何故かスピアマンの順位相関係数で評価されていた（そして、S1に対して不一致だった銘柄による差分から改善幅を評価されていた）。しかしながら、私の問題意識としては、スピアマンの順位相関係数とは全銘柄の順位を評価するための相関係数であるため、実際にポジションを建てるロングm銘柄・ショートn銘柄に限った戦略の評価には適していないのではないかと感じていた。
②また、そもそも論としてロングm銘柄・ショートn銘柄を一つの戦略S1で全銘柄をランキングして選ぶことに疑問を感じ始めていた。つまり、ランキング形式のS1ではなく、ロングm銘柄の二値問題＋ショートn銘柄の二値問題の新戦略S2があり得るのでは、ということ。
【主なヒント】
・モデルを作る際には「確率を予測することに関心がある」のか「クラスラベルを予測することに関心がある」のかを突き詰めるべきで、この場合だと後者。
・まずは混同行列から戦略の全体像を把握した方がいい。
・その上で、
①True Positive（収益銘柄を当てる→ポジションを建てるべき収益銘柄をm/nに正しく分類する）を増やす
②True Negative（損失銘柄を当てる→ポジションを建てないべき損失銘柄をm/n以外に正しく分類する）を増やす
③False Positive（収益銘柄を外す）を減らす
④False Negative（損失銘柄を外す）を減らす
という4つの命題があり得る。
この4つの命題のどれを重視するかは、ビジネス課題（＝私のトレーディング戦略）次第。ここから定義し直すべき。
【副次的なヒント】
・ロングショート戦略は当てるべき銘柄数が少ないので（真のクラスにPositiveが少なくNegativeが多い不均衡データであるため）、PR曲線・PR-AUCを使うといいのでは。
・ランキングよりも二値問題の方が（おそらく）解きやすい。
【メモ】
Amazonレビューではなぜか評価が低いが、コンピュータサイエンスをちゃんとやったことない初学者にはちょうどいい最初の一冊だった。
（おわり）