ファクター理論

ファクター理論の考え方
CAPMを拡張したファーマフレンチのファクターモデルに基づく

わかりやすい解説
https://note.com/moto12345/n/n6dceb5fc7571

ETHのリターン=マーケットベータ＊ベータ感応度＋
（LSのファクター値）＊a + (ボラティリティのファクター値)*b + スペシフィックリターン

ファクター分析

LS

ある日（9/22）のLSと価格の関係

相関係数

          ls      dif
ls   1.00000  0.06006
dif  0.06006  1.00000

ラグなしリターンとの相関係数だとさらに成績が改善

            ls      dif0
ls    1.000000 -0.098875
dif0 -0.098875  1.000000

LSとリターンの相関係数の累積和

1日ごとに計算

LSとリターン（ラグなし）の相関係数の累積和

訂正的な説明：価格が上がった銘柄はその時LSが低い

ボラティリティ highlowが正しくなかった

方向ボラティリティ

i["trend1"]=i["close"].pct_change(1)
i["atr"]=(i["high"]-i["low"])/i["close"]*1
i["atr"]=i["atr"].rolling(7).mean()
df["atr"]=df["atr"].where(df["trend1"]>0 , -df["atr"])

ボラティリティとリターンの相関係数の累積和

かなり顕著な傾向が見られた
- 前日上昇したハイボラティリティ銘柄は次の日下がる
- 前日下落したハイボラティリティ銘柄は次の日上がる
- ハイボラティリティ銘柄はリバーサルの現象が起きやすい
- 下落相場だからこの特性が表れている気もする

ある日のボラティリティとリターンの相関関係

正規分布じゃない
バックテスト
- 試しに方向性atr単体ファクターでバックテストしてみたら、かなり勝率高そうだった

方向を加味しない純粋なATRを指標として用いた場合

i["atr"]=(i["high"]-i["low"])/i["close"]*1
i["atr"]=i["atr"].rolling(7).mean()

方向を加味しない純粋な(前日のみの)ATRを指標として用いた場合

前日のみの方向性ATRを用いた場合

前日騰落率をファクター値とした場合

high lowが正しくない問題への対処

5月中旬ごろから１時間足になっている

1270 2022-05-13 01:00:00
1271 2022-05-13 05:00:00
1272 2022-05-13 09:00:00
1273 2022-05-13 13:00:00
1274 2022-05-13 17:00:00
1275 2022-05-13 21:00:00
1276 2022-05-14 01:00:00
1277 2022-05-14 05:00:00
1278 2022-05-14 09:00:00
1279 2022-05-14 13:00:00
1280 2022-05-14 16:00:00
1281 2022-05-14 17:00:00
1282 2022-05-14 18:00:00
1283 2022-05-14 19:00:00
1284 2022-05-14 20:00:00
1285 2022-05-14 21:00:00
1286 2022-05-14 22:00:00
1287 2022-05-14 23:00:00
1288 2022-05-15 00:00:00
1289 2022-05-15 01:00:00


        dfa=df[df["ti"]<=datetime(2022,5,14,13)]
        dfb=df[df["ti"]>=datetime(2022,5,14,16)]
        
        dfa["high"]=dfa["high"].rolling(6).max()
        dfa["low"]=dfa["low"].rolling(6).min()
        dfb["high"]=dfa["high"].rolling(24).max()
        dfb["low"]=dfa["low"].rolling(24).min()
        df=pd.concat([dfa,dfb])

これで改善した

ボラティリティ

全期間の全銘柄の散布図と、累積相関係数
- 前日が上がった入ボラ銘柄は売られる。逆もしかり

方向性を考慮しないただのボラティリティ 7day

入ボラ銘柄のほうが買われる

方向性なし。ATRは前日のhighlow差分のみ

前日にはいぼらだと売られる

方向性あり。ATRは前日のhighlow差分のみ

モメンタム

前日騰落率とリターン
- 見た感じ当然だけど方向性ATRと相関してるから一緒に使っちゃダメ

LSで単回帰して予測値を算出。
予測値を前日騰落率で回帰。残さをあらたな予測値とする。（直行化）
その予測値を、さらにマーケットベータ感応度（直近７日とかで算出する）で回帰して残さをあらたな予測値とする。
さらにいろんなファクターで、、、
前日の確定リターンに対しても複数ファクターで直行化して残さ（スペシフィックリターン）を算出する。スペシフィックリターンリバーサルの特性が観測されるから、それを用いてさらに当日の予測値を回帰して残さをあらたな予測値とする。
＊ファクター値とスペシフィックリターンは相関しないから、前日騰落率とスペシフィックリターン（両社ともリバーサル特性）のような一見相関しそうな指標同士は一緒に使って大丈夫。

上記のように、複数ファクターで順番に控除していくのか、それとも重回帰で一気に控除していくのかむずかしい。UKIさんのツイートでFNって調べると、これが参考になった。
https://twitter.com/aru_crypto/status/1544550010930401281?s=46&t=46DZcWB463uem8ZWqJRbyw

FN実践


import pandas as pd
import numpy as np
import requests
from datetime import datetime
import time
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
#import ccxt
import gc
from tqdm import tqdm
from scipy import stats
import json
import sys
import matplotlib.pyplot as plt
import re
import datetime as dtx
import os


def neutralize_series(series, by, proportion=1.0):
   #１次元の縦行列にする
   #scoreが目的関数、exposuresが説明関数
   scores = series.values.reshape(-1, 1)
   exposures = by.values.reshape(-1, 1)
   print(scores)
   
   # this line makes series neutral to a constant column so that it's centered and for sure gets corr 0 with exposures
   exposures = np.hstack(
       (exposures, np.array([np.mean(series)] * len(exposures)).reshape(-1, 1)))
   print(exposures)
   
   #線形回帰をNPでやってる
   #dotは内積
   correction = proportion * (exposures.dot(
       np.linalg.lstsq(exposures, scores)[0]))
   corrected_scores = scores - correction
   #ravel=多次元を１次元に
   neutralized = pd.Series(corrected_scores.ravel(), index=series.index)
   return neutralized


#df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df=pd.read_csv("testdata.csv")
print(df)
b=neutralize_series(df["A"],df["fn"])
print(b)
#f["fn"]=b
#df.to_csv("testdata.csv")



fig=plt.figure(dpi=120)
plt.xticks(rotation =45)
ax1 = fig.add_subplot(1, 1, 1)
ax1.grid(which = "major", axis = "x", color = "blue", alpha = 0.5,linestyle = "--", linewidth = 1)
ax1.grid(which = "major", axis = "y", color = "green", alpha = 0.5,linestyle = "--", linewidth = 1)
ax1.scatter(df["A"],df["fn"],label="beforeFN")
ax1.scatter(df["A"],b,color="orange",label="afterFN")
#ax1.set(title="pnl",xlabel='time', ylabel="pnl(%)")
ax1.legend(bbox_to_anchor=(1.0, 1))   #ラベルを右に

仮想通貨データで試してみる

回転させてるように見える
これ結構わかりやすい
- y軸：LS
- x軸：LS７日平均
- ”LS７日平均”の”LS”への相関が高い成分だけいい感じに消えてる

前処理の大切さ

FNは回帰分析をつかってるから、正規分布を仮定している。
そのため、価格系列のデータを使うときは対数変換&異常値排除
また、回転を行っているので、平均０。
重回帰分析もおいおいするならスケーリングもしておいたほうがいいから、標準化しておいたほうがいい。

まとめると対数変換＋異常値＋標準化が必要

変換時に-infとかができるからreplace,fillnaする
前処理無し
前処理あり

前処理の手順

全値を正の数にする
対数変換
inf,nan除去
異常値排除
標準化
FN

重回帰実践(事前FN)

テストデータ＝学習データの場合

インサンプルだとFNしないほうがいい。
これはしょうがない
特徴量はls,dif0,trend7

FNあり
[-7.71111975e-08 2.60022886e-07 -8.52166213e-07]
FNなし
[-0.06049714 -0.07953951 -0.01355275]

各特徴量について

FNしないと結構極端に相関関係をとらえてしまう
→アウトオブサンプルで予測した際に、特徴量とターゲットとの相関関係が変化すると性能が劣化する。
複数指標を使っていても、学習データでターゲットｙとの相関が特に強い特徴量の線形な関係性が極端に用いられてしまうから、その特徴量が効かない相場になった途端にワークしない。
ＦＮして、特徴量とターゲットとの線形成分を除去したのはいいけど、完全に直交化したら、そもそもその特徴量はターゲットに対して何の説明力も持たないのでは？

FNなし
dif0と予測値の散布図
FNあり
dif0と予測値の散布図
dif0と実際のyの散布図

事後FN

UKIさんのツイート見たら事後的にFN（予測値に対してのFN）が効いてるって言ってたから、そちらも試してみる

FNなし
LSで事後FN
さらにdif0でFN
さらにtrend7

特徴量をクロスセクションで相対化する

時系列でラグ特徴量を作成したのちに、クロスセクションで相対化

ヒストグラム確認

相対化した特徴量のヒストグラムを確認
- これによって、タイムシリーズで定常な分布となる。
時系列結合でも見てみる
atrはさすがに対数分布っぽい。他は歪度が高い正規分布っぽい
対数分布でも結局分布を定常にしたいだけだから対数変換しなくていい？
- 対数変換せずに標準化した結果

atrの分布が気持ち悪い(エラー修正)

確認してみた

              sc            atr       high      low         close
464     AAVEUSDT      12.521418   3914.670  0.09910    312.630000
805      ADAUSDT      77.132485    167.716  0.32308      2.170200
1146    ALGOUSDT     190.841108    351.720  0.38152      1.841000
3366    ATOMUSDT     117.294028   3914.670  0.09910     33.374000
4004    AVAXUSDT       1.005245     58.420  0.17110     57.945000
4345     AXSUSDT       3.747271    471.230  0.23550    125.690000
5528     BCHUSDT       1.007300    625.280  0.38152    620.370000
6068     BNBUSDT       1.006319    471.230  0.32308    467.950000
6573     BTCUSDT       1.008627  61547.560  0.05170  61021.050000
8134     CHZUSDT  189277.941692  61547.560  0.05170      0.325170

high-lowの計算が間違ってた

#highlowの計算
sc=df.groupby("sc")
vol=[]
for ind,i in sc:

    ia=i[i["ti"]<=datetime(2022,5,14,13)]
    ib=i[i["ti"]>=datetime(2022,5,14,16)]

    ia["high"]=ia["high"].rolling(6).max()
    ia["low"]=ia["low"].rolling(6).min()
    ib["high"]=ib["high"].rolling(24).max()
    ib["low"]=ib["low"].rolling(24).min()
    i=pd.concat([ia,ib])
    vol.append(i)
df=pd.concat(vol)

コード

#指標を作成
def indi(df):
    
    #銘柄ごとに指標のラグ特徴量を作成
    sc=df.groupby("sc")
    vol=[]
    for ind,i in sc:
        #LS
        i["difls"]=i["ls"].pct_change(1)
        
        #価格
        #i["predif"]=i["close"].pct_change()
        i["dif"]=i["close"].pct_change().shift(-1)
        i["trend30"]=i["close"].pct_change(30)
        i["trend7"]=i["close"].pct_change(7)
        i["trend1"]=i["close"].pct_change(1)
        
        #ボラ
        i["atr"]=(i["high"]-i["low"])/i["close"]*1
        i["atr7"]=i["atr"].rolling(7).mean()
        #i["hige"]=(i["high"]-i["close"])/i["close"]
        vol.append(i)
    
    #データ結合
    df=pd.concat(vol)
    #df["atr"]=df["atr"].where(df["trend1"]>0 , -df["atr"])
    
    
    
    
    #時間ごとに特徴量を相対化
    
    vol=[]
    for ind,i in df.groupby("ti"):
        #print(ind)
        for a in ["ls","difls","dif","trend30","trend7","trend1","atr","atr7"]:
            
            i[a]=scipy.stats.zscore(i[a])
            print(i[a])
            
            i[a]=i[a].fillna(0)
            fig=plt.figure(dpi=120)
            plt.xticks(rotation =45)
            ax1 = fig.add_subplot(1, 1, 1)
            ax1.grid(which = "major", axis = "x", color = "blue", alpha = 0.5,linestyle = "--", linewidth = 1)
            ax1.grid(which = "major", axis = "y", color = "green", alpha = 0.5,linestyle = "--", linewidth = 1)
            #ax1.scatter(df[s],df[m],label="beforeFN",alpha=0.1)
            ax1.hist(i[a],bins=100)
            ax1.set(title=f"{a}",xlabel='time', ylabel="pnl(%)")
            
            
        vol.append(i)

特徴量の相関係数のヒートマップ

atrどうしや、trend特徴量の相関が高い→直交化

直交化して再度ヒートマップ

#特徴量直交化
df=df.fillna(0)
df["atr7"]=neutralize_series(df["atr7"],df["atr"])

#ヒートマップ
a=["ls","difls","dif","trend30","trend7","trend1","atr","atr7"]
print(df[a].corr())
sns.heatmap(df[a].corr())

atr7をatrに対して直交化した
- fillna(0)してるから気持ち悪いけど

trendも直交化

trend30は二回直交化
diflsも一応相関あるからFN

df["atr7"]=neutralize_series(df["atr7"],df["atr"])
df["trend7"]=neutralize_series(df["trend7"],df["trend1"])
df["trend30"]=neutralize_series(df["trend30"],df["trend1"])
df["trend30"]=neutralize_series(df["trend30"],df["trend7"])
df["difls"]=neutralize_series(df["difls"],df["ls"])

いったんバックテストしてみる

40銘柄21時 pred_y　重回帰分析
LGBMreggressor
- 全く汎か性能ない（笑）

スペシフィックリターンを算出してみる

code

df["sp"]=df["trend1"]
for i in ["ls","difls","trend30","trend7","atr","atr7"]:
    df["sp"]=neutralize_series(df["sp"],df[i])

相関係数

   li       coe
0  ls -0.112939
1  sp -0.096485

50銘柄
- なんか強そう
５銘柄

LSとスペシフィックリターン

40銘柄
30銘柄
specific retrunとは
- https://qiita.com/blog_UKI/items/c718334247a083f250c7

最後にスペシフィックリターンであるが、上記までに部分的な機械学習モデルの出力を含めて全ての特徴量が出揃ったら、それら全てを用いてリターンを直交化して独自のスペシフィックリターンを算出する。スペシフィックリターンは強いリバーサルの特性（ファクターリターンが負方向に推移する）を持つ場合が多く、原理的には情報を控除すればするほどその性能が向上する（はずである）。このため、控除対象として機械学習を用いたクラスタや非線形の情報を使うことは、この性能を向上する上で非常に重要である。下図は控除する情報を増やした場合、スペシフィックリターンの持つ予測性能がどのように向上していくか示している。

訓練期間を変えて試してみる

code

# 学習データとテストデータに分ける
tii=datetime(2022,5,1)
df["ti"]=pd.to_datetime(df["ti"])
train=df[df["ti"]<=tii]
test=df[df["ti"]>=tii]

train_X=train[li]
train_y=train["dif"]
test_X=test[li]
test_y=test["dif"]
df_X=df[li]

~5/1

損益計算
   li       coe
0  ls -0.148759
1  sp -0.118043
回帰係数 [-0.14875944 -0.11804299]
決定係数（r2）:0.00939
平均誤差（MAE）:0.048
RMSE:0.07

~2/1

   li       coe
0  ls -0.125903
1  sp -0.149567
回帰係数 [-0.12590263 -0.14956725]
決定係数（r2）:0.00719
平均誤差（MAE）:0.048
RMSE:0.07

一旦、ls spモデルを実装＆実稼働

実稼働 2022/10/4~

特徴量の定常性に関して研究

月ごとのlsのヒストグラムを確認

各月ごと
見づらいので８．９月のみ
相対化しない場合
- 下のように月によってぶれが生じる

difのヒストグラム

difは定常性がない

重大なミス発覚

時間ごとに特徴量を相対化ができていなかった
- 最後のconcat(vol)を書き忘れてた
- 描画が大事

    #時間ごとに特徴量を相対化
    vol=[]
    for ind,i in df.groupby("ti"):
        #print(ind)
        #print(i[["sc","atr","high","low","close"]])
        for a in ["ls","difls","dif","trend30","trend7","trend1","atr","atr7"]:
            
            i[a]=scipy.stats.zscore(i[a])
            #print(i[a])
            
            #ヒストグラム
            """
            #i[a]=i[a].fillna(0)
            #if i[a].isnull().all()==False and a=="atr":
            if i[a].isnull().all()==False:
            
                fig=plt.figure(dpi=120)
                plt.xticks(rotation =45)
                ax1 = fig.add_subplot(1, 1, 1)
                ax1.grid(which = "major", axis = "x", color = "blue", alpha = 0.5,linestyle = "--", linewidth = 1)
                ax1.grid(which = "major", axis = "y", color = "green", alpha = 0.5,linestyle = "--", linewidth = 1)
                #ax1.scatter(df[s],df[m],label="beforeFN",alpha=0.1)
                ax1.hist(i[a],bins=100)
                ax1.set(title=f"{a}",xlabel='time', ylabel="pnl(%)")
            """
            
        vol.append(i)
    df=pd.concat(vol)

特徴量の相対化をやった後のバックテスト結果 25銘柄

学習期間を変えてみて、バックテスト結果と回帰係数を確認してみる

結局LSとSPの回帰係数の比によって結果が変わる
- ３月まではLSがSPに対して有効だったから、LSを重視しすぎている
- ８月までにするとLSの予測力が低くなるため、SPの重要度が相対的に高い
3月

   li       coe
0  ls -0.023936
1  sp -0.004565

5月

   li       coe
0  ls -0.031033
1  sp -0.019716

８月

   li       coe
0  ls -0.019592
1  sp -0.030720

trend30も入れてみる
- 過剰適合している
- 必ず回帰係数を確認しないといけない

        li          coe
0  trend30 -3672.314702
1   trend7   -53.421259
2       sp    -0.079352

重回帰の過剰適合の原因を探る

エラー修正

この分布が原因そう
- fillna(0)がだめ
lsは分布がきれい

nanの数を確認

trend30が多すぎる


sc                   0
ls                   0
sell_ratio       18956
timestamp        18956
open_interest    18970
period           18956
start_at         18956
open             18956
high               262
low                262
close                0
ti                   0
volume           18334
buyvol           18334
oi               37276
difls             5902
dif                142
trend30          37014
trend7           24872
trend1            5902
atr               5383
atr7             24618
ret                142
dtype: int64
37290

相対化するときに標準化にnanが含まれてた

    #時間ごとに特徴量を相対化
    vol=[]
    for ind,i in df.groupby("ti"):
        #print(ind)
        #print(i[["sc","atr","high","low","close"]])
        for a in ["ls","difls","dif","trend30","trend7","trend1","atr","atr7"]:
            
            i[a]=i[a].fillna(0)
            i[a]=scipy.stats.zscore(i[a])

直交化する前と後のLSのヒストグラムを確認

diflsで直行化する前と後
- ほぼほぼ変わらない
- 異常値が真ん中に寄る
- バックテスト結果もほぼ変わらない

LSの値を予測する

指標を作成&相関を確認

        li       coe
0       ls  0.889976
1    difls  0.183629
2   difls7 -0.010343
3  difls30 -0.020703
4   lsdev7 -0.087950
5    lsma7  0.023583

各指標のヒストグラムを確認

ma系が左に歪みすぎてる
- これは交互作用とか次第で有益な指標かも
生値を確認したら違った
各時間でlsma7のヒストグラムを確認した
銘柄を確認してみる
- その時々で（他の銘柄と比べて相対的に）長期間LSが小さい銘柄が発掘できた
- これらの銘柄は特別な挙動を示すかもしれない

print(i[i[a]==i[a].min()][["sc",a]])

とりあえずlsmaとdevは正規分布じゃないから、それらを覗いて直交化

#とりあえずlsmaとdevは正規分布じゃないから、それらを覗いて直交化
for i in ["ls","difls","difls7","difls30","lsdev7","lsdev30","trend1","trend7","trend30"]:
    print(i)
    for k in ["ls","difls","difls7","difls30","lsdev7","lsdev30","trend1","trend7","trend30"]:
        if i != k:
            df[i]=neutralize_series(df[i],df[k])

分布を確認した感じマシになった

再度特徴量同士の相関を確認

下と右は目的変数＆FNしていない特徴量

学習

翌日までのLSの変化量を予測する

予測実測プロットの作成
以下二つの特徴量がLSのリターン予測において説明力がある
- 移動平均乖離率→１週間平均よりも下がりすぎるとリバウンドする
- 前日のLS変化量→リバーサル

         li       coe
0        ls  0.000447
1     difls -0.190711
2    difls7 -0.036090
3   difls30  0.079195
4    lsdev7 -0.371127
5   lsdev30 -0.310811
6    trend1  0.067384
7    trend7  0.098877
8   trend30  0.074465
9      dev7 -0.002332
10    dev30  0.006336
11    lsma7  0.030261
12   lsma30 -0.001242

相関係数 0.40087785237434065

lsnextを予測してみる
- lsが効きすぎるし、前のデータをそのまま予測しちゃってるような気がするから微妙そう

相関係数 0.8484678175039243
損益計算
損益計算
         li       coe
0        ls  0.612766
1     difls  0.139410
2    difls7  0.144509
3   difls30  0.197832
4    lsdev7  0.287352
5   lsdev30  0.327357
6    trend1 -0.152228
7    trend7 -0.286963
8   trend30 -0.290511
9      dev7 -0.002200
10    dev30  0.003584
11    lsma7  0.018805
12   lsma30  0.001803

pred_yとlsretのヒストグラムを確認

予測値のほうが控えめな値を出す

LSretの予測値をさらに新たな特徴量として加えてみる

現在特徴量として強力にワークしているLSとlsretpredが相関していないか確認
- 割と大丈夫そう
difとの相関を確認

fig=plt.figure(figsize=(6,6))
df[["dif","trend1","ls","pred_y","lsdev7","difls"]].corr()["dif"].iloc[1:].plot.bar()

実装

predlsretを出力
直交化

df["plsret"]=neutralize_series(df["plsret"],df["trend1"])
df["plsret"]=neutralize_series(df["plsret"],df["ls"])

結論：劣化した

原因
- plsretがリターンに対して時系列で安定した特性を示さない
相関係数はちゃんとある

       li       coe
0      ls -0.035179
1      sp -0.031559
2  plsret  0.031689

特徴量にplsretを入れる前
入れた後

df=pd.read_csv("test.csv")
lsret=pd.read_csv("03pred_lsret.csv")[["sc","ti","pred_y"]]
df=pd.merge(df,lsret,on=["sc","ti"])
print(df.columns)
print(df.isna().sum())
======================
Index(['Unnamed: 0', 'Unnamed: 0.1', 'sc', 'ls', 'sell_ratio', 'timestamp',
       'open_interest', 'period', 'start_at', 'open', 'high', 'low', 'close',
       'ti', 'volume', 'buyvol', 'oi', 'pred_y'],
      dtype='object')
Unnamed: 0           0
Unnamed: 0.1         0
sc                   0
ls                   0
sell_ratio       18956
timestamp        18956
open_interest    18970
period           18956
start_at         18956
open             18956
high               262
low                262
close                0
ti                   0
volume           18334
buyvol           18334
oi               37276
pred_y               0
dtype: int64

XGBoostでLSを予測してみる

参照
- uki github
- https://github.com/UKI000/JQuants-Forum/blob/main/jquants02_news_uki_predictor.py
install

(base) C:\Users\taku2>pip install xgboost
Collecting xgboost
  Downloading xgboost-1.6.2-py3-none-win_amd64.whl (125.4 MB)
     |████████████████████████████████| 125.4 MB 3.3 MB/s
Requirement already satisfied: scipy in c:\users\taku2\anaconda3\lib\site-packages (from xgboost) (1.6.2)
Requirement already satisfied: numpy in c:\users\taku2\anaconda3\lib\site-packages (from xgboost) (1.20.1)
Installing collected packages: xgboost
Successfully installed xgboost-1.6.2

実装

model = XGBRegressor(max_depth=6, learning_rate=0.01, n_estimators=3000, n_jobs=-1, colsample_bytree=0.1, random_state=0)
model.fit(train_X, train_y)
pred_y = model.predict(df_X)

特徴量重要度

事後FNによって線形成分を取り除く

FNなし　XGB 5月まで訓練
FNあり　XGB

pred_y=neutralize_series(pd.Series(pred_y),df["ls"])
pred_y=neutralize_series(pd.Series(pred_y),df["difls"])

５月まで
- ちょっと成果出そうだけど、むずいなあ

li=["ls","difls","trend1"]
model = XGBRegressor(max_depth=6, learning_rate=0.01, n_estimators=300, n_jobs=-1, colsample_bytree=0.1, random_state=0)
#中立化
for i in li:
    pred_y=neutralize_series(pd.Series(pred_y),df[i])

定常性に関して再検討

dif

各時間で標準化（クロスセクションで相対化）したものを月ごとに表示
- 割と定常
- ファットテール（トレンドフォローが効く可能性示唆）

#定常性について検討
    df["mon"]=df["ti"].dt.month
    df=df[df["ti"]>datetime(2022,5,1)]
    print(df)
    
    fig=plt.figure(dpi=120)
    for ind,i in df.groupby("mon"):
        a="dif"
        
        q=0.025
        i[i[a]>i[a].quantile(1-q)]=i[a].quantile(1-q)
        i[i[a]<i[a].quantile(q)]=i[a].quantile(q)
        
        plt.xticks(rotation =45)
        ax1 = fig.add_subplot(1, 1, 1)
        ax1.grid(which = "major", axis = "x", color = "blue", alpha = 0.5,linestyle = "--", linewidth = 1)
        ax1.grid(which = "major", axis = "y", color = "green", alpha = 0.5,linestyle = "--", linewidth = 1)
        #ax1.scatter(df[s],df[m],label="beforeFN",alpha=0.1)
        ax1.hist(i[a],bins=100,alpha=0.4,label=f"month{ind}")
        ax1.set(title=f"month   {a}",xlabel='', ylabel="")
        ax1.legend(bbox_to_anchor=(1.0, 1))   #ラベルを右に

曜日
平日と土日でも変化なし

atr

atrに関して
atrretを予測

相関係数 0.47710374303751435
     li       coe
0    ls -0.029137
1    sp  0.081840
2   atr  0.715933
3  atr7 -0.384286

ls

ls
lsma30
lsmaだけ分布が汚い
- 元の分布を表示させてみる

fr

対数変換がうまくいかない
もとの分布

frに適当なランダム数字を割り振る

適当なランダム数字を割り振る
- 標準偏差１以内に収まるようにいい感じに散らす
- 0.0001を中心にする
- いい感じになった！

                if a=="fr":
                    se=np.arange(0.0001-i[i[a]!=0.0001][a].std() ,0.0001+i[i[a]!=0.0001][a].std(),0.00001 )
                    odf=i[i[a]==0.0001 ]
                    odf[a]=np.random.choice(se, len(i[i[a]==0.0001 ]))

月ごとの分布
midを0にした

fr込みでバックテスト

frを散らしすぎたせいか成果が出ない

シャープレシオ 0.25146979789109875
相関係数 0.021719312672249386
   li       coe
0  sp -0.001031
1  ls -0.001948
2  fr  0.000099

対数変換はうまくいかない

クロスセクションで対数か

if a=="fr":
    #対数変換
    i[a]=i[a]
    i[a]=i[a]-i[a].min()
    i[a]=i[a].apply(np.log)
    i = i.replace([np.inf, -np.inf], np.nan)
    i=i.fillna(0)

全時系列で対数か

        #対数変換
        """
        a="fr"
        df[a]=-df[a]
        #df[a]=df[a]-df[a].min()
        #df[a]=df[a]-0.5
        #df[a]=df[a].apply(np.log)
        #df[a]=df[a].apply(np.log)
        df = df.replace([np.inf, -np.inf], np.nan)
        df=df.fillna(0)
        """

標準化はしないほうがいい

標準化はしないほうがいい
→FRは相対値よりも絶対値が大事＝リターンとの線形的な関係性を持つ

fr標準化なし＆分散あり
- バックテストはFR単体
fr標準化あり＆分散あり

quantile

最終バックテスト

li=[“sp”,“ls”,“fr”]

損益計算
シャープレシオ 0.21985590811969388
相関係数 0.02629230276413826
   li       coe
0  sp -0.001072
1  ls -0.001887
2  fr -0.001426
回帰係数 [-0.00107201 -0.00188671 -0.00142605]
決定係数（r2）:0.00058
平均誤差（MAE）:0.049
RMSE:0.071

目的関数の代替関数を作る全部間違ってる

分類タスク

2分類

        #目的関数
        i["retclass2"]= pd.qcut(i["dif"], 2, labels=[0,1])
        i["retclass3"]= pd.qcut(i["dif"], 3, labels=[0,1,2])
        i["retclass5"]= pd.qcut(i["dif"], 5, labels=[0,1,2,3,4])

損益計算
シャープレシオ 0.1272594684756887
相関係数 0.022215797157039533
   li       coe
0  sp -0.004142
1  ls -0.000320
回帰係数 [-0.004142   -0.00032034]
決定係数（r2）:-0.00257
平均誤差（MAE）:0.5
RMSE:0.501

5分類

特徴量を大量に入れてみる

二値分類が結構いい

損益計算
シャープレシオ 0.20666805329125426
相関係数 0.026042783964642532
           li       coe
0          ls  0.010463
1       difls -0.002639
2       stdls  0.006532
3   difls_std  0.006172
4   ls_lsma30  0.001901
5      difls7 -0.008448
6     difls30  0.005655
7      lsdev7 -0.001172
8     lsdev30 -0.009438
9       lsma7 -0.012735
10     lsma30  0.006552
11     trend1 -0.002693
12     trend7 -0.005050
13    trend30  0.004113
14       dev7 -0.005439
15      dev30 -0.004832
16        atr -0.007551
17       atr7  0.003664
18         fr -0.014193
19         sp -0.003510
回帰係数 [ 0.01046285 -0.00263948  0.00653189  0.00617152  0.00190053 -0.00844805
  0.00565455 -0.00117188 -0.0094376  -0.01273536  0.00655189 -0.00269292
 -0.00505044  0.00411324 -0.00543941 -0.00483228 -0.0075507   0.00366355
 -0.01419305 -0.00350971]
決定係数（r2）:-0.00207
平均誤差（MAE）:0.499
RMSE:0.501

説明変数にランクを入れるとやたら相関高くなる

16        atr -0.008109
17       atr7  0.003607
18         fr -0.002242
19         sp  0.005306
20  trend1_c2 -0.049447
21  trend7_c2 -0.049447

マーケット特徴量,ranking特徴量

よしそAMAやtwitterを参考に入れてみる
- 交互作用が強いらしい（マーケット）

    #時間ごとに特徴量を相対化
    aaa=True
    if aaa:
        print("#時間ごとに特徴量を相対化")
        vol=[]
        for ind,i in df.groupby("ti"):
            #指標
            i=i.dropna(subset=["dif","trend1","trend7"])
            if len(i)==0:
                continue
            
            #ランキング
            i["retclass2"]= pd.qcut(i["dif"], 2, labels=[0,1])
            i["retclass3"]= pd.qcut(i["dif"], 3, labels=[0,1,2])
            i["retclass5"]= pd.qcut(i["dif"], 5, labels=[0,1,2,3,4])
            i["trend1_c2"]= pd.qcut(i["trend1"], 2, labels=range(2) )
            i["trend1_c3"]= pd.qcut(i["trend1"], 3, labels=range(3) )
            i["trend7_c2"]= pd.qcut(i["trend1"], 2, labels=range(2) )
            i["trend7_c3"]= pd.qcut(i["trend1"], 3, labels=range(3) )
            #市場全体 指標
            i["market"]=[i["trend1"].mean()]*len(i)
            i["bull"]=[  i[i["trend1"]>0]["trend1"].count()/len(i) ]*len(i)
            bullbear=i[i["trend1"]>i["trend1"].mean() ]["trend1"].mean()-i[i["trend1"]<i["trend1"].mean() ]["trend1"].mean()
            i["bullbear"]=[bullbear]*len(i)

分類問題やり直し

線形でマーケット特徴量は微妙

18         fr -0.005985
19         sp -0.023962
20     market -0.018494
21       bull  0.001064
22   bullbear -0.002191

LGBMにマーケット特徴量入れてみる

損失関数が減った!!!

li=["trend1","ls","difls","market","bull","bullbear"]
if sw==2:
    params = {
              'task': 'train',              # タスクを訓練に設定
              'boosting_type': 'gbdt',      # GBDTを指定
              'objective': 'binary',    # 分類
              'metric': 'binary_logloss',             # 評価関数
              'learning_rate': 0.01,         # 学習率
              #"num_leaves":30,
              "max_depth":4
              }

損益計算
シャープレシオ 0.25876462875724626
相関係数全体 0.1132148772929254
相関係数訓練 0.14743100154517633
相関係数テスト 0.08542211486046501

回帰で解いてみる

だめ

GBDTについて深堀

ツリーを可視化してみる

簡単な決定木だと可視化できる
https://qiita.com/perico_v1/items/fbbb18681ecc362a4f9e

import lightgbm as lgb
from sklearn.tree import plot_tree
from sklearn.tree import  DecisionTreeRegressor

# create model
model = DecisionTreeRegressor(max_depth=2) # シンプルな木にするため2階層に指定
model.fit(X_train, y_train)
plt.figure(figsize=(16, 6))
plot_tree(model, feature_names=X_train.columns, filled=True, proportion=True, fontsize=10)
plt.show()

SHAP

#shap
plt.figure(figsize=(6,6))
explainer = shap.Explainer(model, X_train)
shap_values = explainer(X_train)
shap.plots.bar(shap_values, max_display=20) # max_displayで表示する変数の最大数を指定
shap.plots.beeswarm(shap_values, max_display=20) # max_displayで表示する変数の最大数を指定
shap.plots.scatter(shap_values[:,'trend1'], color=shap_values)
shap.plots.scatter(shap_values[:,'market'], color=shap_values)
plt.show()

SHAPの絶対値
shap

# 全サンプルについて、各特徴量のSHAP値の分布を可視化したもの
# 上記の棒グラフ同様、予測に対する寄与度が大きい順にソートされて表示される
# 色は特徴量の値の大小を表している(赤が大きくて青が小さい)
# LSTATの値が小さいほど予測値(住宅価格)は大きくなることがわかる

shap 1

# ある1つの特徴量(今回はRM)について、訓練データ全体でのその特徴量(RM)の値と、対応するSHAP値の散布図を作成
# 横軸が特徴量の値、縦軸が対応するSHAP値
# SHAP値は予測値に対する特徴量の寄与を示すので、この図から、RMが変化したら予測値がどう変化するか読み取れる
# RMが大きいほどSHAP値は大きい、つまり、home priceが大きくなることを示している

# また、このグラフでは選択した特徴量(RM)と他の特徴量との相互作用も確認できるようになっていて
# color引数にshap値の変数を指定すると、自動的に適した変数が選択される
# 今回はRADが選ばれていて、RADの大小によって、同じRMでもSHAP値が異なることが確認できる

shapの値から特徴量の特性を判断する

market

前日marketが下落した日はtrend1が小さい（前日市場平均よりももっと下がった）ものが買われる
- 逆に市場平均より耐えたものは翌日売られる
前日マーケットが上昇すると、市場平均をアウトパフォームしたものはもっと買われる。
- アンダーパフォームしたものは次の日売られる

atr atr7

atrは逆張り、atr7は順張りの傾向がある

ls lsma7

やっぱり逆張り
lsが低くてボラが低いと上がる？
- lsが高いと下がる

shapをもとに合成指標を作って重回帰で線形送還を見る

#合成指標
i["trend1_market"]=i["trend1"]/i["market"]
i["atr_market"]=i["atr"]/i["market"]
i["atr7_market"]=i["atr7"]/i["market"]
i["ls_atr"]=i["ls"]/i["atr"]

バックテスト

sp,lsだけ
いろいろ使った
- li=[“sp”,“ls”,“trend1_market”,“atr_market”,“atr7_market”]

ベータ感応度

    #ベータ感応度
    print("ベータ感応度")
    vol=[]
    market=df[df["sc"]=="BTCUSDT"]
    for ind,i in df.groupby("sc"):
        i=i.sort_values("ti")
        #結合
        ii=pd.merge(i,market,on="ti",suffixes=["","_market"])
        #fillna
        ii["trend1"]=ii["trend1"].fillna(0)
        ii["trend1_market"]=ii["trend1_market"].fillna(0)
        #回帰
        model = LinearRegression()
        model.fit(ii[["trend1_market"]], ii["trend1"])
        pred_y = model.predict(ii[["close"]])
        ii["pred_y"]=pred_y
        #print(pred_y)
        #print(ii[["sc","ti","sc_market","trend1","trend1_market"]])
        print(model.coef_)
        fig=plt.figure(dpi=120)
        plt.xticks(rotation =45)
        ax1 = fig.add_subplot(1, 1, 1)
        ax1.scatter(ii["trend1_market"],ii["trend1"],label=f"{ind} {model.coef_} {ii[['trend1','trend1_market']].corr().iloc[1,0]}",alpha=0.25)
        ax1.legend()   #ラベルを右に

特徴量の相関

ちょっとあやしい

ヒストグラム　定常性

クラスタリング

def kmeans(df):
    from sklearn.cluster import KMeans
    df=df[df["ti"]>datetime(2022,9,1)]
    
    #クラスタリング　クロスセクション
    vol=[]
    for ind,i in df.groupby("ti"):
        i=i.fillna(0)
        kmeans = KMeans(n_clusters=2, max_iter=30, init="random", n_jobs=-1)
        cluster = kmeans.fit_predict(i[["ls","trend7"]].values)
        i["cluster"]=cluster
        vol.append(i)
    df=pd.concat(vol)
    
    #銘柄ごとのクラスター平均値
    kf=df.groupby("sc").mean()
    
    #グラフ
    fig=plt.figure(dpi=150)
    ax=sns.scatterplot(data=kf,x="ls",y="trend7",hue = "cluster",)
    #ラベル
    kf["sc"]=kf.index
    kf["sc"]=kf["sc"].apply(lambda x :x[:-4])
    for ind,i in kf.iterrows():
        ax.text(i["ls"],i["trend7"],i["sc"], fontsize="xx-small")
    print("fin")
    sys.exit()

過去30日rollingdataで検証したクラスターの平均値
- こうやってやるしかない気がする

銘柄ごとにファクターへの感応度を調べる

銘柄ごとのlsとdifの相関係数
- クロスセクション標準化済み
標準化なし

異常値排除大事かも

unfiの散布図

             sc        co
56     FLOWUSDT -0.308259
140     ZILUSDT -0.269387
99       OPUSDT -0.259461
127    UNFIUSDT -0.244993
100  PEOPLEUSDT -0.221613
..          ...       ...
134     XMRUSDT  0.068429
132     XEMUSDT  0.076617
115   SPELLUSDT  0.141948
86    LUNA2USDT  0.151788
141     ZRXUSDT  0.178938

lsで説明できないリターンのファクターリバーサル

LSで線形回帰した残さ＝LSで説明できない部分
これが特徴量になったりしないか
y=ax+b　のｂ

def ls_sen(df):
    vol=[]
    for ind,i in df.groupby("ti"):
        #回帰
        model = LinearRegression()
        model.fit(i[["lslast"]], i["trend1"])
        pred_y = model.predict(i[["ls"]])
        i["beta"]=pred_y
        #i["beta_sen"]=[model.coef_[0]]*len(ii)
        i["trend1_ls"]=i["trend1"]-i["beta"]         #ｌｓで予測できなかったtrend1の成分
        vol.append(i)
    df=pd.concat(vol)

li=[“trend1_ls”]

全体で回帰ver

    #回帰
    model = LinearRegression()
    model.fit(df[["lslast"]], df["trend1"])
    pred_y = model.predict(df[["ls"]])
    df["beta"]=pred_y
    #i["beta_sen"]=[model.coef_[0]]*len(ii)
    df["trend1_ls"]=df["trend1"]-df["beta"]         #ｌｓで予測できなかったtrend1の成分

ユニバース選定

li=[“sp”,“ls”]

週１ポジション（１週間持ち続ける）

月

火

水

木

金

土

日

週１ポジション（１日だけ）

月

火

水

木

金

土

日

market<0

5,10,30

market>0

atrは大きい銘柄のほうがいい

atrが小さい銘柄でやるときれいな右肩下がり

atrの分布

めちゃくちゃポジティブスキュー

trend1の分布

lsは大きい銘柄のほうがいい

beta感応度をちゃんと実装＆スペシフィックリターンリバーサル検証

def get_beta(df):
    #ベータ感応度
    print("\nベータ感応度")
    vol=[]
    market=df[df["sc"]=="BTCUSDT"]
    for ind,i in tqdm(df.groupby("sc")):
        i=i.sort_values("ti")
        #結合
        ii=pd.merge(i,market[["ti","trend1"]],on="ti",suffixes=["","_market"])
        #fillna
        ii["trend1"]=ii["trend1"].fillna(0)
        ii["trend1_market"]=ii["trend1_market"].fillna(0)
        
        #ベータ一部期間
        vol2=[]
        for n in range(len(ii)):
            i3=ii.iloc[n-7:n,:].copy()    #https://qiita.com/miler0528/items/32a5d338b4b313fb8898
            #print(i3)
            #回帰
            if len(i3) ==7:
                model = LinearRegression()
                model.fit(i3[["trend1_market"]], i3["trend1"])
                pred_y = model.predict(i3[["trend1_market"]])
                i3["beta"]=pred_y
                beta_sen=model.coef_[0]
                alpha=i3["trend1"].tail(1).to_list()[0]-i3["beta"].tail(1).to_list()[0]
            else:
                beta_sen=np.nan
                alpha=np.nan
            vol2.append({"beta_sen":beta_sen,"alpha":alpha})
            #print(i3["sc"].unique(),beta_sen)
        ab=pd.DataFrame(vol2)
        ii["beta_sen2"]=ab["beta_sen"]
        ii["alpha2"]=ab["alpha"]        
        vol.append(ii)
    #データ結合
    df=pd.concat(vol)
    return df

trend1とaplhaの比較
alphaの自己相関

    for ind,i in df.groupby("sc"):
        i["alpha_ret"]=i["alpha2"].shift(-1)
        fig=plt.figure(dpi=120)
        plt.xticks(rotation =45)
        ax1 = fig.add_subplot(1, 1, 1)
        #ax1.scatter(ii["trend1_market"],ii["trend1"],label=f"{ind} {model.coef_} {ii[['trend1','trend1_market']].corr().iloc[1,0]}",alpha=0.25)
        ax1.scatter(i["alpha2"],i["alpha_ret"],label=f"{ind}")
        #ax2=ax1.twinx()
        #ax1.bar(i["ti"],i["trend1"],color="orange",alpha=0.5)
        ax1.legend()   #ラベルを右に
        print(i[["alpha2","alpha_ret"]].corr().iloc[0,1] )
    sys.exit()

-0.0920876787295905
-0.03380395658027237
-0.12990771143143728
0.07140482392801528
-0.05258264312763598
-0.1863481902578635
-0.226322438834671
-0.19133725990052589
-0.11260738036265244
-0.05073073953704172
-0.15768125726676127
-0.0796899234696409
-0.12136034491483873
0.059604627741644545
-0.07709724447456101
-0.06410029679818585
-0.04705921875703488
-0.023609913100188385
0.004221702123679208
-0.20282087488102007
0.07090753511310113
0.14021162284229283
-0.17520639102369343

分布

上昇銘柄と下落銘柄のパフォーマンスの違い

市場平均より下落した銘柄

lsは順相関
- LSが高い銘柄が落ちずらい
- LSが低い銘柄が大きく落ちる

df=df[df["dif"]<0]

市場平均より上昇した銘柄

課題

特徴量同士の相関のケア
predyに対して特徴量で直交化
　線形な重回帰でもつかえるの？
特徴量を作成するときに、クロスセクションでの相対値にしなくていいの？

マーケットベータを算出する
重回帰でも分割検証
２１時以外
非線形な特徴量でスペシフィックリターンを控除
代替の指標を予測する
セクターごとに指標を正規化する
分布の定常性を高める工夫をする
LSが下がっても折込が甘い銘柄をロング
LSの分散とか移動平均とかを考慮

LS移動平均乖離、LS前日騰落率を特徴量にしたらいいのでは
lsretの予測値を新たな特徴量にする
lsma7を使ってみる
ボラを予測する
高値安値を予測
lsの分散とかを見る

LSにypredを足して予測してみる

目的関数をリニア、分類などいろいろなものにしてみて、それらの結果をアンサンブルする
特徴量重要度出してみる

複数の特徴量を使ったほうがロバストにはなるのか？
期待値は変わらず、SRは若干劣化していても、指標が２個より５個のほうがロバストになるのか

銘柄ごとにファクターから影響の受けやすさを定量化する
１　銘柄ごとにタイムシリーズ回帰
２　クロスセクション標準化＋ファクターで全体回帰して、残さのでかさを算出
　　その平均値を銘柄ごとに算出

LSで線形回帰した残さ＝LSで説明できない部分
これが特徴量になったりしないか
y=ax+b　のｂ

指標同士の直交化を深堀

周１回ポジる
　曜日ごとで挙動変化チェック

よしそAMA

ビッグデータのほうがロバストな傾向がある　現在の潮流として
データ数数百万とか

目的関数にエッジがある（よしそ）
リターンが正規分布じゃないから線形回帰はだめ
だからクラシフィケーションなどのバイナリーデータでの予測のほうがいい（たぶん分類問題）
UKI：クロスエントロピードスを損失関数にしてる？
残さリターンはある程度正規性を仮定できることがある
回帰でも分類でも遜色ない
１日目に中間だった値が次の日にランク１位になったときとかを考えると、分布の繊維に対して正規分布を仮定するのは難しい
変換しても分布のもとの性質はあんまり変わらない
応用としてトリプルバリアとかがある

サンプリング
IIDは独立分布を仮定
逐次ブートストラップで学習することでIIDらしい分布からの学習っぽくできる
サンプル数が超長期のデータの場合
サンプルを確保しつつIID性を保つ

RICHWOMAN：サンプリング反対
リサンプリング使う？　使わない（よ）
よ：ディープラーニングで優位性もとめてるからリサンプリングしない
逆にレアなイベントとか狙うならいいかも

過去にやったこと
２０１８では１５分間の移動平均から下振れてた銘柄を買えば無限に儲かったのが２，３週間あった
pumpdumpがはやったときに、事前に予知する戦略
週で２，３銘柄に仕込んで売る　週次１０％　１か月くらい
・株
numeraiのTCでは、numeraiに対する貢献度が高いほど評価される
メタモデルと逆相関するモデルだけど、モデル自体は、、、わからん

執行戦略の工夫
エッジにかかわりそう（UKI
予測力＞執行力
全部テイクオーダーでぶん投げてる
UKI：テイクで利益出せるのが信じられない　（UKIめちゃびびる）

マーケットが変わると
ある程度の分布のずれは再学習で何とかなる
完全に変わるとモデル作り直し

分投げどれくらい？
ロット数は板次第
ベストだけ？２，３枚？（UKI
マーケット全体の１％とか？

DLで好みのネットワーク構造は？
トランスフォーマー、S4
だんとつCNN
計算コストと、処理できる～の依存関係がキャッチできる

RNN　LSTMとかは学習に時間がかかるのが問題
CNNはトラんけーとされたRNNと解釈できる
RNNだからと言って過去の依存関係をめっちゃ見れるわけではなく、CNNで十分
TCNとか時系列特化のやつがあるが、生の単純なCNNでいい

４次元データでやったらどうみたいな話がある（UKI
画像的な意味合いもある？UKI
２次元で画像的な意味合いをキャプチャーしたい
３次元だったらそこにアルファーがある

UKI　トランスフォーマーであんまよくならなかった
　目に見張るような改善はなかった
シンプルにデータが足りん
ｓ４がシンプルでそれなりの結果
状態空間モデルをベース
内部状態を推論しながら未来を予測
ＲＮＮ系とｓ４はちがう？ＵＫＩ
今までのモデルで解けなかったものが解けるようになっていることがすごい（ＹＯ

グラフラーニング使ってる？GNN
試したいが試してない

モデル戦略
一つのモデルを強くするのか、アセットを分散するのか？
YO:一つのモデルを強くする
numeraiは１５０個モデルを回してて、１０個ライブで選んでる
問題設定次第、安定運用志向

特徴量を増やすときにOHLCVをこねくり回してふやしていい？
条件によるが基本的に有効ではない
OHLCVからだったら移動平均乖離と標準偏差、volumeだけ
とくちょうりょうを増やすならデータソースを増やす

特徴量にノイズを与えたりしてる？
試したがかいぜんしない　UKI＆よしそ

どういったスコア付けを行ってるか
トレンドとレンジの変化をどう落とし込むか
将来リターンをラベルとして使う
ある程度期待値を犠牲にする

市場変化、ＤＬモデルでそれをどうケアしてるか
為替だとファンダメンタルがないから、そういう特徴量でケアするしかない
大きいタイムフレームでのパターンがないとか！
ＤＬうんぬんより十分に特徴量が市場環境を表現できているか

相場ごとにモデルを変えるか？
ひとつでカバー：よしそ
ＵＫＩも
レジームに対応するような特徴量を入れていけばいい：よしそ
いいレジーム特徴量は？ＵＫＩ
意図してレジーム特徴量を入れる
よ：相場全体から集約した特徴量
全銘柄のうちで何％が上がってるかとか
そういう指標が効く！

FNの説明

https://hackmd.io/@taku5595/B1IYhYVMs

ファクター理論

ファクター分析

LS

ある日（9/22）のLSと価格の関係

LSとリターンの相関係数の累積和

LSとリターン（ラグなし）の相関係数の累積和

ボラティリティ highlowが正しくなかった

ボラティリティとリターンの相関係数の累積和

ある日のボラティリティとリターンの相関関係

方向を加味しない純粋なATRを指標として用いた場合

方向を加味しない純粋な(前日のみの)ATRを指標として用いた場合

前日のみの方向性ATRを用いた場合

前日騰落率をファクター値とした場合

high lowが正しくない問題への対処

ボラティリティ

方向性を考慮しないただのボラティリティ 7day

方向性なし。ATRは前日のhighlow差分のみ

方向性あり。ATRは前日のhighlow差分のみ

モメンタム

FN実践

仮想通貨データで試してみる

前処理の大切さ

前処理の手順

重回帰実践(事前FN)

テストデータ＝学習データの場合

各特徴量について

事後FN

特徴量をクロスセクションで相対化する

ヒストグラム確認

atrの分布が気持ち悪い(エラー修正)

コード

特徴量の相関係数のヒートマップ

直交化して再度ヒートマップ

trendも直交化

いったんバックテストしてみる

スペシフィックリターンを算出してみる

LSとスペシフィックリターン

訓練期間を変えて試してみる

一旦、ls spモデルを実装＆実稼働

特徴量の定常性に関して研究

月ごとのlsのヒストグラムを確認

difのヒストグラム

重大なミス発覚

学習期間を変えてみて、バックテスト結果と回帰係数を確認してみる

重回帰の過剰適合の原因を探る

エラー修正

nanの数を確認

直交化する前と後のLSのヒストグラムを確認

LSの値を予測する

各指標のヒストグラムを確認

とりあえずlsmaとdevは正規分布じゃないから、それらを覗いて直交化

再度特徴量同士の相関を確認

学習

翌日までのLSの変化量を予測する

pred_yとlsretのヒストグラムを確認

LSretの予測値をさらに新たな特徴量として加えてみる

実装

結論：劣化した

XGBoostでLSを予測してみる

事後FNによって線形成分を取り除く

定常性に関して再検討

dif

atr

ls

fr

frに適当なランダム数字を割り振る

fr込みでバックテスト

対数変換はうまくいかない

標準化はしないほうがいい

quantile

最終バックテスト

目的関数の代替関数を作る 全部間違ってる

分類タスク

2分類

5分類

特徴量を大量に入れてみる

説明変数にランクを入れるとやたら相関高くなる

マーケット特徴量,ranking特徴量

分類問題やり直し

線形でマーケット特徴量は微妙

目的関数の代替関数を作る全部間違ってる

ヒストグラム　定常性