Engenharia de atributos para dados financeiros

Dar ao modelo entradas comparáveis

Um preço de 250 não significa nada para um modelo: depende da ação e tende a subir com o tempo, de modo que os valores de 2020 nunca se parecem com os de 2010. A engenharia de variáveis transforma dados brutos em entradas comparáveis no tempo e entre ativos: retornos em vez de preços, volatilidade em vez de faixas, escores padronizados em vez de níveis. Boas variáveis pesam mais no resultado que a escolha do modelo, e cada uma deve descrever só o que era conhecido naquele dia.

import numpy as np

prices = np.array([100.0, 101.0, 99.0, 102.0, 104.0, 103.0, 106.0])

window = 3
momentum = np.full(len(prices), np.nan)
momentum[window:] = prices[window:] / prices[:-window] - 1          # the return over the last 3 days
print(np.round(momentum, 4))                                        # nan for the first 3 days: no price 3 days back

Janelas que olham para trás

A maioria das variáveis são estatísticas de uma janela retroativa: os últimos n valores até hoje inclusive. O momentum compara hoje com n dias atrás; a volatilidade móvel é o desvio-padrão dos últimos n retornos; o z-score móvel diz a quantos desvios-padrão da janela hoje está da média da janela. Com sliding_window_view obtêm-se todas as janelas como linhas de uma matriz e calcula-se a estatística ao longo de um eixo, sem laço. Os primeiros n - 1 dias não têm janela completa e ficam nan.

import numpy as np

prices = np.array([100.0, 101.0, 99.0, 102.0, 104.0, 103.0, 106.0])
returns = np.diff(prices) / prices[:-1]
window = 3

windows = np.lib.stride_tricks.sliding_window_view(returns, window)        # every 3-day window as a row
vol = np.full(len(returns), np.nan)
vol[window - 1:] = windows.std(axis=1, ddof=1)
print(np.round(vol, 4))                                                    # nan nan then one value per complete window

p_windows = np.lib.stride_tricks.sliding_window_view(prices, window)
z = np.full(len(prices), np.nan)
z[window - 1:] = (prices[window - 1:] - p_windows.mean(axis=1)) / p_windows.std(axis=1, ddof=1)
print(np.round(z, 3))                                                      # how unusual each price is for its last 3 days

# Features put prices of different stocks on the same footing
import numpy as np

cheap = np.array([5.0, 5.2, 5.1, 5.4, 5.5])
dear = np.array([500.0, 520.0, 510.0, 540.0, 550.0])           # ten times the price, the same movements
print(cheap[-1] / cheap[-3] - 1, dear[-1] / dear[-3] - 1)        # identical momentum, about 0.0784 for both
print(dear[-1] - dear[-3], cheap[-1] - cheap[-3])                # price changes (40.0 and 0.4) would not be comparable

O alvo olha para a frente

O que o modelo prevê é o alvo, normalmente o retorno dos próximos h dias: prices[t + h] / prices[t] - 1. É a única coluna autorizada a olhar para a frente, e é nan nos últimos h dias porque o futuro ainda não aconteceu; remova essas linhas antes de treinar. Um erro comum é uma variável que contém o alvo por acidente, como uma janela centrada, uma estatística calculada com todos os dados ou um retorno futuro reutilizado como entrada. O teste é simples: uma variável do dia t não deve mudar quando se acrescentam dias posteriores.

import numpy as np

def forward_return(prices, horizon):
    out = np.full(len(prices), np.nan)
    out[:-horizon] = prices[horizon:] / prices[:-horizon] - 1
    return out

def momentum(prices, window):
    out = np.full(len(prices), np.nan)
    out[window:] = prices[window:] / prices[:-window] - 1
    return out

prices = np.array([100.0, 101.0, 99.0, 102.0, 104.0, 103.0, 106.0])
print(np.round(momentum(prices, 2), 4))                 # looks back: known on each day
print(np.round(forward_return(prices, 2), 4))           # looks forward: the target, nan for the last 2 days

# The prefix test: a feature computed on the first 5 days equals the first 5 values of the full computation
print(np.allclose(momentum(prices[:5], 2), momentum(prices, 2)[:5], equal_nan=True))      # True

• Transforme preços em variáveis comparáveis: momentum prices[t] / prices[t - n] - 1, volatilidade móvel, z-score móvel, cada um sobre uma janela retroativa que inclui hoje.
• sliding_window_view dá cada janela como linha, então as estatísticas dispensam laço; os primeiros n - 1 dias ficam nan.
• O retorno futuro prices[t + h] / prices[t] - 1 é o alvo, nunca uma variável; verifique cada variável com o teste do prefixo.

A seguir: a validação walk-forward, testar um modelo na ordem em que o tempo realmente flui.

Lab: o que é avaliado

• Medir a tendência com momentum25 pts
• Acompanhar o risco recente com rolling_vol25 pts
• Dizer quão incomum é hoje com rolling_zscore25 pts
• Definir o alvo com forward_return25 pts