Llamar a C++ con pybind11

Cuando Python necesita C++

Buena parte del código serio del mundo del trading es C++: motores de casamiento, gestores de datos de mercado, bibliotecas de valoración afinadas durante quince años. Rara vez quieres reescribirlo y rara vez quieres renunciar a Python para investigar. pybind11 es el puente: una biblioteca C++ de solo cabeceras en la que escribes unas líneas que dicen «expón esta función de C++ a Python con este nombre», las compilas en una biblioteca compartida y la importas desde Python como cualquier módulo. Los argumentos y resultados se convierten por ti: una lista de Python de floats pasa a ser un std::vector<double> y viceversa.

# A C++ function and the pybind11 file that exposes it to Python (shown here as text)
cpp = """\
#include <pybind11/pybind11.h>
#include <pybind11/stl.h>
#include <vector>

namespace py = pybind11;

double mean(const std::vector<double>& x) {
    double total = 0.0;
    for (double v : x) total += v;
    return x.empty() ? 0.0 : total / x.size();
}

PYBIND11_MODULE(fastmath, m) {
    m.def("mean", &mean, "Mean of a list of floats");
}
"""
lines = cpp.splitlines()
print(lines[-2].strip())                             # m.def("mean", &mean, "Mean of a list of floats");
print(len(lines))                                    # 15

Los tipos a través del puente

Cada tipo de Python tiene un equivalente en C++: int es int64_t, float es double, str es std::string, una lista de floats es std::vector<double>; todo lo demás puede guardarse como un py::object genérico. Incluir <pybind11/stl.h> hace automáticas las conversiones de contenedores estándar. Pasa los valores grandes por referencia constante (const std::vector<double>& x) para que la función de C++ no los copie, y los pequeños, como números, por valor. La conversión de una lista de Python a un vector aún copia una vez por llamada, así que para arrays grandes usa py::array_t<double>, que ve directamente la memoria de un array de NumPy sin copiar.

# Choosing the C++ type of each argument; big values are passed by const reference
CPP_TYPES = {"int": "int64_t", "float": "double", "str": "std::string", "list[float]": "std::vector<double>"}

def cpp_type(py_type):
    return CPP_TYPES.get(py_type, "py::object")

def cpp_signature(name, params, returns):
    result = "void" if returns is None else cpp_type(returns)
    arguments = []
    for param, py_type in params:
        ctype = cpp_type(py_type)
        arguments.append(f"const {ctype}& {param}" if ctype.startswith("std::") else f"{ctype} {param}")
    return f"{result} {name}({', '.join(arguments)})"

print(cpp_signature("mean", [("x", "list[float]"), ("n", "int")], "float"))      # double mean(const std::vector<double>& x, int64_t n)
print(cpp_signature("label", [("symbol", "str")], "str"))                       # std::string label(const std::string& symbol)

Compilación, GIL y propiedad

Se construye con CMake (pybind11_add_module) o con pybind11.setup_helpers en un setup.py, y el resultado es un archivo .so o .pyd que se importa. Hay dos cosas que saber. Primero, mientras corre el código C++, el bloqueo global del intérprete (GIL) sigue retenido salvo que lo liberes con py::gil_scoped_release; un cálculo largo en C++ que no toque objetos de Python debería liberarlo para que otros hilos de Python puedan correr. Segundo, la propiedad: si C++ devuelve una referencia o un puntero a su propia memoria, Python no debe sobrevivirla (py::return_value_policy lo controla), y un fallo sin traza de Python suele indicar un puntero colgante. Prueba las funciones enlazadas desde Python contra una versión de Python puro, igual que en los laboratorios anteriores.

# Binding lines and the module file, generated from a table of functions
BACKSLASH = chr(92)

def binding_line(py_name, cpp_name, doc):
    escaped = doc.replace(BACKSLASH, BACKSLASH + BACKSLASH).replace('"', BACKSLASH + '"')
    return f'm.def("{py_name}", &{cpp_name}, "{escaped}");'

def module_source(module, functions):
    lines = ["#include <pybind11/pybind11.h>", "#include <pybind11/stl.h>", "", "namespace py = pybind11;", ""]
    lines.append(f"PYBIND11_MODULE({module}, m) {{")
    for py_name, cpp_name, doc in functions:
        lines.append("    " + binding_line(py_name, cpp_name, doc))
    lines.append("}")
    return "\n".join(lines) + "\n"

source = module_source("pricing", [("mean", "mean_impl", "Mean of x"), ("price", "bs_price", 'Black-Scholes "call" price')])
print(source.splitlines()[-3])                       #     m.def("mean", &mean_impl, "Mean of x");
print(source.splitlines()[-2])                       #     m.def("price", &bs_price, "Black-Scholes \"call\" price");

# From Python the built module is used like any other; this stand-in has the same interface
import types

def mean(x):
    """Mean of a list of floats"""
    return sum(x) / len(x) if x else 0.0

fastmath = types.SimpleNamespace(mean=mean)          # stands in for `import fastmath` after the build
print(fastmath.mean([100.0, 102.0, 101.0]))          # 101.0
print(fastmath.mean.__doc__)                         # Mean of a list of floats   the doc string given to m.def
print(fastmath.mean([]))                             # 0.0   what the C++ code returns for an empty vector

• pybind11 expone funciones de C++ a Python con PYBIND11_MODULE y líneas m.def(...); el resultado es un módulo .so/.pyd importable.
• Los tipos se corresponden: int→int64_t, float→double, str→std::string, listas→std::vector; pasa los valores grandes por referencia constante y los arrays de NumPy como py::array_t.
• Libera el GIL en trabajos largos de C++ puro, vigila quién posee la memoria devuelta, valida las entradas en la frontera y prueba contra una versión de Python puro.

A continuación: hilos y el GIL, lo que los hilos de Python pueden y no pueden hacer en paralelo.

Lab: qué se califica

• Asociar tipos de Python y de C++ con cpp_type25 pts
• Declarar una función con cpp_signature25 pts
• Exponer una función con binding_line25 pts
• Ensamblar el módulo con module_source25 pts