Resultados de RMSLE distintos en comet que lo que calculo

Re: Resultados de RMSLE distintos en comet que lo que calculo

de Sara Silva -
Número de respuestas: 0
Hola Valentina,

Me parece que lo que está pasando es simplemente que Val RMSLE es para cada fold, y el mean es efectivamente la media. O sea mirando en el momento en que definis "Val RMSLE" en tu código, es:

for k in range(n_splits):
metrics_step = {
'Train RMSLE': train_scores[k],
'Val RMSLE': val_scores[k],
}
cmt_exp.log_metrics(metrics_step, step=k)

Se va a loggear un diccionario para cada fold con el step k. No tengo claro qué hace Comet cuando le indicás el step pero mirando rápidamente la documentación dice que:

step (Optional[int], default: None ) –
Used as the X axis when plotting on Comet.

o sea que simplemente va a loggear esa métrica para cada step que le pases en el eje x, en ningún momento parece hacer un promedio. Si a vos te aparece un solo valor problemente sea el del último fold o algo del esitlo.

Espero que sea este el problema, fijate si coincide el valor del último fold con lo que te está guardando ahí Comet. Sino cualquier cosa consultá de nuevo.

Saludos