Buenas,
Respondo tus consultas:
1) Tu razonamiento es correcto para este problema en particular, ya que lo definimos como que tenemos dada una palabra que es la marca especulativa. Por lo tanto, se espera que si a un sistema le mostrás N ejemplos de oraciones, cada una con una marca especulativa indicada, te devuelva exactamente N spans de texto detectado como especulativo. Entonces, la única posibilidad es que todos los falsos positivos también sean falsos negativos, y se cumple la igualdad que mencionaste.
En cambio, si estuviéramos en un caso general como NER, donde tenés que encontrar todos los spans que puedas, esto no se cumple porque el sistema puede encontrar elementos de más o de menos respecto a los valores esperados.
2) Obviamente el problema es mucho más complejo de lo que se puede mostrar en un ejercicio de práctico. Esto no es para que se pongan a analizar los tipos de marcadores ni las posibles configuraciones que pueden adquirir los spans en el texto. Por ejemplo acá se puede hacer la simplificación de que el span sea continuo e incluya a la marca de especulación. Bajo esos supuestos, la anotación que mostraste es la correcta.
Saludos,
Luis
Respondo tus consultas:
1) Tu razonamiento es correcto para este problema en particular, ya que lo definimos como que tenemos dada una palabra que es la marca especulativa. Por lo tanto, se espera que si a un sistema le mostrás N ejemplos de oraciones, cada una con una marca especulativa indicada, te devuelva exactamente N spans de texto detectado como especulativo. Entonces, la única posibilidad es que todos los falsos positivos también sean falsos negativos, y se cumple la igualdad que mencionaste.
En cambio, si estuviéramos en un caso general como NER, donde tenés que encontrar todos los spans que puedas, esto no se cumple porque el sistema puede encontrar elementos de más o de menos respecto a los valores esperados.
2) Obviamente el problema es mucho más complejo de lo que se puede mostrar en un ejercicio de práctico. Esto no es para que se pongan a analizar los tipos de marcadores ni las posibles configuraciones que pueden adquirir los spans en el texto. Por ejemplo acá se puede hacer la simplificación de que el span sea continuo e incluya a la marca de especulación. Bajo esos supuestos, la anotación que mostraste es la correcta.
Saludos,
Luis