Foro de consultas

Hola, buen dia.
Vamos por partes en las respuestas a las distintas preguntas en este hilo.

Comienzo por Andrés.
"La Plaza Matriz está ubicada en la Ciudad Vieja" dice que tiene esos distintos valores de tokens, porque estuvimos viendo la importancia de las mayúsculas; sobre todo en palabras tales como “vieja” que en realidad ahí el adjetivo como está con mayúscula, se considera como parte de la entidad Ciudad Vieja (como un lugar). El tema del “La” es ambiguo, estoy de acuerdo, pero el criterio sería que a pesar de comenzar con mayúscula – porque es comienzo de oración – no iría junto a Ciudad Vieja, pero podría entenderse que si (un lugar cuyo nombre es “La Ciudad Vieja”); por eso podría considerarse distinto al otro la. Nosotros lo consideramos como iguales ambos (con y sin mayúsculas)

Dicho esto:
- con la cantidad de palabras no hay duda, siempre son 9
- lo que denominamos tipos (o word types) serían 8, tomando las 2 “la” sin importar las mayúsculas – que es lo que comentábamos más arriba
- el punto lo que comentamos es que será reconocido en la tokenización, los algoritmos claramente siempre lo hacen, pero a los efectos de estos conceptos, no lo considerábamos como token.

Agrego aquí la duda de Gabriela, aparecen los 3 valores de tokens posibles, justamente sin considerar las mayúsculas. 7 sería la cantidad de tokens como está ahí la frase y luego, si poniamos vieja con minúsculas y plaza por ejemplo también, ahí no se consideraban entidades nombradas y por tanto plaza Matriz y Ciudad vieja eran tomados como 4 tokens distintos, con lo cual llegábamos a los 9 de la última línea (u 8 si poníamos sólo una de ellas con minúsculas).

Finalmente, respecto a la duda de Diego, lo de los tipos se refiere a palabras distintas dentro del vocabulario – ver la ppt 5 –. Luego lo de la tokenización es cuando es posible juntar más de una palabra/tipo en unidades que reflejan, por ejemplo como decíamos antes, un lugar, una persona o una organización.

Espero haber respondido a las dudas.
Saludos
Juanjo