Pero si ese fuera el caso, cuando el paquete llega al host destino (el de la LAN), el protocolo TCP del host vería que no tiene ninguna conexión que se corresponda con esa IP y descartaría el paquete (la IP origen de un paquete que entra a la LAN no se modifica, NAT modifica sólo la IP destino de los paquetes entrantes (y el número de puerto destino y los checksums)).
En cuanto a los segmentos FIN, si el router NAT los examinara para borrar entradas de la tabla, seguramente sí tendría en su tabla la dirección IP del host externo, pero como un dato más, al igual que los números de secuencia, y realizaría el chequeo por motivos de seguridad, como vos explicás; pero no por eso pasa a ser un identificador de la conexión.
No veo la necesidad de que esa IP de un host externo a la LAN forme parte de la clave en la tabla.
Saludos!