Hola Juan, la diferencia de potencial la calculás entre dos puntos cualesquiera como vos bien decís, se puede definir como el trabajo por unidad de carga ejercido por el campo eléctrico para mover una partícula cargada entre esos dos puntos, (pensá en la diferencia de energía potencial gravitatoria entre dos puntos como analogía). El potencial , es la diferencia de potencial entre un punto cualquiera y el punto de referencia ( en el caso gravitarotrio usamos el suelo como punto de referencia donde el potencial vale 0) , usualmente para el potencial eléctrico , el punto de referencia donde el potencial vale cero es el infinito.
Espero haberte aclarado, sino por favor volvé a preguntar.
saludos!