Cada token se guarda en un espacio vectorial entre mas cerca esten uno del otro mayor es su relacion semantica o similitud, te doy un consejo antes de opinar estupideces lee libros de bases matemáticas para machine learning, lee el paper transformers, asi no quedas como estupido