TensorFlow ve NLP tekniklerini kullanarak şiir oluşturmak için bir yapay zeka modeli eğitme eğitim sürecinde şarkı sözlerinin tokenleştirilmesi birkaç önemli amaca hizmet eder. Belirteçleştirme, bir metni belirteç adı verilen daha küçük birimlere ayırmayı içeren doğal dil işlemede (NLP) temel bir adımdır. Şarkı sözleri bağlamında, simgeleştirme, şarkı sözlerinin bölünmesini içerir.