ایا TensorFlow Keras Tokenizer API د ډیری مکرر کلمو موندلو لپاره کارول کیدی شي؟
یکشنبه ، 14 اپریل 2024
by انقرب
د TensorFlow Keras Tokenizer API په حقیقت کې د متن په کورپس کې د ډیری مکرر کلمو موندلو لپاره کارول کیدی شي. ټوکن کول د طبیعي ژبې پروسس کولو (NLP) کې یو بنسټیز ګام دی چې د متن په کوچنیو واحدونو، په ځانګړې توګه د کلمو یا فرعي کلمو ماتول شامل دي، ترڅو نور پروسس اسانه کړي. په TensorFlow کې د Tokenizer API د اغیزمن ټوکن کولو لپاره اجازه ورکوي