Normalisasi Word Vector Dalam Word Embedding: Pendekatan Aljabar Untuk Meningkatkan Kualitas Representasi Kata
No Thumbnail Available
Date
2023-08-31
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Word Embedding adalah suatu metode yang merubah sebuah kata menjadi sebuah vektor. Vektor yang merpresentasikan makna dari sebuah kata tersebut disebut dengan word vector. Penelitian mengenai Word Embedding sudah sangat jauh berkembang hingga menciptakan beberapa metode yang baik seperti Word2Vec, FastText, GloVe, dan lain-lain. Namun, salah satu dari metode tersebut masih memiliki kekurangan, yaitu terdapat pada model Skip-gram dari Word2Vec untuk fungsi penerjemah. Kekurangan yang dimaksud adalah ketidakkonsistenan antara fungsi objektif untuk mempelajari word vector, transformasi linear, serta pengukuran jarak antara word vector di kedua bahasa. Salah satu peneliti mengemukakan bahwa langkah awal dari menyelesaikan ketidakkonsistenan tersebut dengan menormalisasikan word vector. Penelitian pada skripsi ini terfokuskan pada proses Word Embedding dengan model Skip-gram serta menormalisasikan word vector yang diperoleh dari model skip-gram dengan norm. Jarak antara Word vector yang telah dinormalisasi menjadi saling berdekatan. Hasil dari kajian penelitian ini diharapkan dapat memberikan pemahaman terkait proses Word Embedding dengan model Skip-gram dan solusi dari ketidakkonsistenan tersebut yang dapat digunakan pada penelitian selanjutnya
Description
Keywords
normalisasi, word embedding, skip-gram