LAUSR

Di dalam era pencarian maklumat digital, sebuah ringkasan yang dijana secara automatik dapat membantu pembaca mendapatkan maklumat penting dan relevan dengan lebih mudah. Sebahagian besar kajian dan set data penanda aras dalam bidang peringkasan teks secara automatik adalah dalam bahasa Inggeris. Justeru itu, terdapat keperluan kajian dalam bahasa Melayu agar potensi dalam bidang ini lebih kompetitif. Kajian ini juga menyoroti masalah dalam mengenal pasti dan menjana maklumat penting dalam penyediaan ringkasan ekstraktif. Ini kerana model perwakilan teks yang sedia ada seperti BOW mempunyai kelemahan dalam perwakilan semantik yang kurang tepat dan model N-gram pula mempunyai isu penghasilan dimensi vektor kata yang sangat tinggi. Dalam kajian ini, sebuah model peringkasan teks dwibahasa dinamakan MYTextSumBASIC telah dibangunkan untuk menghasilan ringkasan ekstraktif secara automatik dalam versi bahasa Melayu dan bahasa Inggeris. Model MYTextSumBASIC ini menggunakan model perwakilan teks dikenali sebagai FASP yang telah diimprovisasi dengan menggunakan tiga Fitur Kekangan Corak Tekstual iaitu kekangan item kata, kekangan kata urutan bersebelahan dan kekangan saiz urutan. Terdapat tiga fasa utama dalam rangka kerja model MYTextSumBASIC iaitu pembangunan korpus ringkasan bahasa Melayu, pembangunan model MYTextSumBASIC menggunakan perwakilan FASP dan penilaian ringkasan. Dalam fasa penilaian, dengan menggunakan 100 wacana berita bahasa Melayu, prestasi ringkasan yang dihasilkan secara automatik oleh MYTextSumBASIC telah mengatasi ringkasan dari model Baseline (Lead) dan OTS dengan nilai purata tertinggi bagi dapatan semula (R) ialah 0.5849, kejituan (P) ialah 0.5736 dan skor-F (Fm) ialah 0.5772. Bagi penilaian secara manual oleh pakar bahasa, kaedah MYTextSumBASIC telah menghasilkan skor kebolehbacaan sebanyak 4.1 dan 3.87 untuk skor isi kandungan ringkasan yang dihasilkan menggunakan set data rawak. Eksperimen selanjutnya menggunakan set data tanda aras bahasa Inggeris DUC 2002 sebanyak 102 wacana berita juga telah menunjukkan model MYTextSumBASIC telah mengatasi sistem terbaik dan tercorot dalam perbandingan tersebut dengan nilai purata dapatan semula ROUGE-1 (0.43896) dan ROUGE-2 (0.19918). Kesimpulan dari penilaian ringkasan dapat merumuskan bahawa kaedah perwakilan teks FASP yang digunakan sebagai fitur oleh MYTextSumBASIC boleh diaplikasi untuk teks dwibahasa dengan prestasi kompetitif melalui perbandingan dengan model peringkasan teks bahasa Inggeris yang sedia ada. Kata Kunci: Fitur Kekangan Corak Tekstual; Peringkasan Teks; Pertumbuhan Corak-Tersusun; Bahasa Melayu ABSTRACT In the era of digital information, an auto-generated summary can help readers to easily find important and relevant information. Most of the studies and benchmark data sets in the field of text summarization are in English. Hence, there is a need to study the potential of Malay language in this field. This study also highlights the problems in identifying and generating important information in extractive summaries. This is because existing text representation models such as BOW has weaknesses in inaccurate semantic representation, while the N-gram model has the issue of producing very high word vector dimensions. In this study, a bilingual text summarization model named MYTextSumBASIC has been developed to generate an extractive summary automatically in Malay and English. The MYTextSumBASIC summarizer model applies a text representation model known as FASP using three Textual Pattern Constraints, namely word item constraints, adjacent word constraints and sequence size constraints. There are three main phases in the framework of MYTextSumBASIC model, which are the development of the Malay language corpus, the development of MYTextSumBASIC model using FASP and the summary evaluation phase. In the summary evaluation phase, using the Malay language data sets of 100 news articles, the summaries produced by MYTextSumBASIC outperformed the summary generated by Baseline (Lead) and OTS summarizer with the highest average for retrieval (R) is 0.5849, precision (P) is 0.5736 and the F-score (Fm) is 0.5772. For manual evaluation by linguists, the MYTextSumBASIC method yielded a reading score of 4.1 and 3.87 for summary content generated using a random data set. Further experiments using the 2002 DUC English benchmark data set of 102 news articles have also shown that the MYTextSumBASIC model outperformed the best and lowest systems in the comparison with the mean retrieval values of ROUGE-1 (0.43896) and ROUGE-2 (0.19918). These findings conclude that the FASP text representation feature along with the textual pattern constraints used by our model can be used for bilingual text with competitive performance compared to other text summarization models. Keywords: Textual Pattern Constraint; Text Summarization; Sequential Pattern-Growth; Malay language