Podobieństwo statystyczne i semantyczne między zdaniami w języku angielskim

W niniejszej ksi¿¿ce przedstawiono ró¿ne algorytmy s¿u¿¿ce do obliczania podobie¿stwa semantycznego mi¿dzy tekstami w j¿zyku angielskim. Przeanalizowäem trzy ró¿ne algorytmy s¿u¿¿ce do obliczania podobie¿stwa zdä w j¿zyku angielskim. Pierwszy algorytm, który zostä dok¿adnie zbadany w literaturze [Salton i Buckley, 1988; Wu i Salton, 1981], przypisuje s¿owom w kädym zdaniu wagi na podstawie cz¿stotliwo¿ci wyst¿powania terminu oraz odwrotnej cz¿stotliwo¿ci dokumentu (tf-idf) i nie wykorzystuje ¿adnych informacji semantycznych. Drugi algorytm wykorzystuje miary odleg¿o¿ci semantycznej mi¿dzy s¿owami nale¿¿cymi do tej samej cz¿¿ci mowy. Trzeci algorytm ¿¿czy wyniki tf-idf z wynikami odleg¿o¿ci semantycznej mi¿dzy s¿owami. Oceni¿em wydajno¿¿ drugiego i trzeciego algorytmu na dwóch zbiorach danych: zbiorze par zdä O'Shea z ocenami podobie¿stwa dokonanymi przez ludzi [Li i in., Aug, Rubenstein i Goodenough, 1965] oraz zbiorze danych parafraz na poziomie zdä opracowanym przez Microsoft Research [Rus i in., 2012]. W przypadku zbioru danych O'Shea trzeci algorytm dok¿adniej odzwierciedla ludzkie oceny ni¿ drugi. W przypadku zbioru danych Microsoftu nie odnotowano istotnej ró¿nicy mi¿dzy tymi dwoma algorytmami.