Testing set1 for malayalam

transliteration_accuracy/ml/set1.txt

@@ -0,0 +1,257 @@
+റോമൻ roman
+കത്തോലിക്കാ katholikka
+സഭ sabha
+പൗരസ്ത്യ paurasthya
+ഓർത്തഡോക്സ് orthadoks
+ഓറിയന്റൽ oriyantal
+സഭകൾ sabhakal
+തുടങ്ങിയ thudangiya
+ക്രിസ്തീയവിഭാഗങ്ങളിൽ kristheeyavibhagangalil
+വിശ്വാസികൾ viswasikal
+പാപമോചനമാർഗ്ഗമായി papamochanamarggamayi
+കരുതി karuthi
+അനുഷ്ഠിക്കുന്ന anushtikkunna
+ഒരു oru
+മതകർമ്മമാണ് mathakarmmamanu
+കുമ്പസാരം kumpasaram
+അധികാരമുള്ള adhikaramulla
+പുരോഹിതനോടോ purohithanodo
+ആത്മീയഗുരുവിനോടോ athmeeyagurivinodo
+പശ്ചാത്താപത്തോടെ paschathapathode
+പാപങ്ങൾ papangal
+ഏറ്റുപറയുന്നതാണ് etuparayunnathanu
+ഇതിൽ ithil
+മുഖ്യമായുള്ളത് mukhyamayullath
+കുറ്റവാളികൾ kutavalikal
+നിയമപാലകരുടെ niyamapalakarude
+മുൻപിൽ munpil
+നടത്തുന്ന nadathunna
+കുറ്റസമ്മതവുമായി kutasammathavumayi
+ഇതിന് ithinu
+സമാനതയുണ്ട് samanathayund
+പ്രത്യേകമായി prathyekamayi
+നിർമ്മിച്ചിട്ടുള്ള nirmichittulla
+കുമ്പസാരക്കൂട്ടിലാണ് kumpasarakkoottilanu
+മിക്കപ്പോഴും mikkappozhum
+ഈ ii
+ചടങ്ങ് chadang
+നിർവഹിക്കപ്പെടാറുള്ളത് nirvahikkappedarullath
+കുമ്പസാരത്തെ kumpasarathe
+അനുസ്മരിപ്പിക്കുന്ന anusmarippikkunna
+അനുഷ്ഠാനങ്ങളും anushtanangalum
+സങ്കല്പങ്ങളും sankalpangalum
+കണ്ടെത്താനാകും kandethanakum
+ക്രിസ്തുമതത്തിന്റെ kristhumathathinte
+കുമ്പസാരം kumpasaram
+വിരളമായും viralamayum
+അസാധാരണമായ asadharanamaya
+സാഹചര്യങ്ങളിൽ sahacharyangalil
+മാത്രവും mathravum
+നിർവഹിക്കപ്പെടുന്ന nirvahikkapedunna
+ഒരനുഷ്ഠാനമായിരുന്നു oranushatanamayirunnu
+മതത്യാഗം
+അഥവാ
+വിഗ്രഹാരാധന,
+കൊലപാതകം,
+വ്യഭിചാരം
+എന്നിങ്ങനെ
+ഗുരുതരമായ
+മൂന്നിനം
+മാത്രം
+ആവശ്യപ്പെടുന്ന
+പരിഹാരക്രിയയായിരുന്നു
+അപ്പോൾ
+അത്.
+മറ്റു
+പാപങ്ങളുടെ
+പൊറുതിയ്ക്ക്
+പരസ്പരമുള്ള
+ഒരുമപ്പെടലും,
+പ്രാർത്ഥനയും,
+സ്വകാര്യപ്രായശ്ചിത്തവും,
+സൽപ്രവൃത്തികളും
+മതിയായിരുന്നു.
+എന്നാൽ
+മേല്പറഞ്ഞ
+പരസ്യമായി
+ചെയ്ത്
+സമൂഹത്തിന്
+ദുർമാതൃകയായവർ,
+മെത്രാന്റെ
+മുന്നിൽ
+കുറ്റം
+ഏറ്റുപറയാൻ
+ബാദ്ധ്യസ്ഥരായിരുന്നു.
+തുടർന്ന്,
+'അനുതാപി'-യുടെ
+മുദ്ര
+നൽകി
+മാറ്റിനിർത്തപ്പെടുന്ന
+ഇവർ,
+പാപപ്പൊറുതി
+ലഭിക്കും
+വരെ
+പരസ്യമായ
+പ്രായശ്ചിത്തപ്രവർത്തികളിൽ
+മുഴുകിയും
+ദിവ്യകാരുണ്യം
+നിഷേധിക്കപ്പെട്ടും
+കഴിഞ്ഞു.
+പാപമോചനം,
+ആണ്ടിലൊരിക്കൽ
+മാത്രം,
+പെസഹാവ്യാഴാഴ്ച
+ദിവസം
+നൽകപ്പെട്ടു.
+പാപമോചനത്തിനു
+ശേഷവും
+അനുതാപിക്ക്
+നിർദ്ദിഷ്ടമായ
+പ്രായശ്ചിത്തപ്രവർത്തികൾ
+നിർവഹിക്കേണ്ടിയിരുന്നു.
+സാധാരണഗതിയിൽ,
+ജീവിതത്തിൽ
+ഒരിക്കൽ
+അനുവദിക്കപ്പെടുന്ന
+അനുഷ്ഠാനമായിരുന്നു
+ഈവിധമുള്ള
+അതിനു
+ശേഷം
+വീണ്ടും
+പാപത്തിൽ
+വീഴുന്നവരുടെ
+പശ്ചാത്താപം
+ആത്മാർത്ഥതയില്ലാത്തതായി
+വിലയിരുത്തപ്പെട്ടു.
+പൊതുവർഷം
+ആറാം
+നൂറ്റാണ്ടിന്റെ
+അവസാനത്തോടെ,
+പൗരസ്ത്യ-ഐറിഷ്
+സന്യാസപാരമ്പര്യങ്ങളുടെ
+സ്വാധീനത്തിൽ
+രഹസ്യപാപങ്ങൾ
+പോലും
+കുമ്പസാരിക്കുന്ന
+പതിവ്
+നിലവിൽ
+വന്നു.
+അത്തരം
+കുമ്പസാരങ്ങളിൽ
+പാപമോചനം
+സ്വകാര്യമായും
+അപ്പൊൾത്തന്നെയും
+ലഭിച്ചു.
+നിശ്ചിതദിവസം
+എന്നതിനു
+പകരം
+ആണ്ടുവട്ടം
+മുഴുവൻ
+ഈവിധം
+കുമ്പസാരവും
+പാപമോചനവും
+നടപ്പിലായി.
+അതോടെ,
+ജീവിതകാലത്ത്
+ഒട്ടേറെത്തവണ
+സ്വീകരിക്കാവുന്ന
+കൂദാശയായി
+കുമ്പസാരം
+രൂപാന്തരപ്പെട്ടു.
+പാപമോചനാശീർവാദത്തിനുശേഷം
+കുമ്പസാരിക്കുന്നയാൾ
+കുമ്പസാരത്തിനുള്ള
+ജപത്തിന്റെ
+ബാക്കിഭാഗവും
+തുടർന്ന്
+മനസ്താപപ്രകരണവും
+(Act
+of
+Contrition)[8]
+ഉരുവിടുന്നു.
+ദൈവസന്നിധിയിൽ
+ഏറ്റുപറയുന്ന
+പ്രാർത്ഥനയാണ്
+മനസ്താപപ്രകരണം.
+"എന്റെ
+ദൈവമേ,
+ഏറ്റവും
+നല്ലവനും
+എല്ലാറ്റിനും
+ഉപരിയായി
+സ്നേഹിക്കപ്പെടുവാൻ
+യോഗ്യനുമായ
+അങ്ങേക്കെതിരായി
+പാപം
+ചെയ്തുപോയതിനാൽ
+പൂർണ്ണഹൃദയത്തോടെ
+ഞാൻ
+മനസ്തപിക്കുകയും
+പാപങ്ങളെ
+വെറുക്കുകയും
+ചെയുന്നു"
+എന്നുപറഞ്ഞാണ്
+അത്
+തുടങ്ങുന്നത്.
+മാരകപാപാവസ്ഥയിലുള്ളവർക്ക്
+കുമ്പസാരത്തിലൂടെയുള്ള
+നേടിയല്ലാതെ
+വിശുദ്ധ
+കുർബാനയുടെ
+സ്വീകരണം
+നിഷിദ്ധമാണ്.
+എന്നു
+മാത്രമല്ല,
+മാരകപാപാവസ്ഥയിൽ
+കുർബാന
+സ്വീകരിക്കുന്നത്
+മറ്റൊരു
+മാരകപാപം
+ആകുമെന്നും
+സഭ
+പഠിപ്പിക്കുന്നു.
+ജ്ഞാനസ്നാനം
+സ്വീകരിച്ചതിനുശേഷം
+ചെയ്തിട്ടുള്ള
+പാപങ്ങളിൽ
+നിന്ന്
+മുക്തിനേടാനുള്ള
+ഒരേയൊരു
+സാധാരണമാർഗ്ഗം
+കുമ്പസാരമാണെന്നും
+പഠിപ്പിക്കുന്നുണ്ട്.
+1215-ലെ
+ലാറ്ററൻ
+സൂനഹദോസിനെതുടർന്ന്
+കാനൻ
+നിയമത്തിൽ
+വരുത്തിയ
+മാറ്റം
+വർഷത്തിലൊരിക്കലുള്ള
+നിർബ്ബന്ധിതമാക്കി.
+അതിൽ
+കുറഞ്ഞ
+ഇടവേളവിട്ടുള്ള
+അഭിലഷണീയമാണെന്ന
+നിർദ്ദേശവും
+ഇതിനൊപ്പമുണ്ട്.
+സ്വീകരിക്കാൻ
+നിവൃത്തിയില്ലാത്ത
+അവസ്ഥയിൽ
+നരകഭയത്തിൽ
+നിന്നല്ലാതെ,
+നിസ്സ്വാർത്ഥമായ
+ദൈവസ്നേഹത്തിൽ
+നിന്നുരുവെടുക്കുന്ന
+ഉത്തമമനസസ്ഥാപവും
+മാരകപാപത്തിൽ
+നിന്നുള്ള
+വിമുക്തി
+നൽകും.
+ആ
+മനസ്താപത്തോടൊപ്പം
+സാധിക്കുന്നത്രവേഗത്തിൽ
+കുമ്പസാരത്തിൽ
+ഏറ്റുപറയാനുള്ള
+തീരുമാനവും
+ഉണ്ടായിരിക്കണം.

word_splitter.rb

@@ -0,0 +1,20 @@
+
+inputFile = ARGV.first
+
+fileContents = File.read(inputFile)
+words = fileContents.split " "
+
+uniqueWords = {}
+words.each do |word|
+    uniqueWords[word] = ""
+end
+
+
+File.open("words.txt", 'w') do |file| 
+    uniqueWords.each_key do |word|
+        file.write(word)
+        file.write("\n")
+    end
+end
+
+puts "Wrote words.txt"