LanguageTool-integraatio

[ile]

Moi,

Olisiko Voikkoa mahdollista integroida LanguageTooliin, mikä on avoimen lähdekoodin oikolukuohjelma, sisältää mm. palvelinsoftan, jota voi käyttää API:n kautta.

Se käyttää ilmeisesti hunspell​iä https://forum.languagetool.org/t/finnish-language/4981:

that would require a hunspell dictionary for Finnish and a quick web search didn’t come up with one. Do you know one?

Oli myös arvelua, voiko sanastoa käyttää:

Those dictionaries seem to be binary files that only work with Voikko? Voikko is under GPL it seems, which would make integration into LT impossible/difficult.

Voikon voisi myös integroida LT:hen "suoraan":

you could integrate Voikko the same way hunspell is integrated into LT

Olisikohan tuo integrointi iso homma? Ehkä kokeilen.

[ahomansikka]

Se käyttää ilmeisesti hunspell​iä https://forum.languagetool.org/t/finnish-language/4981:

Keskustelussa ei ehkä täydellisesti ymmärretä, että suomen kieli ei ole englantia erilaisin sanoin eli että oikoluvussa oikein kirjoitettujen sanojen lista ei toimi. Voikon tekeminen palvelimeksi saattaisi toimiakin. (-: (Mietiskelen saataisiinko palvelinsysteemillä Voikon tavutus LuaLaTeXiin...) Voikon kääntämisestä hunspelliksi keskusteltiin tässä voikko/corevoikko#58

[ile]

LT:n API:lle lähtetään tekstiä pätkä, ja sieltä tulee palautteena tällaista:

{
    "message": "Did you mean “you're” (short for ‘you are’)?",
    "shortMessage": "",
    "replacements": [
        {
            "value": "You're"
        }
    ],
    "offset": 0,
    "length": 4,
    "context": {
        "text": "Your funny!",
        "offset": 0,
        "length": 4
    },
    "sentence": "Your funny!",
    "type": {
        "typeName": "Other"
    },
    "rule": {
        "id": "YOUR_YOU_RE",
        "subId": "5",
        "sourceFile": "grammar.xml",
        "description": "Your (You're)",
        "issueType": "misspelling",
        "urls": [
            {
                "value": "https://languagetool.org/insights/post/your-vs-youre/"
            }
        ],
        "category": {
            "id": "TYPOS",
            "name": "Possible Typo"
        }
    },
    "ignoreForIncompleteSentence": true,
    "contextForSureMatch": 4
}

APIa on helppo käyttää selainsoftien kanssa.

Yritin kääntää Voikkoa, mutta onnistuu ilmeisesti Windowsilla paremmin kuin tällä Linuxilla.

LT-palvelimen saa suht. helposti pyörimään noilla docker-imageilla, esim. https://github.com/silvio/docker-languagetool

[ahomansikka]

pe, 2024-12-20 kello 00:09 -0800, Ilkka Huotari kirjoitti:

Yritin kääntää Voikkoa, mutta onnistuu ilmeisesti Windowsilla paremmin kuin tällä Linuxilla.

Minä käännän Voikon tällä tavalla `#!/bin/bash cd $HOME/Lataukset/corevoikko/voikko-fi make clean make vvfst DESTDIR=/usr/local/lib/voikko/ sudo make vvfst-install DESTDIR=/usr/local/lib/voikko/ make clean make vvfst-sukija DESTDIR=/usr/local/lib/voikko/ sudo make vvfst-install-sukija DESTDIR=/usr/local/lib/voikko/ ` Viimeiset 3 käskyä kääntävät Voikon indeksointiversion.

[ile]

Kiitos, sain käänneltyä. Katson, kuinka tuo integrointi onnistuisi LT:hen...

[ile]

Moi,

Olisikohan suomeen saatavilla/generoitavissa tällaista sanalistaa (yleisimmät sanat)?

https://github.com/languagetool-org/languagetool/blob/master/languagetool-language-modules/en/src/main/resources/org/languagetool/resource/en/common_words.txt

No ei tätä välttämättä tarvitse. fasttext näyttää osaavat tunnistaa suomen hyvin.

[ahomansikka]

*Huokaus* Suomea ei voi oikolukea samalla tavalla kuin englantia. Mutta et sinä tuota kysynyt. 🙂️ Listan voi generoida imuroimalla Wikipedian ja Lönnrot-projektin (http://lonnrot.net/) suomenkieliset kirjat, erottamalla niistä sanat ja poistamalla sanat, joita Voikko tai Sukija (https://github.com/ahomansikka/sukija) ei tunnista. su, 2024-12-22 kello 10:43 -0800, Ilkka Huotari kirjoitti:

…

Moi, Olisikohan suomeen saatavilla/generoitavissa tällaista sanalistaa (yleisimmät sanat)? [https://github.com/languagetool-org/languagetool/blob/master/languagetool-language-modules/en/src/main/resources/org/languagetool/resource/en/common_words.txt](https://github.com/languagetool-org/languagetool/blob/master/languagetool-language-modules/en/src/main/resources/org/languagetool/resource/en/common_words.txt) — Reply to this email directly, [view it on GitHub](#27 (comment)), or [unsubscribe](https://github.com/notifications/unsubscribe-auth/AAOQK3MKUYRJQ42YFYIYZSL2G4B4TAVCNFSM6AAAAABT57HR76VHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTCNRUGQYTSNA). You are receiving this because you commented.Message ID: ***@***.***> [ { ***@***.***": "http://schema.org", ***@***.***": "EmailMessage", "potentialAction": { ***@***.***": "ViewAction", "target": "#27 (comment)", "url": "#27 (comment)", "name": "View Discussion" }, "description": "View this Discussion on GitHub", "publisher": { ***@***.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

[ahomansikka]

Mainitsemallani tavalla teen Sukijan testiaineiston, ja sen alku näyttää tällaiselta a a-a aa a-a-a a-aa aa-a aaa a-a-a-a a-a-aa a-aaa aa-aa aaa-a En poista sanoja, joita Voikko/Sukija ei tunnista enkä laske esiintymien määriä. "Sana" tarkoittaa tietysti sanan kaikkia taivutusmuotoja. su, 2024-12-22 kello 10:43 -0800, Ilkka Huotari kirjoitti:

…

Moi, Olisikohan suomeen saatavilla/generoitavissa tällaista sanalistaa (yleisimmät sanat)? [https://github.com/languagetool-org/languagetool/blob/master/languagetool-language-modules/en/src/main/resources/org/languagetool/resource/en/common_words.txt](https://github.com/languagetool-org/languagetool/blob/master/languagetool-language-modules/en/src/main/resources/org/languagetool/resource/en/common_words.txt) — Reply to this email directly, [view it on GitHub](#27 (comment)), or [unsubscribe](https://github.com/notifications/unsubscribe-auth/AAOQK3MKUYRJQ42YFYIYZSL2G4B4TAVCNFSM6AAAAABT57HR76VHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTCNRUGQYTSNA). You are receiving this because you commented.Message ID: ***@***.***> [ { ***@***.***": "http://schema.org", ***@***.***": "EmailMessage", "potentialAction": { ***@***.***": "ViewAction", "target": "#27 (comment)", "url": "#27 (comment)", "name": "View Discussion" }, "description": "View this Discussion on GitHub", "publisher": { ***@***.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

[ile]

Tuo common_words.txt ei ole kovin tärkeä, se on vain viimeinen keino tunnistaa käytetty kieli, jos fasttext ei siihen kykene. Sen ei tarvitse olla täydellinen. Lähdin nyt liikkeelle pelkällä tyhjällä listalla, homma toimii niinkin.

Tällä hetkellä kielen tunnistus toimii (fasttext), seuraavaksi yritän saada voikkoa mukaan.

[ile]

Moi, hyvää joulua, ja kysymyksiä 😆

Mietin, että laitanko Raudikon, vai Voikon. Raudikossa on oikoluku, mutta Voikossa olisi myös kieliopin tarkistus. Voikko siis olisi lähtökohtaisesti parempi, mutta testasin sitä kieliopin tarkistusta, enkä saanut oikein tuloksia. Näistä pitäisi kaiketi tulla sanomista (jos kaikki kielioppisäännöt toimisivat). Mutta en saanut näistä mitään valitusta, menivät siis läpi.

Pojat on pihalla. 
Koria on nimeltään Musti. 
Hommat on alkanut hidastua.
Rouva ministeri, oletteko tehneet asialle mitään?
Herra Virtanen, ettekö kuulleet asiasta mitään?

Oikeat muodot luultavasti:

Pojat ovat pihalla. 
Koira on nimeltään Musti. 
Hommat ovat alkaneet hidastua.
Rouva ministeri, oletteko tehnyt asialle mitään?
Herra Virtanen, ettekö kuullut asiasta mitään?

Lisää kielioppivirheitä:
https://saaressa.blogspot.com/2010/07/yleisimmat-kielioppivirheet.html

Mitä kielioppivirheitä oikoluku löytäisi?

[ile]

En myöskään osannut tarkastaa tätä:

Tämä on kerros talo.

Tästä ei tullut virheitä oikofixillä eikä tällä: List<GrammarError> errors = voikko.grammarErrors("Tämä on kerros talo.", "fi");