Skip to content

mustfkeskin/Turkish-Named-Entity-Recognition

Repository files navigation

Turkish-Named-Entity-Recognition

  1. Wikipedia Hiyerarşisini Çıkartabilmek için ilk olarak Categorylinks, Page ve category tabloları indirilir.

wget https://dumps.wikimedia.org/trwiki/latest/trwiki-latest-category.sql.gz gunzip trwiki-latest-category.sql.gz

wget https://dumps.wikimedia.org/trwiki/latest/trwiki-latest-categorylinks.sql.gz gunzip trwiki-latest-categorylinks.sql.gz

wget https://dumps.wikimedia.org/trwiki/latest/trwiki-latest-page.sql.gz gunzip trwiki-latest-page.sql.gz

  1. Wikipedia Hiyerarşisini elde etme

extract_wikipedia_hierarchy.ipynb notebook çalıştırılarak wikipedia hiyerarşisi çıkartılır.

Aşağıdaki çalışma örnek alınmıştır.

https://github.com/niwatolli3/wikipedia-category-csv

3)Elde edilen hiyerarşiden graf çıkartılması ve tüm yaprak düğümlere ait bilgilerin toplanması

graph_analysis.ipynb notebook çalıştırılarak elde edilir.

  1. Belli kategoriler ait ontolojiler çıkartılarak otomatik veri etiketleme altyapısının oluşturulması coming soon...

  2. Etiketli veri ile farklı modellerin eğitilmesi coming soon...

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published