Write script to Properly tokenize and normalize all corpora

[sehsanm]

Write an script that properly normalize and tokenize the corpora that we had.

This includes:

• normalization for Persian/Arabic characters
• Unify spaces and blank spaces (non-width space)
• Use advanced tokenization: By tokenization I mean that replace spaces in a token with non-width space

After clean up upload the clean corpora back to S3 bucket to be used later

[nkm96]

Hi, how can I take this task?
also invitation link is not working for me:)
my git id: nkm96
gmail: [email protected]

[sehsanm]

سلام شما را به پروژه دعوت کردم.

…

On Fri, Dec 7, 2018 at 9:26 PM nkm96 ***@***.***> wrote: Hi, how can I take this task? also invitation link is not working for me:) my git id: nkm96 gmail: ***@***.*** — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ADWBPBWGSEyH6szqUIQZQgQbXSHdTOAAks5u2qu2gaJpZM4Y930I> .

[nkm96]

متشکرم. تسک رو برداشتم:) On Sat, Dec 8, 2018 at 10:34 AM Seyyed Ehsan Mahmoudi < [email protected]> wrote:

…

سلام شما را به پروژه دعوت کردم. On Fri, Dec 7, 2018 at 9:26 PM nkm96 ***@***.***> wrote: > Hi, how can I take this task? > also invitation link is not working for me:) > my git id: nkm96 > gmail: ***@***.*** > > — > You are receiving this because you authored the thread. > Reply to this email directly, view it on GitHub > < #3 (comment) >, > or mute the thread > < https://github.com/notifications/unsubscribe-auth/ADWBPBWGSEyH6szqUIQZQgQbXSHdTOAAks5u2qu2gaJpZM4Y930I > > . > — You are receiving this because you were assigned. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfGl4ir6foH_sw8zFEIB0CkUmXeXiwuFks5u22SQgaJpZM4Y930I> .

[sehsanm]

Any progress on this ? what is your plan

[nkm96]

I'll do it this weekend, when speech courses will finish. I wanna use something like max term algorithm and improve the case. I test a training last weekend code but it did not work.

[sehsanm]

سلام
لطفا من را در جریان پیشرفت کار قرار دهید

[nkm96]

سلام، چشم من نتایج رو تا شنبه در اختیار تون قرار میدم.

[sehsanm]

سلام پیشرفت کار چطور بوده ؟
پیشنهاد من استفاده ازز سرویس استپ وان هست

[nkm96]

سلام حقیقتا منم تو این دوهفته دارم با استپ وان کار میکنم، اما وقتی الگوریتم میزنم روش هرچند میتونه کلمه های بهم پیوسته رو جدا کنه، اما خیلی جاها درستی رو هم بهم میزنه. نمیدونم نظرتون اینه که تا چه حد مشکلشو حل کنم؟ چون فک نکنم تو این سطح از دانش و تایم بتونیم نتیجه صددرصد بدون خطا رو بگیریم.

…

On Tue, Jan 1, 2019 at 11:43 AM Seyyed Ehsan Mahmoudi < ***@***.***> wrote: سلام پیشرفت کار چطور بوده ؟ پیشنهاد من استفاده ازز سرویس استپ وان هست — You are receiving this because you were assigned. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfGl4sZ5nbiSHA2WeAFw5waLCldMMZDFks5u-xixgaJpZM4Y930I> .

[sehsanm]

سلام منظورتون از درستی چی هست که به هم می زنه ؟

…

On Wed, Jan 2, 2019 at 10:38 AM nkm96 ***@***.***> wrote: سلام حقیقتا منم تو این دوهفته دارم با استپ وان کار میکنم، اما وقتی الگوریتم میزنم روش هرچند میتونه کلمه های بهم پیوسته رو جدا کنه، اما خیلی جاها درستی رو هم بهم میزنه. نمیدونم نظرتون اینه که تا چه حد مشکلشو حل کنم؟ چون فک نکنم تو این سطح از دانش و تایم بتونیم نتیجه صددرصد بدون خطا رو بگیریم. On Tue, Jan 1, 2019 at 11:43 AM Seyyed Ehsan Mahmoudi < ***@***.***> wrote: > سلام پیشرفت کار چطور بوده ؟ > پیشنهاد من استفاده ازز سرویس استپ وان هست > > — > You are receiving this because you were assigned. > Reply to this email directly, view it on GitHub > < #3 (comment)>, > or mute the thread > < https://github.com/notifications/unsubscribe-auth/AfGl4sZ5nbiSHA2WeAFw5waLCldMMZDFks5u-xixgaJpZM4Y930I> > . > — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ADWBPJ1xgQgLbNtd10HGemXLx08JN0bSks5u_Fr1gaJpZM4Y930I> .

[nkm96]

مثلا "علی درحال دویدن است رو بهم میریزه و میکنه دویدناست. کلا روند توکنایز موارد سالم رو بهم میریزه.
میخواستم بدونم اگه نتونم تسک رو انجام بدم نمره ای کسر میشه؟ چون جزو نفرات آخری بودم که گرفتم و کسی اینو نمیخواست و حقی ضایع نمیشه، و امروزهم تمرین شماره 5 رو انجام دادم که جبران بشه از لحاظ تعداد تمرینای تحویلی.

[nkm96]

jhazm
رو هم امتحان کردم، نسخه خام خود کتابخانه بهم نتایج بهتری داد تا سی شارپ و استپ وان

[sehsanm]

سلام
شما الان این تسک رو انجام خواهید داد یا نه ؟

[nkm96]

سلام. روش کار کردم اما نتیجه مطلوب نگرفتم و بجاش تمرین 4 رو انجام دادم، لذا خیر تموم نمیشه تا ددلاین

…

On Sun, Jan 6, 2019, 23:24 Seyyed Ehsan Mahmoudi ***@***.***> wrote: سلام شما الان این تسک رو انجام خواهید داد یا نه ؟ — You are receiving this because you were assigned. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfGl4k7r8b-4EbjRBIKjkP1imMZJ7CL6ks5vAlRngaJpZM4Y930I> .

[sehsanm]

ای کاش زودتر به من می گفتید

…

On Mon, Jan 7, 2019 at 4:43 AM nkm96 ***@***.***> wrote: سلام. روش کار کردم اما نتیجه مطلوب نگرفتم و بجاش تمرین 4 رو انجام دادم، لذا خیر تموم نمیشه تا ددلاین On Sun, Jan 6, 2019, 23:24 Seyyed Ehsan Mahmoudi ***@***.***> wrote: > سلام > شما الان این تسک رو انجام خواهید داد یا نه ؟ > > — > You are receiving this because you were assigned. > Reply to this email directly, view it on GitHub > < #3 (comment)>, > or mute the thread > < https://github.com/notifications/unsubscribe-auth/AfGl4k7r8b-4EbjRBIKjkP1imMZJ7CL6ks5vAlRngaJpZM4Y930I> > . > — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ADWBPA2_TZxkz1KVkEpIZnNdbPeguqZDks5vAp9QgaJpZM4Y930I> .

[nkm96]

حقیقتا من ذاتا رو تمرینا و پروژه تلاشگرم تا 5شنبه آخر شب داشتم تستش میگرفتم دیدم اوکی نشد که جمعه رو رو تمرین 4 وقت گذاشتم ک حداقل نمره دو تمرینمو رو کامل بگیرم... الان 1و4و5 رو کامل تحویل دادم. On Mon, Jan 7, 2019, 10:58 Seyyed Ehsan Mahmoudi <[email protected]> wrote:

ای کاش زودتر به من می گفتید On Mon, Jan 7, 2019 at 4:43 AM nkm96 ***@***.***> wrote: > سلام. روش کار کردم اما نتیجه مطلوب نگرفتم و بجاش تمرین 4 رو انجام دادم، > لذا > خیر تموم نمیشه تا ددلاین > > On Sun, Jan 6, 2019, 23:24 Seyyed Ehsan Mahmoudi < ***@***.***> > > wrote: > > > سلام > > شما الان این تسک رو انجام خواهید داد یا نه ؟ > > > > — > > You are receiving this because you were assigned. > > Reply to this email directly, view it on GitHub > > < > #3 (comment)>, > > > or mute the thread > > < > https://github.com/notifications/unsubscribe-auth/AfGl4k7r8b-4EbjRBIKjkP1imMZJ7CL6ks5vAlRngaJpZM4Y930I> > > > . > > > > — > You are receiving this because you authored the thread. > Reply to this email directly, view it on GitHub > < #3 (comment)>, > or mute the thread > < https://github.com/notifications/unsubscribe-auth/ADWBPA2_TZxkz1KVkEpIZnNdbPeguqZDks5vAp9QgaJpZM4Y930I> > . > — You are receiving this because you were assigned. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfGl4l2-qHXg6hm3xdgRXyFSBqzzTTX0ks5vAvcPgaJpZM4Y930I> .

On Jan 7, 2019 10:58, "Seyyed Ehsan Mahmoudi" <[email protected]> wrote: ای کاش زودتر به من می گفتید

On Mon, Jan 7, 2019 at 4:43 AM nkm96 ***@***.***> wrote: سلام. روش کار کردم اما نتیجه مطلوب نگرفتم و بجاش تمرین 4 رو انجام دادم، لذا خیر تموم نمیشه تا ددلاین On Sun, Jan 6, 2019, 23:24 Seyyed Ehsan Mahmoudi ***@***.***> wrote: > سلام > شما الان این تسک رو انجام خواهید داد یا نه ؟ > > — > You are receiving this because you were assigned. > Reply to this email directly, view it on GitHub > <

#3 (comment)>,

> or mute the thread > <

https://github.com/notifications/unsubscribe-auth/AfGl4k7r8b-4EbjRBIKjkP1imMZJ7CL6ks5vAlRngaJpZM4Y930I>

> . > — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <

#3 (comment)>,

or mute the thread <

https://github.com/notifications/unsubscribe-auth/ADWBPA2_TZxkz1KVkEpIZnNdbPeguqZDks5vAp9QgaJpZM4Y930I>

.

— You are receiving this because you were assigned. Reply to this email directly, view it on GitHub <#3 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AfGl4l2-qHXg6hm3xdgRXyFSBqzzTTX0ks5vAvcPgaJpZM4Y930I> .