optimization task (Lutovinova) #122
Open
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
spajic
approved these changes
Mar 12, 2023
| @@ -0,0 +1,13 @@ | |||
| FROM ruby:3.1.0-alpine | |||
| @@ -59,7 +59,7 @@ Case-study должен получиться рассказом с технич | |||
|
|
|||
| ### Совет: как посчитать кол-во строк в файле | |||
| ``` | |||
| wc -l data_large.rb # (3250940) total line count | |||
| wc -l data_large.txt # (3250940) total line count | |||
There was a problem hiding this comment.
справедливо, никто кажется раньше не замечал
| ## Формирование метрики | ||
| Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумала использовать такую метрику: время выполнения программы на 10000 строках данных. | ||
| Если мы хотим добиться чтобы на 3250940 строках в файле при линейной зависимости скорость обработки составляла не более 30 секунд, | ||
| то на 10000 время обработки должно быть менее чем ~90 миллисекунд, добьемся того чтобы на 10000 скрипт выполнялся не более 90 миллисекунд. |
There was a problem hiding this comment.
Вообще очень логично и здраво
Но для профилирования хорошо, чтобы программа несколько секунд хотя бы успевала покрутиться
90мс маловато
|
|
||
| ### Ваша находка №5 | ||
| Точка роста осталась на методе each но на этот раз на методе each внтури сбора информации по пользователям. | ||
| Вынесла этот кусок в отдельный метод, чтобы понять что именно увеличивает время. По отчету видно что дольше всего в цикле отрабатывает |
There was a problem hiding this comment.
Супер-правильный ход с выносом анонимного блока в отдельный метод
| ``` | ||
|
|
||
| При запуске бенчмарка оказалось что метрика неверна и предварительно подготовленные небольшие файлы отрабатывают больше чем за 30 секунд. | ||
| Получила новые замеры на предварительно оптимизированном коде и решила уменьшить метркиу до 45 ms. Т.о снова пытаемся оптимизировать код но уже по новой метрике |
There was a problem hiding this comment.
Лучше было бы взять файл побольше и ещё раз прикинуть за сколько он должен обработаться
| Удалось улучшить метрику системы с 1.34 сек на 10000 строк до 35ms на 10000 строк и уложиться в заданный бюджет. | ||
|
|
||
| За время оптимизации попробовала многие профилировщики. Визуально более простым и понятным показался ruby-prof. | ||
| Cамым информативным в нетривиальных проблемах для меня оказался stackprof и ruby-prof с отчетам в виже callstack. |
| uniqueBrowsers += [browser] if uniqueBrowsers.all? { |b| b != browser } | ||
| end | ||
|
|
||
| uniqueBrowsers = sessions.map { |s| s[:browser] }.sort.uniq |
There was a problem hiding this comment.
Лучше для сбора уникальных браузеров использовать Set / SortedSet
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
No description provided.