Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

chore(deps-dev): bump playwright from 1.48.1 to 1.49.0 #3221

Draft
wants to merge 1 commit into
base: master
Choose a base branch
from
Draft

chore(deps-dev): bump playwright from 1.48.1 to 1.49.0 #3221

wants to merge 1 commit into from

Conversation

dependabot[bot]
Copy link
Contributor

@dependabot dependabot bot commented on behalf of github Nov 19, 2024

Bumps playwright from 1.48.1 to 1.49.0.

Release notes

Sourced from playwright's releases.

v1.49.0

Aria snapshots

New assertion expect(locator).toMatchAriaSnapshot() verifies page structure by comparing to an expected accessibility tree, represented as YAML.

await page.goto('https://playwright.dev');
await expect(page.locator('body')).toMatchAriaSnapshot(`
  - banner:
    - heading /Playwright enables reliable/ [level=1]
    - link "Get started"
    - link "Star microsoft/playwright on GitHub"
  - main:
    - img "Browsers (Chromium, Firefox, WebKit)"
    - heading "Any browser • Any platform • One API"
`);

You can generate this assertion with Test Generator and update the expected snapshot with --update-snapshots command line flag.

Learn more in the aria snapshots guide.

Test runner

Breaking: channels chrome, msedge and similar switch to new headless

This change affects you if you're using one of the following channels in your playwright.config.ts:

  • chrome, chrome-dev, chrome-beta, or chrome-canary
  • msedge, msedge-dev, msedge-beta, or msedge-canary

What do I need to do?

After updating to Playwright v1.49, run your test suite. If it still passes, you're good to go. If not, you will probably need to update your snapshots, and adapt some of your test code around PDF viewers and extensions. See [issue #33566](microsoft/playwright#33566) for more details.

Other breaking changes

  • There will be no more updates for WebKit on Ubuntu 20.04 and Debian 11. We recommend updating your OS to a later version.
  • Package @playwright/experimental-ct-vue2 will no longer be updated.
  • Package @playwright/experimental-ct-solid will no longer be updated.

Try new Chromium headless

You can opt into the new headless mode by using 'chromium' channel. As official Chrome documentation puts it:

New Headless on the other hand is the real Chrome browser, and is thus more authentic, reliable, and offers more features. This makes it more suitable for high-accuracy end-to-end web app testing or browser extension testing.

... (truncated)

Commits
  • a70a96a chore: mark v1.49.0 (#33649)
  • 53f51a8 cherry-pick(#33638): chore: clear highlight when performing action
  • 2a00ca8 cherry-pick(#33635): chore: add cm placeholder text
  • 0e64340 cherry-pick(#33632): chore: highlight edited locator while recording
  • cb0f456 cherry-pick(#33629): fix(rebase): do not apply multiple rebaselines to the sa...
  • 698823a cherry-pick(#33627): fix(codegen): document.documentElement is null on early ...
  • c0fa804 cherry-pick(#33619): fix(aria): normalize whitespace in toMatchAccessible{Nam...
  • 7a32228 cherry-pick(#33614): docs: add ariaSnapshot.timeout for language ports (#33615)
  • 0e31ace cherry-pick(#33575): fix(canvas snapshots): position mismatch in headless mode
  • b2a39ff cherry-pick(#33604): docs: update docs about headless shell
  • Additional commits viewable in compare view

Dependabot compatibility score

You can trigger a rebase of this PR by commenting @dependabot rebase.

Dependabot commands and options

You can trigger Dependabot actions by commenting on this PR:

  • @dependabot rebase will rebase this PR
  • @dependabot recreate will recreate this PR, overwriting any edits that have been made to it
  • @dependabot merge will merge this PR after your CI passes on it
  • @dependabot squash and merge will squash and merge this PR after your CI passes on it
  • @dependabot cancel merge will cancel a previously requested merge and block automerging
  • @dependabot reopen will reopen this PR if it is closed
  • @dependabot close will close this PR and stop Dependabot recreating it. You can achieve the same result by closing it manually
  • @dependabot show <dependency name> ignore conditions will show all of the ignore conditions of the specified dependency
  • @dependabot ignore this major version will close this PR and stop Dependabot creating any more for this major version (unless you reopen the PR or upgrade to it yourself)
  • @dependabot ignore this minor version will close this PR and stop Dependabot creating any more for this minor version (unless you reopen the PR or upgrade to it yourself)
  • @dependabot ignore this dependency will close this PR and stop Dependabot creating any more for this dependency (unless you reopen the PR or upgrade to it yourself)

@dependabot
chore(deps-dev): bump playwright from 1.48.1 to 1.49.0
0cb5205 
Bumps [playwright](https://github.com/microsoft/playwright) from 1.48.1 to 1.49.0.
- [Release notes](https://github.com/microsoft/playwright/releases)
- [Commits](microsoft/playwright@v1.48.1...v1.49.0)

---
updated-dependencies:
- dependency-name: playwright
  dependency-type: direct:development
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <[email protected]>
@dependabot dependabot bot added dependencies Pull requests that update a dependency (dev or runtime) javascript Pull requests that update Javascript code skip-changelog Do not include in Changelog and Release Notes labels Nov 19, 2024
@dependabot dependabot bot requested review from a team, csouchet and tbouffard and removed request for a team November 19, 2024 13:00
@tbouffard tbouffard marked this pull request as draft November 19, 2024 13:02
@tbouffard
Copy link
Member

tbouffard commented Nov 19, 2024 •
edited
Loading

Converted to draft as version 1.49.0 contains large changes, in particular the usage of the new chrome headless mode that need to be review.
For more details, see https://github.com/microsoft/playwright/releases/tag/v1.49.0

In particular, we should review microsoft/playwright#33566

  • use chromium headless (in this case, we should also update the contributors documentation)
  • update the install browser config in GH workflow to reduce the download size :
# after for headless-only tests
npx playwright install --only-shell
Installation logs when not using only "shell" (see this GH Actions job) 
Tue, 19 Nov 2024 13:02:42 GMT
Run npx playwright install chromium
Tue, 19 Nov 2024 13:02:43 GMT Downloading Chromium 131.0.6778.33 (playwright build v1148) from https://playwright.azureedge.net/builds/chromium/1148/chromium-linux.zip
Tue, 19 Nov 2024 13:02:43 GMT |                                                                                |   0% of 161.3 MiB
Tue, 19 Nov 2024 13:02:43 GMT |■■■■■■■■                                                                        |  10% of 161.3 MiB
Tue, 19 Nov 2024 13:02:43 GMT |■■■■■■■■■■■■■■■■                                                                |  20% of 161.3 MiB
Tue, 19 Nov 2024 13:02:43 GMT |■■■■■■■■■■■■■■■■■■■■■■■■                                                        |  30% of 161.3 MiB
Tue, 19 Nov 2024 13:02:43 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                                |  40% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                        |  50% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                |  60% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                        |  70% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                |  80% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■        |  90% of 161.3 MiB
Tue, 19 Nov 2024 13:02:44 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■| 100% of 161.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT Chromium 131.0.6778.33 (playwright build v1148) downloaded to /home/runner/.cache/ms-playwright/chromium-1148
Tue, 19 Nov 2024 13:02:48 GMT Downloading FFMPEG playwright build v1010 from https://playwright.azureedge.net/builds/ffmpeg/1010/ffmpeg-linux.zip
Tue, 19 Nov 2024 13:02:48 GMT |                                                                                |   0% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■                                                                        |  10% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■                                                                |  20% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■                                                        |  30% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                                |  40% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                        |  50% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                |  60% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                        |  70% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                |  80% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■        |  90% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■| 100% of 2.3 MiB
Tue, 19 Nov 2024 13:02:48 GMT FFMPEG playwright build v1010 downloaded to /home/runner/.cache/ms-playwright/ffmpeg-1010
Tue, 19 Nov 2024 13:02:48 GMT Downloading Chromium Headless Shell 131.0.6778.33 (playwright build v1148) from https://playwright.azureedge.net/builds/chromium/1148/chromium-headless-shell-linux.zip
Tue, 19 Nov 2024 13:02:48 GMT |                                                                                |   0% of 100.9 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■                                                                        |  10% of 100.9 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■                                                                |  20% of 100.9 MiB
Tue, 19 Nov 2024 13:02:48 GMT |■■■■■■■■■■■■■■■■■■■■■■■■                                                        |  30% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                                |  40% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                        |  50% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                                |  60% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                        |  70% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■                |  80% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■        |  90% of 100.9 MiB
Tue, 19 Nov 2024 13:02:49 GMT |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■| 100% of 100.9 MiB
Tue, 19 Nov 2024 13:02:51 GMT Chromium Headless Shell 131.0.6778.33 (playwright build v1148) downloaded to /home/runner/.cache/ms-playwright/chromium_headless_shell-1148

Additional updates of thresholds in visual tests

In addition, I would like to update some thresholds for firefox on macOS that relate to flaky tests.
Here is an extract of the visual e2e flaky tests I recently detected:

2024-11-18 main commit e5933f9

Error: Expected image to match or be a close match to snapshot but was 0.6279078111035452% different from snapshot (3013.957493297017 differing pixels). Failure threshold was set to 0.58%. Execution count: 3.

2024-11-11 PR #3210

Error: Expected image to match or be a close match to snapshot but was 0.7082393664009867% different from snapshot (3399.548958724736 differing pixels). Failure threshold was set to 0.7%. Execution count: 3.

2024-11-11 PR #3209

Error: Expected image to match or be a close match to snapshot but was 0.5010509935943763% different from snapshot (2405.0447692530065 differing pixels). Failure threshold was set to 0.5%. Execution count: 3.

2024-11-11 PR #3209

Error: Expected image to match or be a close match to snapshot but was 0.6860492031835808% different from snapshot (3293.0361752811878 differing pixels). Failure threshold was set to 0.58%. Execution count: 3.

@tbouffard tbouffard self-assigned this Nov 19, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@csouchet csouchet Awaiting requested review from csouchet csouchet was automatically assigned from process-analytics/pa-collaborators

@tbouffard tbouffard Awaiting requested review from tbouffard tbouffard was automatically assigned from process-analytics/pa-collaborators

At least 1 approving review is required to merge this pull request.

Assignees

@tbouffard tbouffard

Labels
dependencies Pull requests that update a dependency (dev or runtime) javascript Pull requests that update Javascript code skip-changelog Do not include in Changelog and Release Notes
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
1 participant
@tbouffard