-
Notifications
You must be signed in to change notification settings - Fork 0
/
config.yml
170 lines (143 loc) · 7.7 KB
/
config.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
######### Polynote Configuration Template ##############################################################################
# To use, copy this template and name it `config.yml`
#
# cp ./config-template.yml ./config.yml
#
# Now, uncomment the section of the config that you'd like to change.
#
########################################################################################################################
########## Server-level Configuration ################################
###
### These configurations are applied immediately when Polynote starts.
###
######################################################################
###############################################################################
# The host and port can be set by uncommenting and editing the following lines.
###############################################################################
listen:
host: 0.0.0.0
# port: 8192
###############################################################################
# Security settings. Be careful with these!
###############################################################################
#security:
# websocket_key: only_for_testing
############################################################################################
# Storage-related configuration. Locations are all relative to Polynote's working directory.
############################################################################################
storage:
# The base directory Polynote should use when looking for notebooks. This location can be absolute or
# relative to Polynote's working directory.
dir: /opt/notebooks
# # These are additional mount points. Folders specified here will be 'mounted' into the base directory
# # and visible by their keys - so `foo: dir: bar` will show a folder `foo` in the UI that shows the contents of the
# # file system under `bar/`
# mounts:
# examples:
# dir: examples
# team_notebooks:
# dir: /shared/notebooks
# # The location Polynote puts various caches, such as virtual environments created for your notebooks.
# cache: /tmp
##########################################################
# Configure the way Polynote runs Kernels and Interpreters
##########################################################
#behavior:
# dependency_isolation: false
# kernel_isolation: always
# shared_packages:
# - com.esoteric.kryo
########## Notebook Creation Configuration #######################################################
###
### These configurations are applied to *new notebooks* only.
### When a *new notebook* is created, its Notebook Configuration is copied from this configuration.
### They do *not* affect existing notebooks.
###
###################################################################################################
############################################################################################
# Default repositories. Uncommenting the following lines would add four default repositories
# which are inherited by new notebooks.
############################################################################################
# repositories:
# - ivy:
# base: https://my-artifacts.org/artifacts/
# - ivy:
# base: https://my-custom-ivy-repo.org/artifacts/
# artifact_pattern: [orgPath]/[module](_[scalaVersion])(_[sbtVersion])/[revision]/[artifact]-[revision](-[classifier]).[ext]
# metadata_pattern: [orgPath]/[module](_[scalaVersion])(_[sbtVersion])/[revision]/[module](_[scalaVersion])(_[sbtVersion])-[revision]-ivy.xml
# changing: true
# - maven:
# base: http://central.maven.org/maven2/
# - maven:
# base: http://oss.sonatype.org/content/repositories/snapshots
# changing: true
############################################################################################
# Default dependencies. Uncommenting the following lines would add some default dependencies
# which are inherited by new notebooks.
############################################################################################
dependencies:
# scala:
# - org.typelevel:cats-core_2.11:1.6.0
# - org.apache.spark:spark-core_2.12:3.0.3
python:
- pyspark==2.4.8
# - urllib3==1.25.3
########################################################################################
# Default exclusions. Uncommenting the following lines would add some default exclusions
# which are inherited by new notebooks.
########################################################################################
#exclusions:
# - com.google.guava:guava # spark, update your guava already!!!
########## Notebook Runtime Configuration #########################################################################
###
### These configurations are applied to *all notebooks*.
### When a *new notebook* is created, its Notebook Configuration is copied from this configuration.
###
### When an existing notebook is *run*, these configurations are applied at runtime. Values present in the Notebook
### Configuration take precedence over values here. The Notebook Configuration is *not* modified.
###
### **Note** that this means they can affect reproducibility of your notebooks when you share them with others!
###
###################################################################################################################
###################################################################################################################
# Spark config params can be set by uncommenting and editing the following lines.
# To add additional spark configuration properties, add them as keys under `properties`.
# To set additional arguments to `spark-submit`, you can use the `spark_submit_args` property.
#
# By default, not all jars in SPARK_DIST_CLASSPATH are available to the Polynote compiler (i.e., to user-code
# inside cells). To use these jars (for example, if you want to use Hadoop APIs in your notebook without adding
# a Hadoop dependency), set the `dist_classpath_filter` to a valid regular expression that selects which JARs
# you want to use (there can be a huge number of JARs in SPARK_DIST_CLASSPATH, so it would be burdensome to
# include all of them by default.)
#
#################################################################################
spark:
properties:
spark.master: local[*]
spark.driver.memory: 1G
spark.executor.memory: 1G
# spark.driver.userClasspathFirst: true
# spark.executor.userClasspathFirst: true
# spark_submit_args: "--some --arguments"
# dist_classpath_filter: hadoop.*\.jar
########## Front-end Configuration ################################################################################
###
### These configurations affect the behavior of the front-end. You can modify the behavior by uncommenting the
### following lines and editing the properties.
###
###################################################################################################################
#ui:
# # The URI relative to the server host where Polynote is mounted. You can edit this if mounting Polynote at a
# # different location behind a reverse proxy. This value is placed in the <base> tag.
# base_uri: /
############################################################################################
# Credentials. This list contains the list of credentials used to access the repositories
############################################################################################
#credentials:
# coursier:
# path: ~/.config/coursier/credentials.properties
#############################################################################################################
# Environment variables. This map gets merged with the notebook config's environment variable map at runtime.
#############################################################################################################
#env:
# foo: bar