SpeedWatch_GPU.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/P2Enjoy/ia-web3.fr/blob/main/SpeedWatch_GPU.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 1,
      "metadata": {
        "id": "aJcKAw0ibDeF",
        "outputId": "9d6d43d3-6cfb-46b3-b7b4-14868244fed2",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting git+https://github.com/huggingface/transformers.git\n",
            "  Cloning https://github.com/huggingface/transformers.git to /tmp/pip-req-build-rldkypym\n",
            "  Running command git clone --filter=blob:none --quiet https://github.com/huggingface/transformers.git /tmp/pip-req-build-rldkypym\n",
            "  Resolved https://github.com/huggingface/transformers.git to commit 66c240f3c950612fa05b2e14c85d4b86c88e473e\n",
            "  Installing build dependencies ... \u001b[?25l\u001b[?25hdone\n",
            "  Getting requirements to build wheel ... \u001b[?25l\u001b[?25hdone\n",
            "  Preparing metadata (pyproject.toml) ... \u001b[?25l\u001b[?25hdone\n",
            "Collecting git+https://github.com/huggingface/accelerate.git\n",
            "  Cloning https://github.com/huggingface/accelerate.git to /tmp/pip-req-build-7npi__t2\n",
            "  Running command git clone --filter=blob:none --quiet https://github.com/huggingface/accelerate.git /tmp/pip-req-build-7npi__t2\n",
            "  Resolved https://github.com/huggingface/accelerate.git to commit 49cb83a423f2946059117d8bb39b7c8747d29d80\n",
            "  Installing build dependencies ... \u001b[?25l\u001b[?25hdone\n",
            "  Getting requirements to build wheel ... \u001b[?25l\u001b[?25hdone\n",
            "  Preparing metadata (pyproject.toml) ... \u001b[?25l\u001b[?25hdone\n",
            "Requirement already satisfied: torch in /usr/local/lib/python3.10/dist-packages (2.0.1+cu118)\n",
            "Requirement already satisfied: bitsandbytes==0.41.0 in /usr/local/lib/python3.10/dist-packages (0.41.0)\n",
            "Requirement already satisfied: tensorflow==2.13.0 in /usr/local/lib/python3.10/dist-packages (2.13.0)\n",
            "Requirement already satisfied: onnxruntime-gpu==1.15.1 in /usr/local/lib/python3.10/dist-packages (1.15.1)\n",
            "Requirement already satisfied: absl-py>=1.0.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.4.0)\n",
            "Requirement already satisfied: astunparse>=1.6.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.6.3)\n",
            "Requirement already satisfied: flatbuffers>=23.1.21 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (23.5.26)\n",
            "Requirement already satisfied: gast<=0.4.0,>=0.2.1 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (0.4.0)\n",
            "Requirement already satisfied: google-pasta>=0.1.1 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (0.2.0)\n",
            "Requirement already satisfied: grpcio<2.0,>=1.24.3 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.56.2)\n",
            "Requirement already satisfied: h5py>=2.9.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (3.8.0)\n",
            "Requirement already satisfied: keras<2.14,>=2.13.1 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (2.13.1)\n",
            "Requirement already satisfied: libclang>=13.0.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (16.0.6)\n",
            "Requirement already satisfied: numpy<=1.24.3,>=1.22 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.22.4)\n",
            "Requirement already satisfied: opt-einsum>=2.3.2 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (3.3.0)\n",
            "Requirement already satisfied: packaging in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (23.1)\n",
            "Requirement already satisfied: protobuf!=4.21.0,!=4.21.1,!=4.21.2,!=4.21.3,!=4.21.4,!=4.21.5,<5.0.0dev,>=3.20.3 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (3.20.3)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (67.7.2)\n",
            "Requirement already satisfied: six>=1.12.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.16.0)\n",
            "Requirement already satisfied: tensorboard<2.14,>=2.13 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (2.13.0)\n",
            "Requirement already satisfied: tensorflow-estimator<2.14,>=2.13.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (2.13.0)\n",
            "Requirement already satisfied: termcolor>=1.1.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (2.3.0)\n",
            "Requirement already satisfied: typing-extensions<4.6.0,>=3.6.6 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (4.5.0)\n",
            "Requirement already satisfied: wrapt>=1.11.0 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (1.14.1)\n",
            "Requirement already satisfied: tensorflow-io-gcs-filesystem>=0.23.1 in /usr/local/lib/python3.10/dist-packages (from tensorflow==2.13.0) (0.32.0)\n",
            "Requirement already satisfied: coloredlogs in /usr/local/lib/python3.10/dist-packages (from onnxruntime-gpu==1.15.1) (15.0.1)\n",
            "Requirement already satisfied: sympy in /usr/local/lib/python3.10/dist-packages (from onnxruntime-gpu==1.15.1) (1.11.1)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from torch) (3.12.2)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.10/dist-packages (from torch) (3.1)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from torch) (3.1.2)\n",
            "Requirement already satisfied: triton==2.0.0 in /usr/local/lib/python3.10/dist-packages (from torch) (2.0.0)\n",
            "Requirement already satisfied: cmake in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch) (3.25.2)\n",
            "Requirement already satisfied: lit in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch) (16.0.6)\n",
            "Requirement already satisfied: huggingface-hub<1.0,>=0.14.1 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (0.16.4)\n",
            "Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (6.0.1)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (2022.10.31)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (2.27.1)\n",
            "Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (0.13.3)\n",
            "Requirement already satisfied: safetensors>=0.3.1 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (0.3.1)\n",
            "Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.10/dist-packages (from transformers==4.32.0.dev0) (4.65.0)\n",
            "Requirement already satisfied: psutil in /usr/local/lib/python3.10/dist-packages (from accelerate==0.22.0.dev0) (5.9.5)\n",
            "Requirement already satisfied: wheel<1.0,>=0.23.0 in /usr/local/lib/python3.10/dist-packages (from astunparse>=1.6.0->tensorflow==2.13.0) (0.41.0)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.14.1->transformers==4.32.0.dev0) (2023.6.0)\n",
            "Requirement already satisfied: google-auth<3,>=1.6.3 in /usr/local/lib/python3.10/dist-packages (from tensorboard<2.14,>=2.13->tensorflow==2.13.0) (2.17.3)\n",
            "Requirement already satisfied: google-auth-oauthlib<1.1,>=0.5 in /usr/local/lib/python3.10/dist-packages (from tensorboard<2.14,>=2.13->tensorflow==2.13.0) (1.0.0)\n",
            "Requirement already satisfied: markdown>=2.6.8 in /usr/local/lib/python3.10/dist-packages (from tensorboard<2.14,>=2.13->tensorflow==2.13.0) (3.4.4)\n",
            "Requirement already satisfied: tensorboard-data-server<0.8.0,>=0.7.0 in /usr/local/lib/python3.10/dist-packages (from tensorboard<2.14,>=2.13->tensorflow==2.13.0) (0.7.1)\n",
            "Requirement already satisfied: werkzeug>=1.0.1 in /usr/local/lib/python3.10/dist-packages (from tensorboard<2.14,>=2.13->tensorflow==2.13.0) (2.3.6)\n",
            "Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->transformers==4.32.0.dev0) (1.26.16)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->transformers==4.32.0.dev0) (2023.7.22)\n",
            "Requirement already satisfied: charset-normalizer~=2.0.0 in /usr/local/lib/python3.10/dist-packages (from requests->transformers==4.32.0.dev0) (2.0.12)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->transformers==4.32.0.dev0) (3.4)\n",
            "Requirement already satisfied: humanfriendly>=9.1 in /usr/local/lib/python3.10/dist-packages (from coloredlogs->onnxruntime-gpu==1.15.1) (10.0)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->torch) (2.1.3)\n",
            "Requirement already satisfied: mpmath>=0.19 in /usr/local/lib/python3.10/dist-packages (from sympy->onnxruntime-gpu==1.15.1) (1.3.0)\n",
            "Requirement already satisfied: cachetools<6.0,>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from google-auth<3,>=1.6.3->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (5.3.1)\n",
            "Requirement already satisfied: pyasn1-modules>=0.2.1 in /usr/local/lib/python3.10/dist-packages (from google-auth<3,>=1.6.3->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (0.3.0)\n",
            "Requirement already satisfied: rsa<5,>=3.1.4 in /usr/local/lib/python3.10/dist-packages (from google-auth<3,>=1.6.3->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (4.9)\n",
            "Requirement already satisfied: requests-oauthlib>=0.7.0 in /usr/local/lib/python3.10/dist-packages (from google-auth-oauthlib<1.1,>=0.5->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (1.3.1)\n",
            "Requirement already satisfied: pyasn1<0.6.0,>=0.4.6 in /usr/local/lib/python3.10/dist-packages (from pyasn1-modules>=0.2.1->google-auth<3,>=1.6.3->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (0.5.0)\n",
            "Requirement already satisfied: oauthlib>=3.0.0 in /usr/local/lib/python3.10/dist-packages (from requests-oauthlib>=0.7.0->google-auth-oauthlib<1.1,>=0.5->tensorboard<2.14,>=2.13->tensorflow==2.13.0) (3.2.2)\n",
            "Collecting git+https://github.com/P2Enjoy/deepmultilingualpunctuation.git\n",
            "  Cloning https://github.com/P2Enjoy/deepmultilingualpunctuation.git to /tmp/pip-req-build-y0epj9go\n",
            "  Running command git clone --filter=blob:none --quiet https://github.com/P2Enjoy/deepmultilingualpunctuation.git /tmp/pip-req-build-y0epj9go\n",
            "  Resolved https://github.com/P2Enjoy/deepmultilingualpunctuation.git to commit cdfee832636544340b6f7c7c787c21a4b29d9ee2\n",
            "  Preparing metadata (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "Requirement already satisfied: transformers in /usr/local/lib/python3.10/dist-packages (from deepmultilingualpunctuation==1.0.1) (4.32.0.dev0)\n",
            "Requirement already satisfied: torch>=1.8.1 in /usr/local/lib/python3.10/dist-packages (from deepmultilingualpunctuation==1.0.1) (2.0.1+cu118)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (3.12.2)\n",
            "Requirement already satisfied: typing-extensions in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (4.5.0)\n",
            "Requirement already satisfied: sympy in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (1.11.1)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (3.1)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (3.1.2)\n",
            "Requirement already satisfied: triton==2.0.0 in /usr/local/lib/python3.10/dist-packages (from torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (2.0.0)\n",
            "Requirement already satisfied: cmake in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (3.25.2)\n",
            "Requirement already satisfied: lit in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (16.0.6)\n",
            "Requirement already satisfied: huggingface-hub<1.0,>=0.14.1 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (0.16.4)\n",
            "Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (1.22.4)\n",
            "Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (23.1)\n",
            "Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (6.0.1)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (2022.10.31)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (2.27.1)\n",
            "Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (0.13.3)\n",
            "Requirement already satisfied: safetensors>=0.3.1 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (0.3.1)\n",
            "Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.10/dist-packages (from transformers->deepmultilingualpunctuation==1.0.1) (4.65.0)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.14.1->transformers->deepmultilingualpunctuation==1.0.1) (2023.6.0)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (2.1.3)\n",
            "Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->transformers->deepmultilingualpunctuation==1.0.1) (1.26.16)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->transformers->deepmultilingualpunctuation==1.0.1) (2023.7.22)\n",
            "Requirement already satisfied: charset-normalizer~=2.0.0 in /usr/local/lib/python3.10/dist-packages (from requests->transformers->deepmultilingualpunctuation==1.0.1) (2.0.12)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->transformers->deepmultilingualpunctuation==1.0.1) (3.4)\n",
            "Requirement already satisfied: mpmath>=0.19 in /usr/local/lib/python3.10/dist-packages (from sympy->torch>=1.8.1->deepmultilingualpunctuation==1.0.1) (1.3.0)\n",
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.10/dist-packages (1.2.2)\n",
            "Requirement already satisfied: numpy>=1.17.3 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.22.4)\n",
            "Requirement already satisfied: scipy>=1.3.2 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.10.1)\n",
            "Requirement already satisfied: joblib>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.3.1)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (3.2.0)\n",
            "Requirement already satisfied: nltk in /usr/local/lib/python3.10/dist-packages (3.8.1)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.10/dist-packages (from nltk) (8.1.6)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.10/dist-packages (from nltk) (1.3.1)\n",
            "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.10/dist-packages (from nltk) (2022.10.31)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from nltk) (4.65.0)\n",
            "Requirement already satisfied: pytorch-crf==0.7.2 in /usr/local/lib/python3.10/dist-packages (0.7.2)\n",
            "Requirement already satisfied: youtube_transcript_api==0.6.1 in /usr/local/lib/python3.10/dist-packages (0.6.1)\n",
            "Requirement already satisfied: langchain in /usr/local/lib/python3.10/dist-packages (0.0.251)\n",
            "Requirement already satisfied: sentence_transformers in /usr/local/lib/python3.10/dist-packages (2.2.2)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from youtube_transcript_api==0.6.1) (2.27.1)\n",
            "Requirement already satisfied: PyYAML>=5.4.1 in /usr/local/lib/python3.10/dist-packages (from langchain) (6.0.1)\n",
            "Requirement already satisfied: SQLAlchemy<3,>=1.4 in /usr/local/lib/python3.10/dist-packages (from langchain) (2.0.19)\n",
            "Requirement already satisfied: aiohttp<4.0.0,>=3.8.3 in /usr/local/lib/python3.10/dist-packages (from langchain) (3.8.5)\n",
            "Requirement already satisfied: async-timeout<5.0.0,>=4.0.0 in /usr/local/lib/python3.10/dist-packages (from langchain) (4.0.2)\n",
            "Requirement already satisfied: dataclasses-json<0.6.0,>=0.5.7 in /usr/local/lib/python3.10/dist-packages (from langchain) (0.5.14)\n",
            "Requirement already satisfied: langsmith<0.1.0,>=0.0.11 in /usr/local/lib/python3.10/dist-packages (from langchain) (0.0.18)\n",
            "Requirement already satisfied: numexpr<3.0.0,>=2.8.4 in /usr/local/lib/python3.10/dist-packages (from langchain) (2.8.4)\n",
            "Requirement already satisfied: numpy<2,>=1 in /usr/local/lib/python3.10/dist-packages (from langchain) (1.22.4)\n",
            "Requirement already satisfied: openapi-schema-pydantic<2.0,>=1.2 in /usr/local/lib/python3.10/dist-packages (from langchain) (1.2.4)\n",
            "Requirement already satisfied: pydantic<2,>=1 in /usr/local/lib/python3.10/dist-packages (from langchain) (1.10.12)\n",
            "Requirement already satisfied: tenacity<9.0.0,>=8.1.0 in /usr/local/lib/python3.10/dist-packages (from langchain) (8.2.2)\n",
            "Requirement already satisfied: transformers<5.0.0,>=4.6.0 in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (4.32.0.dev0)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (4.65.0)\n",
            "Requirement already satisfied: torch>=1.6.0 in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (2.0.1+cu118)\n",
            "Requirement already satisfied: torchvision in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (0.15.2+cu118)\n",
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (1.2.2)\n",
            "Requirement already satisfied: scipy in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (1.10.1)\n",
            "Requirement already satisfied: nltk in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (3.8.1)\n",
            "Requirement already satisfied: sentencepiece in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (0.1.99)\n",
            "Requirement already satisfied: huggingface-hub>=0.4.0 in /usr/local/lib/python3.10/dist-packages (from sentence_transformers) (0.16.4)\n",
            "Requirement already satisfied: attrs>=17.3.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (23.1.0)\n",
            "Requirement already satisfied: charset-normalizer<4.0,>=2.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (2.0.12)\n",
            "Requirement already satisfied: multidict<7.0,>=4.5 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (6.0.4)\n",
            "Requirement already satisfied: yarl<2.0,>=1.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.9.2)\n",
            "Requirement already satisfied: frozenlist>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.4.0)\n",
            "Requirement already satisfied: aiosignal>=1.1.2 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.3.1)\n",
            "Requirement already satisfied: marshmallow<4.0.0,>=3.18.0 in /usr/local/lib/python3.10/dist-packages (from dataclasses-json<0.6.0,>=0.5.7->langchain) (3.20.1)\n",
            "Requirement already satisfied: typing-inspect<1,>=0.4.0 in /usr/local/lib/python3.10/dist-packages (from dataclasses-json<0.6.0,>=0.5.7->langchain) (0.9.0)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.4.0->sentence_transformers) (3.12.2)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.4.0->sentence_transformers) (2023.6.0)\n",
            "Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.4.0->sentence_transformers) (4.5.0)\n",
            "Requirement already satisfied: packaging>=20.9 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.4.0->sentence_transformers) (23.1)\n",
            "Requirement already satisfied: urllib3<1.27,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->youtube_transcript_api==0.6.1) (1.26.16)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->youtube_transcript_api==0.6.1) (2023.7.22)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->youtube_transcript_api==0.6.1) (3.4)\n",
            "Requirement already satisfied: greenlet!=0.4.17 in /usr/local/lib/python3.10/dist-packages (from SQLAlchemy<3,>=1.4->langchain) (2.0.2)\n",
            "Requirement already satisfied: sympy in /usr/local/lib/python3.10/dist-packages (from torch>=1.6.0->sentence_transformers) (1.11.1)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.10/dist-packages (from torch>=1.6.0->sentence_transformers) (3.1)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from torch>=1.6.0->sentence_transformers) (3.1.2)\n",
            "Requirement already satisfied: triton==2.0.0 in /usr/local/lib/python3.10/dist-packages (from torch>=1.6.0->sentence_transformers) (2.0.0)\n",
            "Requirement already satisfied: cmake in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch>=1.6.0->sentence_transformers) (3.25.2)\n",
            "Requirement already satisfied: lit in /usr/local/lib/python3.10/dist-packages (from triton==2.0.0->torch>=1.6.0->sentence_transformers) (16.0.6)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.6.0->sentence_transformers) (2022.10.31)\n",
            "Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.6.0->sentence_transformers) (0.13.3)\n",
            "Requirement already satisfied: safetensors>=0.3.1 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.6.0->sentence_transformers) (0.3.1)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.10/dist-packages (from nltk->sentence_transformers) (8.1.6)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.10/dist-packages (from nltk->sentence_transformers) (1.3.1)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn->sentence_transformers) (3.2.0)\n",
            "Requirement already satisfied: pillow!=8.3.*,>=5.3.0 in /usr/local/lib/python3.10/dist-packages (from torchvision->sentence_transformers) (9.4.0)\n",
            "Requirement already satisfied: mypy-extensions>=0.3.0 in /usr/local/lib/python3.10/dist-packages (from typing-inspect<1,>=0.4.0->dataclasses-json<0.6.0,>=0.5.7->langchain) (1.0.0)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->torch>=1.6.0->sentence_transformers) (2.1.3)\n",
            "Requirement already satisfied: mpmath>=0.19 in /usr/local/lib/python3.10/dist-packages (from sympy->torch>=1.6.0->sentence_transformers) (1.3.0)\n"
          ]
        }
      ],
      "source": [
        "#@title Install all requirements (run once)\n",
        "\n",
        "# System\n",
        "import locale, os\n",
        "locale.getpreferredencoding = lambda: \"UTF-8\"\n",
        "!pip install --upgrade torch git+https://github.com/huggingface/transformers.git git+https://github.com/huggingface/accelerate.git bitsandbytes==0.41.0 tensorflow==2.13.0 onnxruntime-gpu==1.15.1\n",
        "os.environ['CUDA_LAUNCH_BLOCKING'] = \"1\"\n",
        "\n",
        "# Application for ponctuation\n",
        "!pip install git+https://github.com/P2Enjoy/deepmultilingualpunctuation.git\n",
        "!pip install scikit-learn\n",
        "!pip install nltk\n",
        "\n",
        "!pip install pytorch-crf==0.7.2 youtube_transcript_api==0.6.1 langchain sentence_transformers"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Youtube processing"
      ],
      "metadata": {
        "id": "O6nVxgaEOiTJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@title Put the link of the video to summarize:\n",
        "video_link = \"https://www.youtube.com/watch?v=ku6bCLx9roY\" #@param {type:\"string\"}"
      ],
      "metadata": {
        "cellView": "form",
        "id": "v6lO0flKOz2N"
      },
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": 3,
      "metadata": {
        "id": "0S4YI0B-dL41",
        "cellView": "form",
        "outputId": "c695d49a-728f-49b8-dc7d-87870671fc38",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            " en 1927 le diplomate roumain mathilagica publie esthétique des proportions dans la nature et dans les arts dans lequel il introduit le nombre d'or comme marqueur universel de la beauté il s'appuie sur les travaux de philosophalement du XIXe siècle comme Gustave Fechner et son rectangle d'or ou adolesing et sa section d'or eux-mêmes se sont appuyé sur les recherches du mathématicien de la Renaissance Lucas passioli et de sa divine proportion qui lui s'est fortement inspiré des travaux d'Euclide et de son partage en moyenne et extrême raison bref l'histoire du nombre d'or est tumultueuse et ça tombe bien j'ai deux minutes pour en parler j'ai ouvert cette chaîne youtube il y a 8 ans et il y a ce sujet que j'ai à peine évoqué et qui semble chez certains au cœur des mathématiques le nombre d'or pour ceux qui ne connaissent pas le nombre d'or c'est un nombre qui est partout et qui est ni plus ni moins que la clé pour appréhender la beauté du monde qui nous entoure pour comprendre de quoi il s'agit prenons l'exemple un contournable le Parthénon il s'agit du splendide de temple grec qui surplombe l'Acropole construit au 5ème siècle avant notre ère sa beauté s'explique mathématiquement et c'est l'une des plus grandes découvertes de l'histoire de l'art on peut en effet inscrire la façade du monument dans un rectangle mais pas n'importe lequel puisqu'il est 1,618 fois plus long que haut on dit que ce rectangle est le rectangle d'or et que son format est de 1,618 ce nombre 1,618 c'est le fameux nombre d'or la perfection fait nombre on le note avec la lettre grecque fi initiale de Phidias sculpteur de la monumentale statue d'Athéna qui se trouvait au Parthénon et dont il a dirigé les travaux des rectangles aux proportions d'or peuvent alors être retrouvés dans tous les pratique de la peinture par exemple le visage de la Joconde s'inscrit exactement dans ce rectangle le cadre de la naissance de Vénus de Botticelli est un rectangle d'or parfait et la grande vague de Kanagawa forme une spirale d'or une spirale contenue dans des rectangles d'or à briquet on pourrait multiplier les exemples avec tous les plus beaux tableaux de l'histoire de la peinture et ça ne se limite pas à la peinture on retrouve le nombre d'or en architecture avec le Parthénon ou la grande pyramide de Khéops mais on peut aussi évoquer la Cité Radieuse à Marseille on le retrouve en graphisme dans le logo d'Apple par exemple ou de façon encore plus évidente dans celui de National Geographic bref en art le nombre d'or est partout pour comprendre ce lien entre le nombre d'or et la beauté il y a un dessin incontournable réalisé par Léonard de Vinci l'Homme de Vitruve illustre les proportions parfaites d'un corps humain et on y retrouve bien entendu 1,618 en divisant le côté du carré par le rayon du cercle cela permet de comprendre certaines prescriptions de beauté comme celle proposée par la mathématicienne Lili Cernat qui permet de déterminer la longueur parfaite pour une jupe dans le même esprit on peut aussi calculer le degré de perfection d'un visage en le comparant avec un masque parfait construit à partir du nombre d'or les plus haut scores de perfection sont atteints par les plus belles top models de la planète allez de petit dernier exemple pour la route qui permettent de comprendre en quoi la spirale d'or est indubitablement à l'origine de tout ce qui est parfait voici par exemple de parfaits petits chats dont l'enroulement suit une spirale d'or ou bien cette coiffure en tout point parfaite euh non attendez ça c'est clairement n'importe quoi ou alors c'est tous ces exemples depuis le début qui sont n'importe quoi est-ce que tout ça c'est bien sérieux reprenons j'ai été beaucoup trop affirmatif dans cette introduction la façade du Parthénon rentrerait parfaitement dans un rectangle d'or oui à condition de prendre dans le cadre quelques marches ce n'est pas aussi parfait qu'on aimerait le croire même chose avec la grande vague la superposition des spirales est plutôt approximative l'exemple de l'homme des Vitruve et lui plutôt fallacieux puisque quand on divise le côté du carré par le rayon du cercle on est plus proche de 1,64 que de 1 618 cette différence n'est pas négligeable ensuite si je cherche des rectangles d'un format précis dans une peinture pour peu que ce que j'étudie est un minimum de complexité je vais finir par le trouver on peut trouver des rectangles d'or dans le visage de Mona Lisa mais je peux aussi sans difficulté et trouver des rectangles du format d'une feuille A4 enfin il y a d'énormes biais de sélection la naissance de Vénus a un cadre proche des dimensions du nombre d'or certes mais c'est plutôt rare dans l'oeuvre de Botticelli on a donc volontairement occulté le reste de son œuvre pour valider notre thèse même chose avec la grande pyramide de Khéops les ratios dans cette pyramide qui sont proches du nombre d'or ne le sont pas du tout sur les autres pyramides malgré tout tout n'est pas complètement faux non plus le logo de National Geographic par exemple il suffit de le mesurer pour constater que c'est bien rectangle d'or quasi parfait à 0,5% près il ne m'a pas fallu faire beaucoup de recherches pour trouver tous ces exemples d'oeuvres d'art parfaites parce que liés au nombre d'or je me suis contenté de lire le premier livre venu et de regarder quelques vidéos sur le sujet les exemples que l'on y retrouve sont toujours appelés même Léonard de Vinci les sculpteurs grecs Le Corbusier etc et pour comprendre pourquoi ce sont toujours un peu les mêmes exemples d'artistes qui reviennent il me semble judicieux de retracer l'histoire du nombre d'or la dénomination nombre d'or apparaît pour la première fois en 1927 dans le livre l'esthétique des proportions du diplomate roumain matin dans cet ouvrage ainsi que dans le suivant le nombre d'or préfacé par l'académicien Paul Valéry JK va définir le nombre d'or comme étant le nombre 1 + √5/2 soit 1,618 0,33988 avec une infinité de décimales derrière quand j'ai dit en début de vidéo que le nombre d'or était égal à 1,618 j'ai fait une horrible approximation j'espère que vous me le pardonnerez JK détaille dans son livre des propriétés mathématiques du nombre d'or en le présentant comme un nombre au moins aussi important que pi ou E mais il s'attarde surtout sur ses propriétés esthétiques selon JK le nombre d'or est une constante mathématique associée à la vie et qui gouverne l'art sous toutes ces formes ce n'est pas une thèse qu'il sort de nulle part il s'appuie en effet sur les travaux de nombreux scientifiques avant lui les mathématiciens et philosophes antiques comme Pythagore Platon ou Euclide sur des savants de la Renaissance notamment Léonard de Vinci et son les scientifiques allemands du 19e siècle comme Fechner et zazing tout sont en effet travaillés autour du nombre d'or bien avant qu'il ne porte ce nom on peut alors se demander pourquoi autant de scientifiques à travers les siècles ce sont intéressés à ce nombre 1+√5/2 qu'est-ce qu'il a de si attrayant à vrai dire il a fallu plusieurs millénaires avant que le nombre d'or soit considéré comme un nombre à part entière ce qui a intéressé les mathématiciens c'est plutôt la proportion d'or et sa plus ancienne trace écrite remonte au début du troisième siècle avant notre ère on est donc deux siècles après Pythagore et Euclide d'Alexandrie rédige la première version de l'un des plus grands best-sellers de l'humanité juste après la Bible les éléments il s'agit d'un traité de mathématiques en 13 volumes qui expose l'ensemble des connaissances de l'époque en géométrie l'étude des figures et en arithmétique l'étude des nombres la forme est contrairement moderne puisque chaque résultat il est associé à sa démonstration c'est le plus ancien ouvrage de mathématiques présentées de la sorte qui a pu traverser les siècles chacun des livres traite de sujets différents par exemple le livre 1 parle des bases de la géométrie on y retrouve par exemple la propriété des angles d'un triangle d'avoir leur somme égale à 180 degrés le livre 2 lui traite des identités remarquables et des équations du second degré présentés de façon géométrique l'algèbre ne sera inventé que bien des siècles plus tard le livre 3 parle des propriétés des cercles et ainsi de suite dans la 11e proposition du Livre 2 Euclide présente alors une construction qui semble aussi curieuse qui utile il propose de partager le côté d'un carré en deux segments de telle sorte que l'air du rectangle construit à l'intérieur du carré sur le petit segment soit égal à l'aire du carré construit sur l'autre segment il montre ensuite une construction géométrique qui permet de réaliser ce partage et donne la démonstration de sa validité ce partage porte alors le nom de partage en moyenne et extrême raison on peut alors se demander pourquoi Euclide a jugé pertin cette notion dès le livre 2 ce qu'il faut comprendre c'est que cette construction ne doit être considérée que comme un outil nécessaire à des constructions géométriques plus élaborées ainsi dans le livre 4 le partage en moyenne est extrême raison intervient dans la construction d'un triangle isocèle dont les angles de la base sont deux fois plus grands que le dernier angle ce triangle isocène lui va intervenir à son tour dans la construction du pentagone régulier le polygone a 5 côtés égaux et 5 angles égaux au passage on peut remarquer que les diagonales d'un pentagone régulier se coupe les unes les autres en moyenne et extrêmes raisons construire des pentagones réguliers c'est au cœur de l'ultime libre des éléments le 13e celui qui traite de la construction des solides de Platon un solide de Platon c'est un solide le plus régulier possible toutes les faces sont identiques et sont des polygones réguliers avec 6 exemplaires d'un carré on pourra construire un cube avec respectivement 4 8 et 20 exemplaires d'un triangle équilatéral il est possible de former un tétraèdre régulier un octaèdre régulier ou un nikosaèdre régulier enfin avec 12 pentagones on obtient le dernier des cinq solides de Platon le dodécane régulier bref sans partage en moyenne et extrême raison il est impossible de construire de pentagones réguliers et donc impossible de construire tous les solides de Platon et pour un mathématicien de l'Antiquité grecque c'est loin d'être anodin les solides de Platon font partie des objets mathématiques les plus importants de la géométrie grecque dans la pensée de Platon l'univers physique est en effet écrit en langage mathématique et ses solides sont liées aux quatre éléments le feu au tétraèdre la terre occupe l'eau à l'octaèdre et l'aire à nicosaèdre enfin le dernier solide le dos des cadres représente l'univers Euclide donne au début du livre 6 une autre définition du partage en moyenne et extrême raison une ligne édite coupée en moyenne et extrême raison lorsque la droite entière est au plus grand segment comme le plus grand segment est au plus petit en notation plus moderne on peut voir cette définition sous la forme de deux rapports dans un segment qui doivent être égaux on peut aussi voir ce problème de Clide sous la forme d'un problème géométrique équivalent considérons un rectangle quel doit être le format de ce rectangle pour que si on retire un carré le rectangle restant possède le même format que le rectangle initial ce rectangle que l'on recherche c'est le rectangle d'or et on pourra vérifier que le carré partage le rectangle en moyenne et extrême raison ce rectangle gain c'est proportions identiques lorsqu'on lui retire un carré on peut donc à nouveau retirer un carré au petit rectangle ce qui nous donne un nouveau rectangle aux proportions toujours identiques en poursuivant de la sorte on peut construire une infinité de rectangle d'or en boîte et c'est en traçant un quart de cercle dans chacun des carrés retirés que l'on obtient une spirale la fameuse spirale d'or plus précisément ce que l'on appelle le format d'un rectangle c'est le rapport entre sa longueur et sa largeur si j'appelle ABCD le CRAN rectangle et ebcf le petit rectangle alors il faut que le format de ABCD c'est-à-dire AB sur ad soit égal au format de ebcf soit EF sur EB puisque ad est égal à EF et que EB est égal à AB moins ad on a donc l'égalité AB sur ad = ad sur AB - AD en notant x le format du grand rectangle je vous laisse vérifier que l'on obtient l'équation x² - x - 1 = 0 il s'agit d'une équation du second degré qui possède alors deux solutions réelles que l'on peut calculer avec la bonne vieille méthode du discriminant et une seule des solutions est positive x = 1 + √5/2 le rectangle ABCD a donc pour format le nombre d'or et le Point E coupe alors le segment AB en moyenne et extrême raison le calcul que je viens de vous proposer est cependant complètement anachronique puisque la construction de Clean n'utilise en réalité que des raisonnements géométriques et qui n'est pas question de mélanger cela avec des nombres bon quitte à être anachronique parlons rapidement des propriétés mathématiques du nombre d'or déjà puisque ce nombre est la solution de l'équation x² - x - 1 = 0 il est ce que l'on appelle un nombre algébrique c'est-à-dire un nombre qui est la solution d'une équation polynomiale les nombres qui s'écrivent avec des racines sont en général algébriques comme racine carrée de 2 ou racine cubique de 2 mais il existe des nombres qui ne le sont pas comme eux ou pi ces nombres sont appel des nombres transcendants et c'est d'ailleurs cette propriété de PI qui rend impossible célèbre problème de la quadrature du cercle bref le nombre d'or n'est pas un nombre transcendant c'est un nombre algébrique mais il y a une propriété encore plus importante c'est que le nombre d'or est un nombre irrationnel on dit qu'un nombre est rationnel quand il peut être écrit sous la forme d'une fraction de deux entiers comme 3/4 5/8 ou 857 sur 289 au contraire quand il est impossible d'exprimer un nombre sous la forme d'une fraction de deux entiers on dira que ce nombre est irrationnel on peut démontrer que le nombre d'or ne pourra jamais s'exprimer de façon exacte comme un quotient de deux nombres entiers c'est donc un nombre irrationnel cette propriété peut sembler un peu anecdotique en 2023 mais pour un contemporain de Pythagore c'est tout autre chose remontons donc au sixième siècle avant notre ère Pythagore ce n'est pas qu'un théorème utile à l'étude de l'orthogonalité des dabs de Pogba c'est surtout une figure incontournable à des mathématiques de l'Antiquité on ne connaît pas grand chose de sa vie mais on connaît malgré tous les préceptes de sa communauté végétarisme exercice spirituel et bien entendu pratique des mathématiques chez les pythagoriciens les nombres sont centraux mais pas n'importe quel nombre les nombres entiers positifs pas de nombres à virgule il faudra attendre le 16ème siècle pour ça pas de nombreux négatifs qui ne seront pas acceptés comme étant des nombres avant le 19e siècle pas de zéro non plus qui sera popularisé par les mathématiciens arabes du 10e siècle et le nombre 1 n'est pas considéré comme un nombre apparentiel c'est simplement l'unité les fractions sont malgré tout considérées pour ce qu'elles représentent des rapports entre de nombre entier mais elles ne sont pas encore vues comme des nombres pour un mathématicien grec un nombre c'est donc uniquement un nombre entier supérieur ou égal à 2 les nombres peuvent se représenter de manière figurée d'où la notion de nombreux carrés comme 1-49 ou 16 ou de nombreux triangulaires comme 1 3 6 ou 10 ces représentations permettent de faire des démonstrations comme par exemple le fait que les sommes de nombreux à pairs consécutifs à partir de 1 sont toujours un nombre carré autre exemple si on retire une unité du carré d'un nombre impair alors le résultat sera toujours divisible par 8 une notion très importante en arithmétique et celle du PGCD plus grand diviseur comment montrer que deux grandeurs donnés sont toutes les deux un multiple entier d'une même autre grandeur une méthode qui fonctionne bien et celle des soustractions successives qui portent aussi le doux dans différents on part de deux quantités dont on cherche le diviseur commun et on remplace la plus grande des deux par la différence entre les deux on obtient alors deux nouvelles quantités et on répète le processus jusqu'à ce que les quantités soient égales on obtiendra alors le PGCD si j'applique ça par exemple sur les nombres 91 et 35 je commence par remplacer 91 par la différence de 91 et 35 on a donc maintenant 56 et 35 on recommence on obtient alors 21 et 35 en poursuivant on aura 21 et 14 puis 7 et 14 et enfin 7 et 7 le PGCD de 91 et 35 c'est donc 7 le plus grand de leur diviseur commun on peut se convaincre aisément que la méthode est soustractions successives fera apparaître des nombres entiers de plus en plus petits mais toujours positif ce qui implique qu'il y aura nécessairement qu'un nombre fini d'étapes on dira alors que les deux grandeurs comment survables mais ça c'est pas toujours le cas et c'est quelque chose qui aura révolutionné la pensée mathématique grecque qu'est-ce qui se passe en effet si on applique l'anti Farès à des grandeurs géométriques prenons pour cela une des figures géométriques les plus simples le carré appelons-le ABCD on va chercher le PGCD géométrique du côté AB et de sa diagonale AC quelle serait leur mesure commune commençons par chercher la différence entre AB et AC avec un arc de cercle centré en a on peut reporter le point B sur la diagonale AC on obtient alors le Point E le PGCD de AB et AC est donc le même que celui de AB et de leurs différences qui est EC il faut donc à présent calculer la différence entre AB et EC pour cela un petit raisonnement géométrique s'impose on commence par tracer en e la perpendiculaire AAC cette droite coupe le côté BC en F dans le triangle EFC l'angle E est un angle droit par construction et l'angle C mesure 45 degrés le dernier angle F mesure donc aussi 45 degrés si bien que EFC est un triangle ce qui implique donc que la longueur EC est égale à la longueur EF on peut dans un second temps observer les triangles AFE et AFB c'est de triangles on le côté af en commun on leur côté AE et AB égaux et sont tous les deux des triangles rectangles ils sont donc égaux si bien que la longueur EF est égale à la longueur FB on a donc finalement EC = BF la différence entre AB et EC que l'on cherche c'est donc aussi la différence entre BC et BF c'est FC le PGCD de AB et EC c'est donc le PGCD de FC et EC sauf que FC et EC ce n'est rien d'autre que la diagonale et le côté d'un carré le carré cefg autrement dit la mesure commune entre la diagonale et le côté d'un carré c'est aussi la mesure commune d'une diagonale et du côté d'un carré plus petit qui lui-même est la mesure d'une diagonale et du côté d'un carré plus petit et ainsi de suite ce processus pourrait donc être poursuivi à l'infini les deux longueurs n'ont donc aucune mesure commune elles ne peuvent donc pas être toutes les données nombres entiers car si c'était le cas le processus nous aurait donné leur PGCD en un nombre fini d'État on dit alors que le côté d'un carré et sa diagonale sont incommensurables quand on est un Pythagore ici et qu'on voit le monde mathématiquement uniquement à travers le prisme des nombres entiers ou de leur rapport cette révélation a de quoi choqué selon la légende le premier mathématicien qui avait fait cette découverte aurait été jeté à la mer car une telle anonymie se devait de rester caché aujourd'hui on ne parle plus vraiment de grandeur incommensurable mais de nombre irrationnels le nombre racine carrée de 2 qui est le rapport entre la diagonale de n'importe quel carré et de son côté en est un exemple il ne peut pas s'écrire sous la forme d'une fraction de deux entiers c'est aussi le cas du nombre d'or 1 + √5/2 et de manière générale des nombres qui s'écrivent comme la racine carrée d'un nombre qui n'est pas un carré chez les savants grecs de l'antiquité saisir rationnel n'existe pas en tant que nombre mais ils sont malgré tout très bien identifiés dans des constructions géométriques comme dans la diagonale d'un carré par exemple mais aussi dans la hauteur d'un triangle équilatéral ou dans les diagonales des pentagones mais ce sont simplement des propriétés des figures géométriques il ne viendrait donc pas à l'idée d'un savant grec d'utiliser volontairement des rapports incommensurables dans l'élaboration d'une oeuvre les théories esthétiques grecques ne s'appuient en fait pas du tout sur le nombre d'or pour comprendre ça il faut revenir à l'Homme de Vitruve ce que devient si des signes ce sont les proportions idéales d'un corps humain au sens de Vitruve un architecte grec du premier siècle en effet dans l'architecture grec et c'est ce que Vitruve explique dans son Traité des architectorat les proportions des bâtiments doivent obéir à des règles mathématiques qui s'appuient sur les nombres entiers et leur rapport je vous renvoie à la vidéo d'architecton qui explore plus précisément le sujet pour le corps humain on est dans les mêmes considérations géométriques un homme debout les bras écartés peut s'inscrire dans un carré tandis que les membres étendus il pourra s'inscrire dans un cercle centré sur le nombril la hauteur d'une tête du sommet du crâne jusqu'au bas du menton c'est 1/8 de la hauteur d'un homme et la distance entre le haut de la poitrine et le sommet de la tête c'est un sixième de la hauteur autrement dit selon les canons esthétiques Grecs les proportions idéales d'un corps humain sont des rapports rationnels entre des nombres entiers le nombre d'or étant une grandeur par nature irrationnelle c'est forcément un contresens de l'appliquer à des créations grecques comme le Parthénon ou d'inspiration grecque comme l'homme de Vitruve et puisqu'on parle de l'Homme de Vitruve il faut évoquer le cas Léonard de Vinci dont le nom revient très souvent quand on évoque les œuvres dans lequel le nombre d'or est censé apparaître de la scène jusqu'à la Joconde de Vinci étant la figure du génie authentique tous les sujets auxquels il s'est intéressé se doivent d'être d'importance majeures il n'a pourtant jamais écrit de sa main quoi que ce soit en lien avec le nombre d'or malgré tout il a participé à la conception d'un livre mettant sur le devant de la scène ce qui deviendra le nombre d'or des divinats proportionnées de Lucas patioli publié en 1509 Pacioli c'est un professeur de mathématiques mais surtout un moine Francis quin contemporain de Devinci au début du 15e siècle il s'intéresse aux éléments de clean et s'émerveille du partage en extrémé moyenne raison qui permet la construction de Pentagone ou de dodéca une telle perfection ne peut être selon lui que l’œuvre de Dieu qu'il rebaptise alors divine proportions le livre de patioli reste avant tout un ouvrage de mathématiques dans lequel il démontre dans la pure tradition de Clide les liens entre sa divine proportion et les polyènes recherches à Platon l'ouvrage ne prête donc en aucun cas des propriétés esthétiques à cette proportion divine les seuls apports de Vinci aux écrits de patiolis se résument en fait à une série de dessins de géométrie représentant une grande variété de volume lors de la publication de son livre en 1509 patioli y ajoute plusieurs appendices notamment un traité d'architecture inspiré de Vitruve mais sans rapport direct avec la première partie les théories esthétiques qui y sont développées qui concerne l'architecture et le corps humain sont inspirés directement de celle des Grecs et s'appuie donc sont les rapports de nombres entiers aucun lien avec la proportion divine il n'y a donc a priori aucune bonne raison à ce que les artistes de la Renaissance est volontairement utilisé cette proportion d'or dans leurs œuvres il ne s'agit à ce moment de l'histoire que d'une notion mathématiques le souci c'est qu'avec le temps l'implication de Devinci dans le livre ainsi que l'indépendance entre les différentes parties de devenir flou donnant naissance à partir du XVIIIe siècle au mythe d'un lien entre proportions divines et canon esthétique au cours des siècles qui vont suivre de nombreux scientifiques comme Johan Kepler ou Michel chasal vont s'intéresser de près à cette proportion divine mais sécher les psychologues allemands du 19e que cette notion de proportion divine va prendre une autre direction dans les années 1850 en Allemagne on cherche une réponse scientifique à la question qu'est-ce que le beau de nombreux auteurs vont proposer leur réponse si possible mathématiques on a par exemple le médecin Franz liarzik qui propose une théorie esthétique qui s'appuie sur un carré magique de côté 7 ou le moins de bénédictin odilow Wolf qui trouve dans l'hexagramme une loi unique et fondamentale de la perfection mais la théorie qui restera c'est celle du philosophe Adolphe zeizing la théorie de la section d'or en 1854 il publie nouvelle leçon sont les proportions du corps humain et il y propose une loi universelle qui gouvernerait la beauté son hypothèse c'est que l'harmonie réside essentiellement dans les proportions lorsqu'un segment est découpé en deux le rapport entre les deux morceaux n'est a priori pas égal au rapport entre le plus en morceaux et le tout sauf dans le cas d'un découpage selon la divine proportion ce qui fait de ce découpage une parfaite harmonie de proportion sous la plume de zeizing la divine proportion prend alors le nom de section divine et est considéré alors aussi bien comme une proportion que comme un nombre à part entière 1 + √5/2 zazing s'empresse alors de vérifier que sa section dorée est le maître étalon de l'harmonie dans l'art et dans la nature et quand on cherche on trouve il montre par exemple que le squelette humain suit parfaitement les mesures de sa section dorée quitte à Tordre un peu les proportions humaines pour que son exemple soit plus recevable il retrouve aussi sa section dans les minéraux les plantes ou l'architecture zeizing se voit opposer certaines critiques en particulier par gustafechner qui trouve sa loi un peu trop arbitraire il se propose alors en 1876 de mettre tout le monde d'accord avec une expérience scientifique il présente à 250 volontaires plusieurs rectangles de carton blanc de même surface mais de formats différents allant d'un carré de format 1 jusqu'à un rectangle allongé de format 5/2 les volontaires la valeur choisir celui qui le juge le plus agréable et rejeté celui qu'il juge le moins agréable en dehors de toute application pratique les participants peuvent éventuellement choisir plusieurs rectangles il ressort alors de cette expérience que un peu plus d'un tiers des participants ont préféré le rectangle de format 34 sur 21 qui s'approche le plus d'un rectangle d'or les deux rectangles de formats les plus proches celui de format 3/2 et celui de format 23 13e sont eux aussi plébiscités les autres rectangles eux ont eu bien moins de succès réciproquement quand il s'agit de rejeter des rectangles aucun participant n'a désigné le rectangle d'or c'est plutôt le rectangle trop long qui a été écarté une première étude qui va finalement dans le sens de zazing bien que la conclusion ne soit pas complètement franche Fechner ne s'arrête pas là et réalise une seconde expérience en présentant cette fois-ci à ses volontaires différentes croix issues du commerce qui présentent diverses proportions cette fois-ci c'est la croix de Saint-André de rapport 1- qui est préférée ce qui va à l'encontre des résultats de l'expérience précédente depuis Fechner de nombreux psychologues ont étudié la question en 19 95 le psychologue canadien Christopher Green a d'ailleurs compilé une quarantaine d'études de 1864 jusqu'à 1992 et les différents résultats sont loin d'être unanimes bien qu'il tourne pour la plupart autant d'une préférence pour le rapport 1,6 celle-ci n'est jamais très marquée et jamais précisément sur le rapport d'or j'ai moi-même tenté de reproduire cette expérience en 2017 sur Twitter sur un échantillon de 772 personnes à qui j'ai demandé de noter des rectangles de 0 à 5 le rectangle d'or à l'orientation paysage a reçu la meilleure note moyenne suivi de près par le rectangle de format 16/9 et le rectangle de format racine carrée de 2 bref il semble se dégager une légère préférence des gens pour les rectangles au format proche du rectangle d'or mais rien qui ne justifie d'en faire une règle déterminante ainsi avec les travaux de zazing et Fechner la section d'or a pris une assise scientifique et les idées ont commencé à se diffuser dans les milieux artistiques de la fin du 19e siècle c'est à partir de ce moment que rencontrer des rapports proches du nombre d'or au détour d'une peinture ne sera plus forcément une coïncidence les peintres pointillistes du mouvement néo-impression comme George sera Paul Signac ou Camille Pissaro sont parfois associés au nombre d'or leur travail sur les couleurs et la lumière se voulant guider par la science ces artistes ont en effet été plutôt proches du critique d'art Charles-Henry grande défenseur d'applications géométriques à l'art dont entre autres celle de la section dorée comment juger alors si le fait de retrouver le nombre d'or dans une peinture est un choix de l'artiste ou bien une coïncidence prenons par exemple parade de cirque de George Sora sa composition est clairement géométrique avec des lignes horizontales et verticales très marquées on peut voir par exemple que le personnage central est situé très exactement sur la verticale centrale quand on observe les trois musiciens de gauche on peut voir que le troisième est situé sur une verticale qui coupe le cadre selon une section dorée ou alors aux hypothèses il est placé sur la ligne des 3/8 les deux autres étant placé à 1/8 et 2/8 cette deuxième hypothèse semble un peu plus plausible l'artiste a probablement découpé son cadre en deux puis en deux puis encore en deux d'où les découpage selon des huitièmes et le problème des fractions 3/8 c'est semble quand même énormément à un partage selon le nombre d'or l'apparente omniprésence de la section d'or dans les peintures peut donc s'expliquer assez simplement par la tendance des artistes à utiliser des partages simples en moitié car et huitième et ce bien avant les terroristes de zazing la section d'or commence à vraiment avoir de l'écho chez certains artistes au début du 20e siècle en particulier dans le mouvement puriste incarné par Amédée aux enfants et c'est nature morte ou Le Corbusier et ses cités radiuses leur credo c'est que la création artistique doit se rapprocher de l'esprit scientifique grâce à l'approche expérimentale de Fechner la section d'or devient l'une des premières lois esthétiques des puristes à la fin de sa vie aux enfants reviendra dans ses Mémoires sur ces années puristes il reconnaît alors que cette recherche de proportion parfaite appuyée sur des principes mathématiques étaient complètement illusoire selon lui l'art est fait d'illusion relative les couleurs viendront nécessairement déformer les rapports formels depuis un siècle le nombre d'or a poursuivi son chemin et s'est fait une petite place dans la culture populaire on le retrouve par exemple au centre de de la série de 2012 Touch ou bien en 2008 dans une enquête dans un épisode de la quatrième saison de la série Esprits Criminels l'apparition la plus remarquée restera malgré tout en 2004 lorsque Dan Brown écrit DaVinci code il convoque le symbole du nombre d'or et tout ce qui lui est associé du Parthénon jusqu'à la Joconde c'est cette imaginaire ésotérique qui fait aujourd'hui du nombre d'or un concept central de la géométrie sacrée que l'on retrouve dans les courants New Age cette idée que la perfection géométrique serait capable de soigner vos énergies en éloignant les mauvaises ondes et autres joyeusetés de ce genre on le retrouve aussi dans certaines thèses complotistes assurant que les égyptiens n'ont pas pu construire seul leur pyramide la preuve c'est le nombre d'or dans un tout autre registre on pourrait aussi parler de cette traîne sur Instagram ou Tik Tok qui consiste à photoshoper le visage d'une célébrité pour le faire entrer dans un masque basé sur le nombre d'or une façon détournée d'utiliser l'aura de la science et des mathématiques pour justifier l'utilisation de la retouche d'image ça va même jusqu'à ce chirurgien esthétique qui a établi un classement de beauté des stars selon le nombre d'or afin d'encourager les autres femmes faire appel à ses services bref dans tout ça je n'ai pas vraiment parlé des applications du nombre d'or en mathématiques et pour cause elles sont plutôt rares on lui trouve quelques curiosités notamment en lien avec la suite de Fibonacci et il apparaît dans quelques constructions géométriques à ses plaisantes il a aussi quelques propriétés algébriques assez intéressantes mais à part ça pas grand chose c'est très loin d'être la constante mathématique la plus passionnante bien loin derrière les nombres comme pi ou e le dernier point que je n'évoquerai pas dans cette vidéo ce sont les liens entre le nombre d'or et la nature oui il y a bien des liens entre le nombre d'or et la pousse de certains végétaux mais ce n'est pas du tout une règle absolue la plupart des spirales de la nature de la coquille des escargots au bras de la galaxie en passant par les ouragans ou l'enroulement de l'ADN n'ont rien à voir avec le nombre d'or bref la proportion divine la section dorée le nombre d'or appelé le comme vous voulez il a eu ces heures de gloire dans le passé mais il serait peut-être temps maintenant de passer à autre chose [Musique] [Musique]\n"
          ]
        }
      ],
      "source": [
        "#@title Extract the video transcript for all youtube video\n",
        "from urllib.parse import urlparse, parse_qs\n",
        "from youtube_transcript_api import YouTubeTranscriptApi\n",
        "\n",
        "def YTVideoToText(video_link):\n",
        "    # Extract video ID from the video_link\n",
        "    parsed_url = urlparse(video_link)\n",
        "    video_id = None\n",
        "    if parsed_url.netloc == 'www.youtube.com':\n",
        "        video_id = parse_qs(parsed_url.query).get('v', [None])[0]\n",
        "    elif parsed_url.netloc == 'youtu.be':\n",
        "        video_id = parsed_url.path.split('/')[1]\n",
        "\n",
        "    if not video_id:\n",
        "        raise ValueError(\"Invalid YouTube video link or missing video ID\")\n",
        "\n",
        "    # Fetching video transcript\n",
        "    try:\n",
        "        transcript_list = YouTubeTranscriptApi.list_transcripts(video_id)\n",
        "        transcript = YouTubeTranscriptApi.get_transcript(video_id= video_id, languages= ['en', 'fr'])\n",
        "    except Exception as e:\n",
        "        raise ValueError(\"Error fetching transcript: \" + str(e))\n",
        "\n",
        "    # Iterating throughout and adding all text together (recovering punctuations)\n",
        "    flat_transcript = \"\"\n",
        "    for tu in transcript:\n",
        "        flat_transcript += ' ' + tu['text']\n",
        "\n",
        "    return flat_transcript\n",
        "\n",
        "try:\n",
        "    video_full_text = YTVideoToText(video_link)\n",
        "    print(video_full_text)\n",
        "except ValueError as ve:\n",
        "    print(ve)\n",
        "\n",
        "video_full_text = YTVideoToText(video_link)"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#@title Restore the ponctuation\n",
        "\n",
        "from deepmultilingualpunctuation import PunctuationModel\n",
        "\n",
        "punctuationModel = PunctuationModel(model= \"kredor/punctuate-all\")\n",
        "video_restored_text = punctuationModel.restore_punctuation(video_full_text)"
      ],
      "metadata": {
        "id": "wevJ3xXdtvZi",
        "outputId": "f0ebd86c-4795-42e7-916f-500c05179b26",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/pipelines/token_classification.py:169: UserWarning: `grouped_entities` is deprecated and will be removed in version v5.0.0, defaulted to `aggregation_strategy=\"none\"` instead.\n",
            "  warnings.warn(\n",
            "/usr/local/lib/python3.10/dist-packages/transformers/pipelines/base.py:1090: UserWarning: You seem to be using the pipelines sequentially on GPU. In order to maximize efficiency please use a dataset\n",
            "  warnings.warn(\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Summarization"
      ],
      "metadata": {
        "id": "nICKbEnxOpmO"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 5,
      "metadata": {
        "id": "x66g0wqsddPr",
        "outputId": "5f96f06b-5e49-4683-e54f-0dfc53d119e9",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "You are using the default legacy behaviour of the <class 'transformers.models.t5.tokenization_t5.T5Tokenizer'>. This means that tokens that come after special tokens will not be properly handled. We recommend you to read the related pull request available at https://github.com/huggingface/transformers/pull/24565, and set the legacy attribute accordingly.\n",
            "/usr/local/lib/python3.10/dist-packages/transformers/convert_slow_tokenizer.py:470: UserWarning: The sentencepiece tokenizer that you are converting to a fast tokenizer uses the byte fallback option which is not implemented in the fast tokenizers. In practice this means that the fast version of the tokenizer can produce unknown tokens whereas the sentencepiece version would have converted these unknown tokens into a sequence of byte tokens matching the original piece of text.\n",
            "  warnings.warn(\n"
          ]
        }
      ],
      "source": [
        "#@title Load the model into memory\n",
        "# Load model directly\n",
        "from transformers import AutoTokenizer, pipeline\n",
        "\n",
        "sum_model_id = \"csebuetnlp/mT5_multilingual_XLSum\" #@param {type:\"string\"}\n",
        "sum_tokenizer = AutoTokenizer.from_pretrained(sum_model_id)\n",
        "summarizeryt = pipeline('summarization', model=sum_model_id, device_map=\"auto\")\n"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#@title Join sentences in paragraphs of less the specified token size\n",
        "summarize_token_width = 512 #@param {type:\"slider\", min:256, max:8192, step:256}\n",
        "\n",
        "from langchain.text_splitter import CharacterTextSplitter\n",
        "splitter = CharacterTextSplitter.from_huggingface_tokenizer(\n",
        "    sum_tokenizer, separator=f'\\. ', chunk_size=summarize_token_width, chunk_overlap=0\n",
        ")"
      ],
      "metadata": {
        "id": "PiFJaGl9NwgL",
        "cellView": "form"
      },
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#@title Extract the summary\n",
        "def do_sum(sentences):\n",
        "  # summarize text\n",
        "  summarized_text = ''\n",
        "  for sentence in sentences:\n",
        "      out = summarizeryt(sentence, min_length=30, do_sample=False)\n",
        "      out = out[0]\n",
        "      out = out['summary_text']\n",
        "      summarized_text += f'.\\n{out}'\n",
        "\n",
        "  # returning summary\n",
        "  return summarized_text;\n",
        "\n",
        "video_summarized_text = do_sum(splitter.split_text(video_restored_text))"
      ],
      "metadata": {
        "id": "PM6h3Ig_W7ml",
        "cellView": "form"
      },
      "execution_count": 7,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": 8,
      "metadata": {
        "id": "aOagAB7AhheV",
        "cellView": "form",
        "outputId": "f42cb75d-f5c6-40fd-d42f-50f119128566",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 105
        }
      },
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "\".\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani se penche sur le nombre d'or comme marqueur universel de la beauté du monde qui nous entoure..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la différence entre le nombre d'or et la beauté..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani se penche sur le degré de perfection de la beauté..\\nSi je cherche des rectangles d'un format précis dans une peinture, pour peu que ce que j'étudie est un minimum de complexité..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani s'est entretenu avec des artistes tels que Leonardo da Vinci, Gustav Klimt et Picasso..\\nPourquoi le nombre d'or a été considéré comme un nombre à part entière? Nous l'avons tous entendu..\\nDans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la construction des pentagones réguliers..\\nDans notre série de lettres d'écrivains grecs, le philosophe grec Edouard de l'Antiguité grecque propose une nouvelle définition du partage en moyenne et extrême raison..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la possibilité de construire une infinité d'or en boîte..\\nNous sommes tous intéressés à l'équation Clean, qui explique la différence entre le nombre d'or et le Point E..\\nNous avons tous entendu l'expression de deux nombres entiers, selon le philosophe grec Frederick Nietzsche..\\nLes nombres sont un nombre entier supérieur ou égal à 2 . explique le philosophe grec Joseph Warungu..\\nL'anti Farès est une méthode qui peut donner des nombres entiers à des grandeurs géométriques..\\nLes deux longueurs n'ont pas aucune mesure commune, mais elles sont incommensurables..\\nDans notre série de lettres de journalistes africains, Ismail Einashe aborde les raisons pour lesquelles il y a eu une grandeur incommensurable..\\nDans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la différence entre le nombre d'or et le rapport entre les nombres entiers..\\nLe philosophe Leonardo de Vinci n'a pas apprécié la proportion divine de Dieu, mais il s'est intéressé à cette proportion..\\nDans notre série de lettres de journalistes africains, l'écrivain italien Joseph Devinci s'est consacré à une notion de proportion divine..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la possibilité d'obtenir un résultat de cette étude..\\nDans notre série de lettres d'écrivains africains, le psychologue russe Joseph Fechner explique comment il s'agit de zazing..\\nDans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la question du nombre d'or dans une peinture..\\nDans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à l'origine de la section d'or dans les peintures..\\nDans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à l'histoire du nombre d'or..\\nDans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani s'est entretenue avec le nombre d'or.\""
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 8
        }
      ],
      "source": [
        "#@title Show the summarized text of the video\n",
        "video_summarized_text"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Harmonizing the text output\n"
      ],
      "metadata": {
        "id": "g6Ge52pGNo0J"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import torch\n",
        "from transformers import AutoModelForCausalLM, AutoTokenizer\n",
        "\n",
        "llm_tokenizer = AutoTokenizer.from_pretrained(\"OpenAssistant/llama2-13b-orca-8k-3319\", use_fast=False)\n",
        "llm_model = AutoModelForCausalLM.from_pretrained(\"OpenAssistant/llama2-13b-orca-8k-3319\", device_map=\"auto\", load_in_4bit=True, offload_folder='./.cache')"
      ],
      "metadata": {
        "id": "zdlavbRqM9kO",
        "outputId": "7772ed65-6089-4c05-edaf-62640277874d",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 49,
          "referenced_widgets": [
            "fcd2f5fca49641f980dbf6b9d870b644",
            "989e559f22c241e386b7740955e6f02a",
            "daeb8f1e8aa54128875679af2c3ca3a1",
            "6cd9ab8943344f62a73893793284e45b",
            "0fdeb928e4184686b5b0a3635a29a03b",
            "0cc14e06757e46b2be145c56d420eda2",
            "0bf37a2459bd4946b047059fec2b30d9",
            "f437fe967302447b87386361e8fbbf4c",
            "18b99b5005394f488b4906949faffa1f",
            "f3e9199368bd4b14ab23eaaac9f64940",
            "cf4d615f899147ffb35c550bcba2bdbe"
          ]
        }
      },
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Loading checkpoint shards:   0%|          | 0/7 [00:00<?, ?it/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "fcd2f5fca49641f980dbf6b9d870b644"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "system_message = \"You are an insightful, adaptive, and respectful assistant, equipped with the ability to seamlessly dive deep into a user-preferred subject. You should provide detailed and relevant information on the chosen topic, enhancing the user's understanding and interest. Always answer as helpfully as possible while ensuring your responses are positive and respectful. If a user's query is not clear or not factually coherent within the context of the preferred subject, please explain why instead of providing inaccurate information. Strive to be unbiased on other topics but accept to bias your responses towards the user-selected subject. In case you don't know the answer to a question within the chosen field, please admit it rather than sharing false information.\"\n",
        "user_prompt = f\"\"\"Summarize the following text with an accent on history: ```{video_summarized_text}```\"\"\"\n",
        "prompt = f\"\"\"<|system|>{system_message}</s><|prompter|>{user_prompt}</s><|assistant|>\"\"\""
      ],
      "metadata": {
        "id": "UQxNrHfrNgSu"
      },
      "execution_count": 18,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "inputs = llm_tokenizer(prompt, return_tensors=\"pt\").to(\"cuda\")\n",
        "output = llm_model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=2048)\n",
        "print(llm_tokenizer.decode(output[0], skip_special_tokens=True))"
      ],
      "metadata": {
        "id": "C7FxBQ0ZNfXv",
        "outputId": "dd00efbc-cb72-4429-e3ea-7e42f7026896",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "execution_count": 19,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "You are an insightful, adaptive, and respectful assistant, equipped with the ability to seamlessly dive deep into a user-preferred subject. You should provide detailed and relevant information on the chosen topic, enhancing the user's understanding and interest. Always answer as helpfully as possible while ensuring your responses are positive and respectful. If a user's query is not clear or not factually coherent within the context of the preferred subject, please explain why instead of providing inaccurate information. Strive to be unbiased on other topics but accept to bias your responses towards the user-selected subject. In case you don't know the answer to a question within the chosen field, please admit it rather than sharing false information.Summarize the following text with an accent on history: ```.\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani se penche sur le nombre d'or comme marqueur universel de la beauté du monde qui nous entoure..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la différence entre le nombre d'or et la beauté..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani se penche sur le degré de perfection de la beauté..\n",
            "Si je cherche des rectangles d'un format précis dans une peinture, pour peu que ce que j'étudie est un minimum de complexité..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani s'est entretenu avec des artistes tels que Leonardo da Vinci, Gustav Klimt et Picasso..\n",
            "Pourquoi le nombre d'or a été considéré comme un nombre à part entière? Nous l'avons tous entendu..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la construction des pentagones réguliers..\n",
            "Dans notre série de lettres d'écrivains grecs, le philosophe grec Edouard de l'Antiguité grecque propose une nouvelle définition du partage en moyenne et extrême raison..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la possibilité de construire une infinité d'or en boîte..\n",
            "Nous sommes tous intéressés à l'équation Clean, qui explique la différence entre le nombre d'or et le Point E..\n",
            "Nous avons tous entendu l'expression de deux nombres entiers, selon le philosophe grec Frederick Nietzsche..\n",
            "Les nombres sont un nombre entier supérieur ou égal à 2 . explique le philosophe grec Joseph Warungu..\n",
            "L'anti Farès est une méthode qui peut donner des nombres entiers à des grandeurs géométriques..\n",
            "Les deux longueurs n'ont pas aucune mesure commune, mais elles sont incommensurables..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe aborde les raisons pour lesquelles il y a eu une grandeur incommensurable..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la différence entre le nombre d'or et le rapport entre les nombres entiers..\n",
            "Le philosophe Leonardo de Vinci n'a pas apprécié la proportion divine de Dieu, mais il s'est intéressé à cette proportion..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivain italien Joseph Devinci s'est consacré à une notion de proportion divine..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani réfléchit à la possibilité d'obtenir un résultat de cette étude..\n",
            "Dans notre série de lettres d'écrivains africains, le psychologue russe Joseph Fechner explique comment il s'agit de zazing..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à la question du nombre d'or dans une peinture..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à l'origine de la section d'or dans les peintures..\n",
            "Dans notre série de lettres de journalistes africains, Ismail Einashe réfléchit à l'histoire du nombre d'or..\n",
            "Dans notre série de lettres de journalistes africains, l'écrivaine et romancière Adaobi Tricia Nwaubani s'est entretenue avec le nombre d'or.``` The text discusses Adaobi Tricia Nwaubani's letters on the Golden Ratio, focusing on African journalists' perspectives. It touches upon thoughts around the Golden Ratio, its difference from beauty, and how it is incommensurable with some lengths. The writer's correspondence with Leonardo da Vinci, Gustav Klimt, and Picasso adds context to the topic. Nwaubani also explores the possibility of obtaining an infinite golden ratio through Leonardo de Vinci's 'retina-stretching' technique.\n",
            "\n",
            "Throughout the series, the narrative addresses the Golden Ratio's connection to mathematical constructs, such as two incommensurable lengths and division of numbers into infinite and finite categories. Additional themes include the Golden Ratio's relation to proportion, divine proportion, and psychologists' viewpoints on the topic. The text emphasizes the historical evolution of the Golden Ratio and its impact on visual arts.\n"
          ]
        }
      ]
    }
  ],
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "provenance": [],
      "history_visible": true,
      "include_colab_link": true
    },
    "gpuClass": "standard",
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    },
    "language_info": {
      "name": "python"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "fcd2f5fca49641f980dbf6b9d870b644": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_989e559f22c241e386b7740955e6f02a",
              "IPY_MODEL_daeb8f1e8aa54128875679af2c3ca3a1",
              "IPY_MODEL_6cd9ab8943344f62a73893793284e45b"
            ],
            "layout": "IPY_MODEL_0fdeb928e4184686b5b0a3635a29a03b"
          }
        },
        "989e559f22c241e386b7740955e6f02a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_0cc14e06757e46b2be145c56d420eda2",
            "placeholder": "​",
            "style": "IPY_MODEL_0bf37a2459bd4946b047059fec2b30d9",
            "value": "Loading checkpoint shards: 100%"
          }
        },
        "daeb8f1e8aa54128875679af2c3ca3a1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f437fe967302447b87386361e8fbbf4c",
            "max": 7,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_18b99b5005394f488b4906949faffa1f",
            "value": 7
          }
        },
        "6cd9ab8943344f62a73893793284e45b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f3e9199368bd4b14ab23eaaac9f64940",
            "placeholder": "​",
            "style": "IPY_MODEL_cf4d615f899147ffb35c550bcba2bdbe",
            "value": " 7/7 [02:14&lt;00:00, 15.44s/it]"
          }
        },
        "0fdeb928e4184686b5b0a3635a29a03b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0cc14e06757e46b2be145c56d420eda2": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0bf37a2459bd4946b047059fec2b30d9": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "f437fe967302447b87386361e8fbbf4c": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "18b99b5005394f488b4906949faffa1f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "f3e9199368bd4b14ab23eaaac9f64940": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "cf4d615f899147ffb35c550bcba2bdbe": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        }
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}