Ubuntu 24 : Stable diffusion : Problème avec Python 3.12 & torch

Publié le par
Répondre

Avec Python 3.12.3 :

Python 3.12.3 (main, Feb  4 2025, 14:48:35) [GCC 13.3.0]
Version: v1.10.1
Commit hash: 82a973c04367123ae98bd9abdf80d9eda9b910e2
Installing torch and torchvision
Looking in indexes: https://pypi.org/simple, https://download.pytorch.org/whl/cu121
ERROR: Could not find a version that satisfies the requirement torch==2.1.2 
(from versions: 2.2.0, 2.2.0+cu121, 2.2.1, 2.2.1+cu121, 2.2.2, 2.2.2+cu121, 
2.3.0, 2.3.0+cu121, 2.3.1, 2.3.1+cu121, 2.4.0, 2.4.0+cu121, 2.4.1, 
2.4.1+cu121, 2.5.0, 2.5.0+cu121, 2.5.1, 2.5.1+cu121, 2.6.0, 2.7.0)
ERROR: No matching distribution found for torch==2.1.2

Donc j’utilise Python 3.11 :

# apt-get install python3-setuptools
# apt-get install python3-build
# python3.11 -m pip install --upgrade pip setuptools wheel
# virtualenv -p /usr/bin/python3.11 venv
created virtual environment CPython3.11.12.final.0-64 in 1366ms
  creator CPython3Posix(dest=/home/XXXX/stable-diffusion-webui/venv, clear=False, 
no_vcs_ignore=False, global=False)
  seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, 
via=copy, app_data_dir=/home/XXXX/.local/share/virtualenv)
    added seed packages: pip==24.0, setuptools==68.1.2, wheel==0.42.0
  activators BashActivator,CShellActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator
$ source venv/bin/activate
$ python3.11 -m pip install --upgrade pip setuptools wheel
$ bash webui.sh --api --listen

Proxmox / Ollama / Open WebUI : Migration OS de la VM

Publié le par
Répondre

Je suis passé en version « Ubuntu 24.04.2 LTS » (le kernel est 6.8.0-60-generic)

Migration :

  • Ubuntu 22.04.5 LTS ( kernel : 5.15.0-140-generic ) => Ubuntu 24.04.2 LTS (kernel est 6.8.0-60-generic)
  • CUDA : 12.8.93 => 12.9
  • Python : 3.11 => 3.12

Les cartes NVIDIA sont toujours visibles :

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.51.03              Driver Version: 575.51.03      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Quadro M5000                   Off |   00000000:00:10.0 Off |                  Off |
| 39%   44C    P8             14W /  150W |       5MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  Quadro M4000                   Off |   00000000:00:11.0 Off |                  N/A |
| 49%   48C    P8             14W /  120W |       5MiB /   8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

J’ai refait un benchmark :

 llm_benchmark run
-------Linux----------
{'id': '0', 'name': 'Quadro M5000', 'driver': '575.51.03', 
'gpu_memory_total': '8192.0 MB', 'gpu_memory_free': '8110.0 MB', 
'gpu_memory_used': '5.0 MB', 'gpu_load': '0.0%', 'gpu_temperature': '44.0°C'}
{'id': '1', 'name': 'Quadro M4000', 'driver': '575.51.03', 
'gpu_memory_total': '8192.0 MB', 'gpu_memory_free': '8110.0 MB', 
'gpu_memory_used': '5.0 MB', 'gpu_load': '0.0%', 'gpu_temperature': '48.0°C'}
At least two GPU cards
Total memory size : 119.03 GB
cpu_info: Intel(R) Xeon(R) CPU E5-2450 v2 @ 2.50GHz
gpu_info: Quadro M5000
Quadro M4000
os_version: Ubuntu 24.04.2 LTS
ollama_version: 0.9.0
----------
...
At least two GPU cards
{
    "phi4:14b": "6.75",
    "deepseek-r1:14b": "6.19",
    "deepseek-r1:32b": "0.43",
    "uuid": "2a3d3de2-5e53-5b28-a909-62559c5a817c",
    "ollama_version": "0.9.0"
}
-------

Maintenant les grands modèles (deepseek-r1:32b) ne font plus planter le test …. qui dure 4 heures.

Misère.

Proxmox / Ollama /Open WebUI : Ajout de AUTOMATIC1111

Publié le par
Répondre

Ma configuration :

J’ai lancé un nouveau test via llm_benchmark, afin de comparer avec ma dernière configuration fonctionnelle :

-------Linux----------
{'id': '0', 'name': 'Quadro M5000', 'driver': '575.51.03', 
'gpu_memory_total': '8192.0 MB', 'gpu_memory_free': '8110.0 MB', 
'gpu_memory_used': '5.0 MB', 'gpu_load': '0.0%', 'gpu_temperature': '43.0°C'}
{'id': '1', 'name': 'Quadro M4000', 'driver': '575.51.03', 
'gpu_memory_total': '8192.0 MB', 'gpu_memory_free': '8110.0 MB', 
'gpu_memory_used': '5.0 MB', 'gpu_load': '0.0%', 'gpu_temperature': '46.0°C'}
At least two GPU cards
Total memory size : 119.03 GB
cpu_info: Intel(R) Xeon(R) CPU E5-2450 v2 @ 2.50GHz
gpu_info: Quadro M5000
Quadro M4000
os_version: Ubuntu 22.04.5 LTS
ollama_version: 0.9.0
----------
...
At least two GPU cards
{
"mistral:7b": "12.31",
"llama3.1:8b": "12.81",
"phi4:14b": "6.75",
"qwen2:7b": "11.36",
"gemma2:9b": "11.79",
"llava:7b": "13.60",
"llava:13b": "10.34",
"uuid": "2a3d3de2-5e53-5b28-a909-62559c5a817c",
"ollama_version": "0.9.0"
}

Avec toutes les versions à jours (kernel, soft, drivers), je suis passé de « llama3.1:8b »: « 15.71 » => « 12.81 ». ( – 20% )

La configuration sur OpenWebUI : (valeurs par défaut) , lire https://stable-diffusion-art.com/samplers/ .

  • Définir le sampler : Euler a
  • Définir le planificateur : Karras
  • Définir la CFG : 7
  • Définir le modèle par défaut : v1-5-pruned-emaonly.safetensors [6ce0161689]  ( https://huggingface.co/stable-diffusion-v1-5 )
  • Définir la taille de l’image : 512×512
  • Définir le nombre d’étapes : 50

Résultat : un mouton . ( via llama3.2:latest )

Misère.

Korben : Cette théorie de la stupidité qui explique pourquoi Internet part en couille

Lien

Répondre

Je recommande l’article de Korben : https://korben.info/theorie-stupidite-bonhoeffer-cipolla-algorithmes.html

Et je recommande de lire les conclusions :

  • Apprenez à identifier rapidement les gens stupides dans votre entourage pro et perso

  • Limitez les interactions avec eux autant que possible. Toute association ou interaction avec eux vous coûtera cher.

  • Préparez-vous à l’imprévisible, car leurs attaques n’ont ni logique ni timing.

  • Protégez vos ressources : c’est à dire limitez les coûts financiers, émotionnels et temporels que vous pourriez consacrer à ces personnes.