Guide d’installation

Méthodes d’installation

Vous trouverez ci-dessous des instructions sur la manière d’installer emodpy à partir du terminal, en particulier pour une utilisation sur QUEST, ou d’autres clusters basés sur linux. Les instructions suivantes sont spécifiques à QUEST mais peuvent facilement être adaptées à d’autres clusters ou HPCs qui utilisent l’ordonnancement SLURM.

Prérequis, connexion, chargement de Python

  1. Passez en revue les conditions préalables et les recommandations.

    1. https://docs.idmod.org/projects/idmtools/en/latest/platforms/slurm/index.html#prerequisites
    2. https://docs.idmod.org/projects/idmtools/en/latest/platforms/slurm/index.html#recommendations

  2. Connectez-vous/SSH au cluster Slurm (QUEST). Vous pouvez utiliser FastX ou directement SSH à partir de l’invite du terminal, comme suit :

    ssh -X <usernamehere>@quest.northwestern.edu

  3. Chargez le module Python 3.8.4, à l’invite du terminal, tapez ce qui suit :

    • NOTE : idmtools nécessite Python 3.7 ou supérieur
    module load python/3.8.4

  4. Tirer l’image Singularity contenant Python et MPI (utilisée par les tâches emodpy-malaria)

    • REMARQUE : ce fichier sif existe déjà dans /projects/b1139/images/dtk_run_rocky_py39.sif et n’a pas besoin d’être réinstallé si vous avez accès au projet.
    curl https://packages.idmod.org:443/artifactory/idm-docker-public/idmtools/rocky_mpi/dtk_run_rocky_py39.sif -o dtk_run_rocky_py39.sif

Installation avec un environnement virtuel - Mode SLURM_LOCAL.

S’il n’existe pas déjà, assurez-vous de créer un dossier “environments” dans votre répertoire personnel pour y sauvegarder tous vos environnements virtuels personnels : mkdir environments. Une fois créé, naviguez jusqu’à ce dossier et exécutez les commandes suivantes pour terminer l’installation : cd environments.

  1. Créez un environnement virtuel Python, déchargez le module Python et activez l’environnement virtuel, qui est nommé “myvenv” dans ce qui suit :

    • REMARQUE : vous pouvez nommer l’environnement comme vous le souhaitez, “myvenv” n’est qu’un exemple.
    python -m venv <myvenv> 
source <chemin_vers_myvenv>/bin/activate
    • REMARQUE : L’étape suivante n’est nécessaire que lorsqu’une nouvelle image idmtools Singularity est disponible et que vous avez déjà installé des paquets dans votre répertoire personnel. Ceci nettoie les paquets locaux des installations précédentes dans le conteneur Singularity
    rm -fr ~/.local/lib/python*

  2. Installer emodpy-malaria et idmtools_platform_slurm

    pip install emodpy-malaria --ignore-installed --index-url=https://packages.idmod.org/api/pypi/pypi-production/simple 

pip install idmtools_platform_slurm --ignore-installed --index-url=https://packages.idmod.org/api/pypi/pypi-production/simple

  3. Pendant l’installation du venv partagé sur b1139, des problèmes sont apparus qui ont causé l’arrêt inattendu de l’installation. Il s’agit apparemment d’un problème d’accès au module libgit2 pour construire la roue pygit. Libgit2 a été installé dans le dossier emodpy_alt venv sur b1139 en utilisant ces instructions. Comme il est maintenant disponible, l’installation devrait permettre d’éviter ces problèmes à l’avenir, mais cela pourrait se produire avec des dossiers personnels.

    • REMARQUE : Les instructions d’installation ci-dessus concernent emodpy-malaria, qui inclut l’installation d’idmtools et d’autres dépendances en se référant au fichier requirements.txt lors de l’utilisation de pip install. Pour plus d’informations sur requirements.txt et pip install, voir https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#using-requirements-files

  4. Si nécessaire, installez d’autres paquets python