Une autre histoire de bord pour une construction Docker pour une application Python. Je travaillais avec un script Python qui avait une dépendance d'un module qui nécessite plusieurs autres modules, par exemple cryptography. Ce n'est pas très rare, et la plupart des projets complexes auraient une grande chaîne de dépendances.

Le problème a commencé lorsque j'ai essayé de packager l'application Python dans une image Docker. Par exemple. cryptographymodule selon la doc officielle , nécessitera plusieurs packages pour construire le package. La solution est simple, construisons une image :

FROM python:alpine
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
COPY app.py /source/
COPY requirements.txt /source/
RUN python3 -m venv /source/venv
RUN . /source/venv/bin/activate && pip install --upgrade pip pip install -r /source/requirements.txt
ENTRYPOINT [ "python3", "app.py" ]

Il s'agit d'un problème connu et la solution consiste à utiliser un modèle de construction en plusieurs étapes , ce qui est assez courant pour C, Java, Golan, etc. être également utilisé pour Python. Dans la plupart des cas d'utilisation, il n'aurait pas de sens d'utiliser des builds en plusieurs étapes, mais cela peut être utile dans les cas où nous utilisons des modules avec des extensions C/C++ dans le package.

Virtualenv pour les builds en plusieurs étapes

Pour une construction en plusieurs étapes avec Python, nous pouvons facilement utiliser des environnements virtuels Python ( virtualenv). En regardant le cryptographymodule virtualenv par exemple, j'ai remarqué que même les bibliothèques binaires sont capturées dans le virtualenv.

(venv) ubuntu@maas:~/venv/lib/python3.8/site-packages$ find . -name "*.so"
./cryptography/hazmat/bindings/_openssl.abi3.so
./cryptography/hazmat/bindings/_padding.abi3.so
./cryptography/hazmat/bindings/_rust.abi3.so
./_cffi_backend.cpython-38-x86_64-linux-gnu.so

FROM python:alpine as build
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
RUN python3 -m venv /source/venv
RUN . /source/venv/bin/activate && \
python3 -m ensurepip --upgrade && \
python3 -m pip install -r /source/requirements.txt
# Build the final image
FROM python:alpine as final
RUN apk upgrade --no-cache
WORKDIR /source
COPY --from=build /source /source
CMD . /source/venv/bin/activate && python3 app.py

→ docker image ls
REPOSITORY                           TAG        IMAGE ID       CREATED          SIZE
python-app-multistage                latest     e86e17a1fc38   37 seconds ago   66MB
python-app                           latest     fc207639930c   20 hours ago     1.29GB

Bien que cela fonctionne bien, existe-t-il un meilleur moyen? Pendant que je cherchais à résoudre ce problème, je suis tombé sur PEX par twitter. La meilleure introduction était « WTF est PEX ? " par l'Université Twitter. Et si j'emballe les mêmes modules dans PEX et emballe PEX avec l'image :

FROM python:alpine as build
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
RUN python3 -m ensurepip --upgrade && python3 -m pip install pex~=2.1.47
RUN pex simple_salesforce -o /source/pex_wrapper
RUN chown -R python:python /source
# Build the final image
FROM python:alpine as final
RUN apk upgrade --no-cache
WORKDIR /source
COPY --from=build /source /source
ENTRYPOINT [ "/source/pex_wrapper", "app.py" ]

→ docker image ls
REPOSITORY                           TAG        IMAGE ID       CREATED          SIZE
python-app-multistage-pex            latest     0fff7004bb49   7 seconds ago    47.2MB
python-app-multistage                latest     e86e17a1fc38   32 minutes ago   66MB
python-app                           latest     fc207639930c   21 hours ago     1.29GB

Sommaire

Il y avait peu d'autres options telles que dh-virtualenvcelle basée sur l' debemballage, qui pourrait être une option, et qui pourrait le tester si je trouve du temps libre.

Cela a bien fonctionné dans mon cas d'utilisation, mais j'aime entendre des histoires où vous avez essayé et échoué. Si vous avez essayé cette approche et que vous rencontrez des problèmes, j'aimerais connaître les exemples ou les alternatives que vous avez essayées et qui ont également fonctionné. Laissez un commentaire ci-dessous.