Un'altra storia marginale per una build Docker per un'applicazione Python. Stavo lavorando con uno script Python che aveva la dipendenza di un modulo che richiede più altri moduli, ad esempio cryptography. Questo non è molto raro e la maggior parte dei progetti complessi avrebbe una grande catena di dipendenze.

Il problema è iniziato quando ho provato a impacchettare l'applicazione Python in un'immagine Docker. Per esempio. cryptographymodule come da documento ufficiale , richiederà diversi pacchetti per compilare il pacchetto. La soluzione è semplice, costruiamo un'immagine:

FROM python:alpine
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
COPY app.py /source/
COPY requirements.txt /source/
RUN python3 -m venv /source/venv
RUN . /source/venv/bin/activate && pip install --upgrade pip pip install -r /source/requirements.txt
ENTRYPOINT [ "python3", "app.py" ]

Questo è un problema noto e la soluzione è utilizzare un modello di build multistadio , che è abbastanza comune per C, Java, Golan, ecc., Non tanto per Python (o non è stato possibile trovare molti riferimenti) ma lo stesso può essere usato anche per Python. Nella maggior parte dei casi d'uso non avrebbe senso utilizzare build multifase, ma può essere utile nei casi in cui utilizziamo moduli con estensioni C/C++ all'interno del pacchetto.

Virtualenv per build multistadio

Per una build multistadio con Python, possiamo facilmente utilizzare ambienti virtuali Python ( virtualenv). Dando un'occhiata al virtualenv del cryptographymodulo, ad esempio, ho notato che anche le librerie binarie vengono catturate all'interno del virtualenv.

(venv) ubuntu@maas:~/venv/lib/python3.8/site-packages$ find . -name "*.so"
./cryptography/hazmat/bindings/_openssl.abi3.so
./cryptography/hazmat/bindings/_padding.abi3.so
./cryptography/hazmat/bindings/_rust.abi3.so
./_cffi_backend.cpython-38-x86_64-linux-gnu.so

FROM python:alpine as build
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
RUN python3 -m venv /source/venv
RUN . /source/venv/bin/activate && \
python3 -m ensurepip --upgrade && \
python3 -m pip install -r /source/requirements.txt
# Build the final image
FROM python:alpine as final
RUN apk upgrade --no-cache
WORKDIR /source
COPY --from=build /source /source
CMD . /source/venv/bin/activate && python3 app.py

→ docker image ls
REPOSITORY                           TAG        IMAGE ID       CREATED          SIZE
python-app-multistage                latest     e86e17a1fc38   37 seconds ago   66MB
python-app                           latest     fc207639930c   20 hours ago     1.29GB

Anche se funziona bene, c'è un modo migliore? Mentre stavo cercando di risolvere questo problema, mi sono imbattuto in PEX tramite Twitter. La migliore introduzione è stata “ WTF is PEX? ” di Twitter University. E se impacchettassi gli stessi moduli in PEX e impacchettassi PEX con l'immagine:

FROM python:alpine as build
RUN apk upgrade --no-cache
RUN apk add --no-cache gcc musl-dev python3-dev libffi-dev openssl-dev cargo
WORKDIR /source
RUN python3 -m ensurepip --upgrade && python3 -m pip install pex~=2.1.47
RUN pex simple_salesforce -o /source/pex_wrapper
RUN chown -R python:python /source
# Build the final image
FROM python:alpine as final
RUN apk upgrade --no-cache
WORKDIR /source
COPY --from=build /source /source
ENTRYPOINT [ "/source/pex_wrapper", "app.py" ]

→ docker image ls
REPOSITORY                           TAG        IMAGE ID       CREATED          SIZE
python-app-multistage-pex            latest     0fff7004bb49   7 seconds ago    47.2MB
python-app-multistage                latest     e86e17a1fc38   32 minutes ago   66MB
python-app                           latest     fc207639930c   21 hours ago     1.29GB

Riepilogo

C'erano poche altre opzioni come quella dh-virtualenvbasata debsull'imballaggio, che potrebbe essere un'opzione e potrei testarla se trovo un po' di tempo libero.

Questo ha funzionato bene nel mio caso d'uso, tuttavia mi piace ascoltare storie in cui hai provato e fallito. Se hai provato questo approccio e hai riscontrato problemi, mi piacerebbe conoscere gli esempi o le alternative che hai provato e che hanno funzionato. Lascia un commento qui sotto.