switch to micromamba #6
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change |
|---|---|---|
|
|
@@ -40,3 +40,4 @@ share/python-wheels/ | |
| MANIFEST | ||
| venv | ||
| .history | ||
| .conda_env_created | ||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -1,9 +1,11 @@ | ||
| FROM mambaorg/micromamba:2-debian12-slim | ||
|
|
||
| COPY ./conda.yaml /tmp/conda.yaml | ||
| RUN --mount=type=cache,uid=57439,gid=57439,target=/opt/conda/pkgs micromamba env create --yes --file /tmp/conda.yaml | ||
| # RUN apt update \ | ||
| # && DEBIAN_FRONTEND=noninteractive TZ=Etc/UTC apt-get -y install tzdata build-essential | ||
| COPY --chown=mambauser . /app | ||
| WORKDIR /app | ||
| RUN micromamba run -n mit-py311 python3 -mvenv --system-site-packages venv | ||
| RUN venv/bin/pip install -r requirements-moeflow.txt | ||
| RUN venv/bin/python docker_prepare.py --models ocr.48px,ocr.48px_ctc,ocr.32px,ocr.mocr | ||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -1,132 +1,12 @@ | ||
| name: mit-py311 | ||
| channels: | ||
| - conda-forge | ||
| - pytorch | ||
| - nvidia | ||
| dependencies: | ||
| - python==3.11 | ||
| - pytorch==2.2.2 | ||
| - torchvision==0.17.2 | ||
| - torchaudio==2.2.2 | ||
| - pytorch-cuda=12.1 | ||
| - numpy<2 | ||
|
Comment on lines
+7
to
+12
There was a problem hiding this comment. 🛠️ Refactor suggestion Review the removal of previously included dependencies The dependency list has been significantly reduced. While this aligns with the switch to micromamba for a leaner environment, please verify if essential dependencies are missing. Consider adding these common essential packages if they're required: - python==3.11
- pytorch==2.2.2
- torchvision==0.17.2
- torchaudio==2.2.2
- pytorch-cuda=12.1
- numpy<2
+- pip
+- setuptools
+- wheel
|
||
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -1,28 +1,55 @@ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| import asyncio | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| from argparse import ArgumentParser | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| from manga_translator.utils import ModelWrapper | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| from manga_translator.detection import DETECTORS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| from manga_translator.ocr import OCRS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| from manga_translator.inpainting import INPAINTERS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| arg_parser = ArgumentParser() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| arg_parser.add_argument("--models", default="") | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| arg_parser.add_argument("--continue-on-error", action="store_true") | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+9
to
+11
There was a problem hiding this comment. 🛠️ Refactor suggestion Enhance argument parser implementation The argument parser needs improvements in documentation and validation:
Apply this diff to improve the implementation: arg_parser = ArgumentParser()
-arg_parser.add_argument("--models", default="")
-arg_parser.add_argument("--continue-on-error", action="store_true")
+arg_parser.add_argument(
+ "--models",
+ default="",
+ help="Comma-separated list of models to download (format: 'detector.name,ocr.name,inpaint.name')"
+)
+arg_parser.add_argument(
+ "--continue-on-error",
+ action="store_true",
+ help="Continue downloading other models if one fails"
+)📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| cli_args = arg_parser.parse_args() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| async def download(dict): | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| """ """ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| for key, value in dict.items(): | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if issubclass(value, ModelWrapper): | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| print(" -- Downloading", key) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| try: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| inst = value() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await inst.download() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| except Exception as e: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| print("Failed to download", key, value) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| print(e) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if not cli_args.continue_on_error: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| raise | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+16
to
+30
There was a problem hiding this comment. 🛠️ Refactor suggestion Avoid using global variables The function directly accesses the global -async def download(dict):
+async def download(dict, *, continue_on_error: bool = False):
""" """
for key, value in dict.items():
if issubclass(value, ModelWrapper):
print(" -- Downloading", key)
try:
inst = value()
await inst.download()
except Exception as e:
print("Failed to download", key, value)
print(e)
- if not cli_args.continue_on_error:
+ if not continue_on_error:
raise📝 Committable suggestion
Suggested change
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| async def main(): | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| models: set[str] = set(filter(None, cli_args.models.split(","))) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| # print("parsed.models", models) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await download( | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| k: v | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| for k, v in DETECTORS.items() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (not models) or (f"detector.{k}" in models) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await download( | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| {k: v for k, v in OCRS.items() if (not models) or (f"ocr.{k}" in models)} | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| await download( | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| { | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| k: v | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| for k, v in INPAINTERS.items() | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if (not models) or (f"inpaint.{k}" in models) and (k not in ["sd"]) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| if __name__ == "__main__": | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| asyncio.run(main()) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,52 @@ | ||
| # vim: ft=requirements | ||
| # networkx | ||
| # torch | ||
| # groq | ||
| # torchvision | ||
| # torch-summary | ||
| einops | ||
|
Comment on lines
+1
to
+7
There was a problem hiding this comment. 💡 Codebase verification Based on the search results, I can now generate the final response: Uncomment and maintain PyTorch dependencies The codebase heavily relies on PyTorch and related ML libraries. Evidence found:
Key files requiring these dependencies:
🔗 Analysis chainReview core ML dependencies configuration Several critical ML dependencies are commented out (networkx, torch, torchvision). This could lead to installation issues or version mismatches if these are required by other packages. Let's check which packages might require these dependencies: Let me try a different search strategy to verify the dependencies: I'm looking for evidence of ML operations and model definitions that would require these dependencies, as well as any dependency specifications in build files. 🏁 Scripts executedThe following scripts were executed for the analysis: Script: #!/bin/bash
# Check for dependencies that might require torch
rg -l "import torch|from torch" --type py
# Check for dependencies that might require torchvision
rg -l "import torchvision|from torchvision" --type py
# Check for dependencies that might require networkx
rg -l "import networkx|from networkx" --type py
Length of output: 630 Script: #!/bin/bash
# Search for ML-related imports and function calls in Python files
rg -l "\.cuda|\.to\(device\)|\.to\('cuda'\)|model\." --type py
# Search for specific ML operations that typically require torch
rg -l "\.forward\(|\.backward\(|\.train\(|\.eval\(|optimizer\." --type py
# Search for any files that might contain ML model definitions
rg -l "class.*\(.*Model\)|class.*\(.*Net\)" --type py
# Look for setup.py or pyproject.toml to check dependencies
fd "setup.py|pyproject.toml"
Length of output: 4821 |
||
| scikit-image | ||
| opencv-python | ||
| pyclipper | ||
| shapely | ||
| # requests | ||
| # cryptography | ||
| # freetype-py | ||
| # aiohttp | ||
| tqdm | ||
| # deepl | ||
| # ImageHash | ||
| # kornia | ||
| # backports.cached-property | ||
| # huggingface_hub | ||
| # transformers | ||
| py3langid==0.2.2 | ||
| # sentencepiece | ||
| # editdistance | ||
| # numpy==1.26.4 | ||
| # tensorboardX | ||
| # websockets | ||
| # protobuf | ||
| # ctranslate2 | ||
| colorama | ||
| # openai==1.35.9 | ||
| # open_clip_torch | ||
| # safetensors | ||
| pandas | ||
| onnxruntime==1.18.1 | ||
| timm | ||
| omegaconf | ||
| python-dotenv | ||
| # nest-asyncio | ||
| # marshmallow | ||
| # cython | ||
| # aioshutil | ||
| # aiofiles | ||
| # arabic-reshaper | ||
| # pyhyphen | ||
| # langcodes | ||
| manga-ocr | ||
|
There was a problem hiding this comment. 💡 Codebase verification 🛠️ Refactor suggestion Pin manga-ocr version and add missing dependencies The analysis reveals potential compatibility concerns:
Update requirements-moeflow.txt to include:
🔗 Analysis chainVerify manga-ocr compatibility The manga-ocr package might have specific version requirements for its dependencies. We should verify compatibility with other packages. Consider pinning the manga-ocr version to ensure stability. 🏁 Scripts executedThe following scripts were executed for the analysis: Script: #!/bin/bash
# Check manga-ocr's dependencies
curl -s https://pypi.org/pypi/manga-ocr/json | jq -r '.info.requires_dist[]'
Length of output: 226 Script: #!/bin/bash
# Check for potential conflicts in requirements files
echo "=== Checking requirements-moeflow.txt ==="
cat requirements-moeflow.txt | grep -E "numpy|Pillow|torch|transformers|fire|fugashi|jaconv|loguru|pyperclip"
echo -e "\n=== Checking other requirement files ==="
fd "requirements.*\.txt" --exec cat {} \; | grep -E "numpy|Pillow|torch|transformers|fire|fugashi|jaconv|loguru|pyperclip"
Length of output: 678 |
||
| # langdetect | ||
| # pydensecrf@https://github.com/lucasb-eyer/pydensecrf/archive/refs/heads/master.zip | ||
| # accelerate | ||
| # bitsandbytes | ||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
💡 Codebase verification
Keep system packages - they are required for custom compilation
The packages should not be commented out as they are necessary:
custom_ctc.cc,custom_ctc_cuda_driver.cc) intraining/ocr/that require compilationbuild-essentialis needed for compiling these custom CTC (Connectionist Temporal Classification) implementationstzdatais likely needed for proper timezone handling in the application (multiple Python files use datetime)🔗 Analysis chain
Verify removal of system packages
The commented-out system packages (
tzdata,build-essential) might still be required. Please verify:Let me gather more information about the base image and conda environment setup.
Let me check one final thing about the base image and any potential custom compilation needs.
🏁 Scripts executed
The following scripts were executed for the analysis:
Script:
Length of output: 989
Script:
Length of output: 2020
Script:
Length of output: 499