.env

################################################################################
### PYTHON SDK SETTINGS
################################################################################
PYTHON_VERSION=3.10
BEAM_VERSION=2.57.0
DOCKER_CREDENTIAL_REGISTRIES="us-docker.pkg.dev"
################################################################################
### GCP SETTINGS
################################################################################
PROJECT_ID=apache-beam-testing
REGION=us-west1
DISK_SIZE_GB=200
#MACHINE_TYPE=n1-standard-2
MACHINE_TYPE=g2-standard-4
INPUT_TOPIC=llm_input
OUTPUT_TOPIC=llm_output
################################################################################
### DATAFLOW JOB SETTINGS
################################################################################
STAGING_LOCATION=gs://xqhu-ml/staging
TEMP_LOCATION=gs://xqhu-ml/temp
#SERVICE_OPTIONS="worker_accelerator=type:nvidia-tesla-t4;count:1;install-nvidia-driver:5xx"
SERVICE_OPTIONS="worker_accelerator=type:nvidia-l4;count:1;install-nvidia-driver:5xx"
CUSTOM_CONTAINER_IMAGE_ROOT=us-docker.pkg.dev/apache-beam-testing/beam-llm
################################################################################
### MODEL SETTINGs
################################################################################
#MODEL_NAME=gemma_instruct_2b_en
#MODEL_TAG=gemma_2b:gpu
#MODEL_NAME=FLAN-T5-small
#MODEL_TAG=flan_t5_small:gpu
MODEL_NAME=ollama
MODEL_TAG=ollama:latest
#OLLAMA_MODEL_NAME=llama3
OLLAMA_MODEL_NAME=gemma2
MAX_RESPONSE=512