Selenium nastartovane mimo CronJob

[marekvesely-direct]

Dobry den,

rad bych mel moznost nastartovat Selenium mimo CronJob v uplne jinem podu a z canary se na nej jen pripojit. Je zde moznost pres nejakou promennou nastavit adresu beziciho selenia at se nepouzije defaultni: http://localhost:4444? Aktualne nam nastava situace, ze job startuje canary a selenium kontejnery najednou, ale canary najede jako prvni a spadne ze se nepripoji na selenium. Celkove by se nam toto hodilo at nestartujeme zbytecne selium stale dokola, kdyz muze jet celou dobu.

Dekuji,

Marek

[rdpanek]

Dobry den,
to je spravne ze v jednom podu je Canary a startuje v druhem kontejneru cerstvy browser s cersrtvym http serverem Selenium, v opacnem priprade se muzete dockat false positive.

Idealne by jste meli mit druhy kontejner nacachovany aby startoval co nejrychleji, nebo take zkontrolujte, jestli mate dostatek prostredku. Defaultne byva vse v poradku. V krajnim pripade muzete pridat healthcheck neco na zpusob:

    healthcheck:
      test: ["CMD-SHELL", "curl -f http://service2:port || exit 1"]
      interval: 10s
      timeout: 5s
      retries: 5

[marekvesely-direct]

Dobry den,

@rdpanek nize posilam kompletni manifest a vystupy z kontejneru. Canary proste nastartuje drive nez selenium a canary spadne, ze neceka na selenium. Prosim tedy o vyreseni, protoze toto nam znemoznuje pouzivani canarytrace. O healthchecku co pisete slysim poprve a nenasel jsem k tomu nic v dokumentaci Kubernetes.

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: canarytrace-birne
  namespace: canarytrace
spec:
  concurrencyPolicy: Replace
  failedJobsHistoryLimit: 2
  schedule: "30,50 * * * *"
  jobTemplate:
    spec:
      template:
        metadata:
          labels:
            filebeat: canarytrace
        spec:
          serviceAccountName: pods-stop-canarytrace
          containers:
          - name: kubectl-stop-job
            image: bitnami/kubectl:latest
            command: ['sh', '-c', "sleep 120s; JOB_NAME=$(kubectl get -n canarytrace pod $HOSTNAME -o jsonpath=\"{.metadata.labels['job-name']}\"); until [ $(kubectl get pods -n canarytrace -l job-name=$JOB_NAME | grep \"3/[1-5]\" | wc -l) -lt '1' ]; do echo \"canary is running\" ; sleep 2s; done; kubectl -n canarytrace delete job $JOB_NAME ; kubectl -n canarytrace delete pod $HOSTNAME"]
          - name: canary
            image: xxx/canarytrace:4.22.0-devops-20221121083205-28
            env:
            - name: BASE_URL
              value: "https://www.xxx.com"
            - name: GIT_REVISION
              value: "XXX"
            - name: SPEC
              value: "./test/specs/birne.test.js"
            - name: EDITION
              value: "canarytrace"
            - name: GIT_REPOSITORY
              value: "git@bitbucket.org:XXX/XXX.git"
            - name: GIT_REPOSITORY_HOST
              value: "bitbucket.org"
            - name: GIT_REPOSITORY_PORT
              value: "22"
            - name: ELASTIC_CLUSTER
              value: "http://XXX:9200"
            - name: LICENSE
              value: "XXX"
            - name: MODE
              value: "user-journey"
            - name: PT_AUDIT
              value: allow
            - name: AVAILABILITY_CHECK
              value: "no"
            - name: MEMORY_INTERCEPT
              value: "allow"
            - name: COVERAGE_AUDIT
              value: "allow"
            - name: HERO_ELEMENTS
              value: "allow"
            - name: REQUEST_LOG
              value: "allow"
            - name: LOG_LEVEL
              value: "info"
            - name: TZ
              value: "Europe/Prague"
            - name: ENV
              value: "prod"
            - name: WEB
              value: "birne"
            - name: CHROME_DESKTOP
              value: "true"
            - name: REFRESH_TOKEN_DEV
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: refresh-token-dev
            - name: CLIENT_ID_DEV
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: client-id-dev
            - name: CLIENT_SECRET_DEV
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: client-secret-dev
            - name: REFRESH_TOKEN_PROD
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: refresh-token-prod
            - name: CLIENT_ID_PROD
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: client-id-prod
            - name: CLIENT_SECRET_PROD
              valueFrom:
                secretKeyRef:
                  name: canarytrace-secret
                  key: client-secret-prod
            resources:
              requests:
                memory: "500Mi"
                cpu: "200m"
              limits:
                memory: "1400Mi"
                cpu: "500m"
            imagePullPolicy: "IfNotPresent"
            volumeMounts:
              - mountPath: /secret
                name: secret-bitbucket
                readOnly: true
          - name: selenium
            image: selenium/standalone-chrome:4.12.1-20230912
            ports:
              - containerPort: 4444
            resources:
              requests:
                memory: "2000Mi"
                cpu: "200m"
              limits:
                memory: "4000Mi"
                cpu: "1300m"
            imagePullPolicy: "IfNotPresent"
            volumeMounts:
              - mountPath: "/dev/shm"
                name: "dshm"
            livenessProbe:
              httpGet:
                path: /status
                port: 4444
              initialDelaySeconds: 10
              timeoutSeconds: 5
            readinessProbe:
              httpGet:
                path: /status
                port: 4444
              initialDelaySeconds: 10
              timeoutSeconds: 5
          restartPolicy: "Never"
          terminationGracePeriodSeconds: 5
          imagePullSecrets:
            - name: directregistry-credential
          volumes:
            - name: secret-bitbucket
              secret:
                secretName: secret-bitbucket
            - name: "dshm"
              emptyDir:
                medium: "Memory"

canarytrace-perf-28273320-pnx2w_canary.log
canarytrace-perf-28273320-pnx2w_selenium.log

[rdpanek]

S nastavenim Vaseho Kubernetes Vam urcite bohuzel pomoci nemuzeme, nemame pristup. Nic mene mrknete do dokumentace na readinessProbe a livenessProbe. Zaroven si zkontrolujte start druheho kontejneru, proc startuje tak pozde.

[marekvesely-direct]

@rdpanek tohle ale neni o nastaveni Kubernetes clusteru, je to o nastaveni vasi sluzby. Sluzba Canarytrace pred testem ma pockat jestli Selenium funguje. Dalo by se to vyresit kdyby Selenium jelo bokem, jak jsem se ptal v puvodnim dotazu, ale to nejste schopny tuto jednoduchou promenou dostat do canary. To casovani je jasne, jde to videt z logu, holt canary image se stahne rychleji a tim se spusti drive. Selenium image ma 534MB a Canarytrace 151MB. Novodoba infrastruktura funguje dynamicky, takze image cachovat ani nejde, kdyz server nemusi existovat ani den. Tady vymluvy typu nastaveni Kubernetes clusteru jsou mimo misu a je potreba toto mit poresene na strane sluzby, ne ze sluzba bude napsana stylem, jo ten druhy container nastartuje rychleji takze vzdy budu pocitat s tim ze uz bezi...

[rdpanek]

@marekvesely-direct I když lze konfiguraci řešit kompletně pomocí Kubernetes na pěti řádcích, tak jsem Vám přidali check běžícího selenium serveru do revize quay.io/canarytrace/canarytrace:4.23.0 kdy host a port můžete nastavit pomocí HOSTNAME a PORT environment variables. Default je localhost:4444

Můžete si vytvořit kompletně vlastní konfiguraci WDIO a změnit libovolné chování -v $(pwd)/config:/opt/canary/config/wdio buď vytvořit vlastní docker image s vlastní konfiguraci a nebo konfiguraci přidat do repa společně s testy.