This week I was moving my test domains to cloudflare. The process is quick and easy. By default cloudflare is trying to migrate all of your DNS records and that is cool. Unfortunately when you have wildcard domain * it can add 200 uneeded A records to your domains. My first thought was ok not big deal I will remove them in bulk but you can remove entries only one by one... :)

Fortunetly to overcome this issue we can use cloudflare API! First step will be to create API token with DNS zone edit priviliges. The step by step manual is in the docs. We can verify the token using CURL:

curl -X GET "https://api.cloudflare.com/client/v4/user/tokens/verify" \
     -H "Authorization: Bearer <token secret>" \
     -H "Content-Type:application/json"

Next we have to retrive our DNS Zone id. we can find it dashboard. To get it we have to go to Websites ->our domain->Overview and on the right there will be Zone ID .

After that we will be interested in two specyfic API endpoints.
- List DNS records: https://api.cloudflare.com/#dns-records-for-a-zone-list-dns-records
- Delete DNS record: https://api.cloudflare.com/#dns-records-for-a-zone-delete-dns-record

To list all records we in the zone we have to make this call:

curl -X GET "https://api.cloudflare.com/client/v4/zones/<ZONE_ID/dns_records?page=1&per_page=300" \
	-H "Authorization: Bearer <API TOKEN>" \
	-H "Content-Type: application/json"

and to remove:

curl -X DELETE "https://api.cloudflare.com/client/v4/zones/<ZONE_ID>/dns_records/<RECORD_ID>"
	-H "Content-Type: application/json" \
	-H "Authorization: Bearer <API TOKEN>"

With those two API requests, little support from jq and for loop we are able to make small script that will clean it up for us :)

for dns_record in $(curl -X GET "https://api.cloudflare.com/client/v4/zones/<ZONE_ID/dns_records?page=1&per_page=300" -H "Authorization: Bearer <API TOKEN>" -H "Content-Type: application/json" | jq -r ".result [] .id")
do
	curl -X DELETE "https://api.cloudflare.com/client/v4/zones/<ZONE_ID>/dns_records/$dns_record" -H "Content-Type: application/json" -H "Authorization: Bearer <API TOKEN>"
done

And that is ready bash snippet that will remove all DNS records from selected zone :)

How to quickly debug anything on cluster? You can quickly run any linux oci image using kubectl :
Jak szybko zdebugować coś na klastrze? Nic trudnego wystarczy odpalić poda na zdalnej maszynie przy wykorzystaniu kubectl:

kubectl run shell --rm -i --tty --image ubuntu -- bash

kubectl run - Create and run a particular image in a pod.
shell - pod name
--rm - delete resources created in this command for attached containers.
-i - Keep stdin open on the container(s) in the pod, even if nothing is attached.
--tty - Allocated a TTY for each container in the pod.
--image - The image for the container to run.
ubuntu - ubuntu image name
-- bash - command to run.

And that is it :) After disconnecting pod should be automatically removed!

Tekton to natywny dla Kubernetesa system CI/CD. Oznacza to że wszystkie zadania i konfiguracje przechowujemy jako obiekty Kubernetesa. W poniższym artyklule postaram się pokrótce przedstawić jego założenia a w kolejnych częsciach przedstawię jak korzystać z tego wygodnego rozwiązania.

Każde zadanie w Tektonowym pipeline możemy podzielić na kroki(step) które składają sie na zadania(task) a te składają się na pipeline. Zadania i pipeliney są `custom resources`.

Obiekty wejścia i wyjścia

Każdy zadanie i pipeline może mieć swoje wejście i wyjście. Na przykład zadanie budujące obraz Docker na wejściu bedzie miało repozytorium gita a na wyjściu obraz Dockera.
Tekton wspiera następujące:
- repozytorium gita
- Pull Request
- Obraz kontenera
- Klaster Kubernetesa
- Przechowanie, obiekt lub katalog i w pamięci
- CloudEvent

Uruchomienie Zadań i Pipelineów.

W Tektonie istnieją dwa kolejne obiekty TaskRuns i PipelineRuns. Służą one odopwiednia do uruchomienia zadania bądź całego pipelina. Uruchomienia można tworzyć manualnie bądź automatyzować przy pomocy Tekton Triggers o czym napiszę więcej w kolejnej części.

Tekton jest świetną alternatywą dla wielu innych systemów CI/CD takich jak np. Jenkins. Mam nadzieję że w tej serii uda mi się pokazać Ci jego zalety i przekonać do wypróbowania w nowym bądź istniejącym projekcie.

Przy automatyzacji pewnych procesów, takich jak na przykład dostępy do bastionów pojawia się problem dodawania kluczy SSHa. Niestety bardzo często nie można polegać na użytkownikach aby poprawnie wklejali klucze. Na szczęście z pomocą przychodzi nam github. Aby pobrać publiczne klucze z githuba potrzebujemy wykonać porste polecenie:

curl https://github.com/<username>.keys

I w ten oto sposób możemy szybko i wygodnie dodawać klucze z GH.

Czasami zdarza się że coś pójdzie nie tak i nasz dysk PVC będzie miał błedy bądź zapełni się tak że nie możemy uruchomić naszej usługi.

Ostanio miałem taki problem ze źle skonfigurowaną usługą Prometheus. Przestrzeń zapełniła się tak bardzo że kontener nie mógł wstać. Poniżej przedstawiam co wtedy zrobić.

Odepnij wolumen

Kontener utknął w reboot loopie więc musimy przeskalować deployment do zera.

kubectl scale deployment my-deployment --replicas=0

Utwórz pod do debuggowania

Najpierw musimy namierzyć PVC które nas interesuje

$ kubectl describe deployment my-deployment | grep ClaimName
ClaimName:  data

teraz musimy utworzyć nowego poda który podepnie istniejące PVC.

utwórz plik debug.yaml:

kind: Pod
apiVersion: v1
metadata:
  name: volume-debugger
spec:
  volumes:
    - name: debug-volume
      persistentVolumeClaim:
       claimName: <TU PODAJ CLAIM NAME>
  containers:
    - name: debugger
      image: busybox
      command: ['sleep', '3600']
      volumeMounts:
        - mountPath: "/data"
          name: debug-volume

teraz musimy utworzyć nowego poda pamiętając aby był w tej samej przestrzeni nazw co PVC.

$ kubectl -n <NAZWA PRZESTRZENI> create -f debug.yaml
pod "volume-debugger" created
$ kubectl -n <NAZWA PRZESTRZENI> exec -it volume-debugger sh
/ # cd /data
/data # 

Teraz możemy naprawić pliki bądź usunąć nadmiarowe.

Przywracanie usługi

Po naprawie plików możemy przywrócić naszą usługę do życia. Na początku wyjdźmy z naszego debug poda.

/data # exit

Następnie powinniśmy usnąć naszego debug poda:

$ kubectl -n <NAZWA PRZESTRZENI> delete -f debug.yaml

I na koniec możemy spowrotem przeskalować naszą usługę:

$ kubectl scale deployment my-deployment --replicas=1

Teraz wszystko powinno być w porządku

Podsumowanie

W idealnym śwecie nigdy nie powinniśmy musieć korzystać z tej metody ale jak wiemy nie wszystko idzie idealnie. Warto więc znać taką szybką metode jak dostać się do skorumpowanych danych.

Jako system hosta użyejmy dystrybucji Linux Mint 19.

Pierwszy krok jaki musimy wykonać to sprawdzenie czy sprzętowe wsparcie wirtualizacji jest włączone na naszym komputerze. W tym celu należy wykonać polecenie:

egrep --color 'vmx|svm' /proc/cpuinfo

jeśli wynik nie będzie pusty to możemy przejść dalej.

Następnym krokiem będzie instalacja narzędzia do wirtualizacji. Do wyboru mamy dwa(VirtualBox i KVM). Z racji lepszej wydajności zainstalujemy KVM.

`sudo apt install -y -o 'apt::install-recommends=true' qemu-kvm libvirt0 libvirt-bin virt-manager libguestfs-tools

Oraz sterownik:

curl -LO https://storage.googleapis.com/minikube/releases/latest/docker-machine-driver-kvm2 \   && sudo install docker-machine-driver-kvm2 /usr/local/bin/

następnie musimy dodać naszego użytkownika do grupy:

$ sudo gpasswd libvirt -a <username>
$ sudo reboot

kolejny krok to instalacja narzędzia kubectl, pełna instrukcja znajduje się tutaj: https://kubernetes.io/docs/tasks/tools/install-kubectl/

następnie zainstalujemy minikube'a:

curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 \
  && chmod +x minikube
sudo cp minikube /usr/local/bin && rm minikube

Teraz już wystarczy go uruchomić:

minikube start --vm-driver=kvm2

Mój aparat nagrywa filmy w formacie avchd, używa do tego kodeka x264 oraz aac do dźwięku. Używając ffmpeg jesteśmy w stanie skonwertować taki plik szybko i bezstratnie do formatu mp4.

Aby to zrobić należy zainstalować ffmpeg i wydać następujące polecenie

ffmpeg -i input-file.MTS -vcodec copy -acodec libmp3lame -f mp4 output.mp4

po kolej co się tutaj dzieje:
-i input-file.MTS plik wejściowy
-vcodec copy kodek wideo do konwersji, w naszym wypadku nie konwertujemy a kopiujemy
-acodec libmp3lame  kodek audio do konwersji, w naszym wypadku mp3
-f mp4 typ pliku wyjściowego
output.mp4 plik wyjściowy

O to pierwszy post na tym blogu :)

Z czasem postaram się publikować tutaj ciekawe informacje i tutoriale związane z programowaniem oraz DevOps.