Hypervisor Temelleri
ARM EL2 & İzolasyon

; HCR_EL2 önemli bit'ler
; VM  [0]  : Stage-2 MMU etkinleştir (1 = enabled)
; SWIO[1]  : Set/Way cache operations trap
; PTW [2]  : Protected Table Walk
; FMO[8]   : FIQ routing to EL2
; IMO[9]   : IRQ routing to EL2
; AMO[10]  : Async abort routing to EL2
; RW [31]  : Register Width — 1=aarch64 guest
; TGE[27]  : Trap General Exceptions to EL2

; Hypervisor başlangıcında HCR_EL2 ayarı
mov  x0, #(1 << 31)    ; RW — AArch64 guest
orr  x0, x0, #(1 << 1) ; SWIO
orr  x0, x0, #(1 << 0) ; VM — Stage-2 aktif
msr  HCR_EL2, x0
isb

# Guest içinde PV sürücü yüklü mü?
lsmod | grep xen
# xen_netfront    24576  0
# xen_blkfront    40960  2
# xenbus_probe_frontend  16384  2 xen_netfront,xen_blkfront

# Xen hypervisor üzerinde olduğumuzu doğrula
cat /proc/xen/capabilities
# control_d  (dom0 ise)

xl dmesg | grep -i "virt"
# (XEN) ARM64 Virtualization Extensions enabled

# Virtio sürücülerini listele
lspci | grep -i virtio
# 00:01.0 Ethernet controller: Red Hat, Inc. Virtio network device

# Virtio disk performans testi
dd if=/dev/vda of=/dev/null bs=1M count=512 iflag=direct
# 512+0 records in ... 1.23 GB/s

# Virtio ağ arayüzü
ip link show
# 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> ... virtio_net

# Dom0'da grant table bilgisi
cat /proc/xen/grant_tables
# nr_pages: 16
# max_nr_pages: 4096

# Aktif grant referansları
ls /sys/kernel/debug/xen/
# grant-table  grant-tables  runstate  xenbus

# DomU'nun grant ettiği sayfalar
cat /sys/kernel/debug/xen/grant-table
# domid=1: 128 active grants

# Platform: ARM mı, x86 mi?
# ARM + gömülü → Xen veya Jailhouse
# x86 + IVI → ACRN veya KVM

# Sertifikasyon gerekli mi?
# ASIL-D → Jailhouse (küçük TCB) veya seL4
# ASIL-B/C → Xen (olgun, FLASK/XSM)

# Dinamik VM yönetimi gerekli mi?
# Evet → Xen (xl toolstack) veya KVM (libvirt)
# Hayır → Jailhouse (static, deterministic)

# Real-time garantisi?
# Sıkı RT → Jailhouse bare-metal cell
# Esnek RT → Xen RTDS scheduler + KVM CPU pinning

# Platform kontrolü
jailhouse hardware check  # Jailhouse uyumluluğu
xl info 2>/dev/null        # Xen çalışıyor mu?
ls /dev/kvm 2>/dev/null    # KVM mevcut mu?

# Xen komut satırı güvenlik seçenekleri
# /boot/extlinux.conf veya GRUB'da Xen parametreleri

# SMMU etkinleştir (IOMMU)
xen.gz iommu=on iommu_inclusive_mappings=on

# Spectre/Meltdown azaltmaları
xen.gz spec-ctrl=full bti-thunk=retpoline

# Dom0 yeteneklerini kısıtla
xen.gz dom0_max_vcpus=2 dom0_mem=512M,max:512M

# XSM (Xen Security Modules) etkinleştir
xen.gz flask=enforcing

# Dom0 için driver domain modeli — minimum yetki
# Ayrı driver domain'ler dom0'dan bağımsız sürücü çalıştırır

# 1. SMMU/IOMMU etkin mi?
jailhouse hardware check | grep IOMMU
# [  OK  ] IOMMU available

# 2. Cell'lerin bellek bölgeleri örtüşüyor mu?
# (Jailhouse enable sırasında otomatik kontrol edilir)
jailhouse enable root.cell 2>&1 | grep -i overlap
# (çıktı olmamalı)

# 3. Xen: FLASK enforcing mod
xl getenforce
# Enforcing

# 4. Secure boot zinciri (platform bütünlüğü)
dmesg | grep -i "secure boot\|verified boot"

# 5. Spectre/Meltdown azaltmaları
cat /sys/devices/system/cpu/vulnerabilities/spectre_v2
# Mitigation: CSV2, BHB
cat /sys/devices/system/cpu/vulnerabilities/meltdown
# Mitigation: Stage-2 isolation

# ARM SMMU sürücü yüklü mü?
dmesg | grep -i smmu
# [    1.234567] arm-smmu 51400000.iommu: probing hardware configuration
# [    1.234890] arm-smmu 51400000.iommu: stage 2 translation only

# IOMMU gruplarını listele
ls /sys/kernel/iommu_groups/
# 0  1  2  3  ...

# Belirli bir grubun cihazlarını gör
ls /sys/kernel/iommu_groups/1/devices/
# 0000:00:01.0 -> ../../../devices/pci0000:00/0000:00:01.0

# VFIO ile cihazı guest'e ata (Xen passthrough için)
echo vfio-pci > /sys/bus/pci/devices/0000:00:01.0/driver_override
echo 0000:00:01.0 > /sys/bus/pci/drivers/vfio-pci/bind

# domU'ya fiziksel interrupt atama
irqs = [ 32, 33 ]    # SPI 0 ve 1 (32 = SPI 0)

# IRQ numaraları: /proc/interrupts veya device tree'den
# cat /proc/interrupts | grep uart
#  32:     1234   GICv3  32 Level  uart0

# VGIC v3 kullan (GICv3 donanım gerektirir)
gic_version = "v3"

# ARM arch_timer interrupt'ları
cat /proc/interrupts | grep arch_timer
# 11:    123456    GICv3  11 Level    arch_timer
# 12:      5678    GICv3  12 Level    arch_timer (virtual)

# Timer frekansı
cat /sys/devices/system/clocksource/clocksource0/current_clocksource
# arch_sys_counter

# GIC interrupt kategorileri
# SGI (Software Generated): 0-15   — IPI, işlemciler arası
# PPI (Private Peripheral):  16-31 — CPU'ya özel (timer, PMU)
# SPI (Shared Peripheral):   32+   — paylaşılan (UART, DMA)
# LPI (Locality-spec):       8192+ — MSI, PCIe

# /proc/interrupts ile interrupt dağılımı
cat /proc/interrupts | head -20
#           CPU0   CPU1   CPU2   CPU3
#  1:        100      0      0      0  GICv3   1 Edge  IPI reschedule
#  2:          0    150      0      0  GICv3   2 Edge  IPI call func
# 11:      45678  23456  12345   9876  GICv3  11 Level arch_timer

# Xen: virtual SGI kullanımı
xl dmesg | grep -i "SGI\|IPI"
# (XEN) VGIC: virtual SGI injection for domain 1

# Interrupt'ı belirli CPU'ya yönlendir
cat /proc/irq/58/smp_affinity_list
# 0-3  (tüm CPU'larda)

# Sadece CPU 0-1'de işle (real-time CPU 2-3 korunur)
echo "0,1" > /proc/irq/58/smp_affinity_list

# UART interrupts → CPU 0'a yönlendir
for irq in $(grep -l serial /proc/irq/*/type 2>/dev/null | \
             grep -o '[0-9]\+'); do
    echo 1 > /proc/irq/$irq/smp_affinity
done

# Jailhouse'da inmate CPU'larına interrupt routing
# Cell config irqchips.pin_bitmap ile kontrol edilir

/* ESR_EL2 EC (Exception Class) alanı [31:26] */
/* Yaygın EC değerleri */
#define ESR_EC_UNKNOWN       0x00  /* bilinmeyen neden */
#define ESR_EC_WFX           0x01  /* WFI/WFE trap */
#define ESR_EC_SVC_A64       0x15  /* SVC instruction (AArch64) */
#define ESR_EC_HVC_A64       0x16  /* HVC hypercall */
#define ESR_EC_SMC_A64       0x17  /* SMC secure monitor call */
#define ESR_EC_INSTR_ABORT   0x20  /* instruction abort (Stage-2) */
#define ESR_EC_DATA_ABORT    0x24  /* data abort (Stage-2) */
#define ESR_EC_SYS_REG       0x18  /* system register access */

static void handle_exception(uint64_t esr_el2)
{
    uint32_t ec = (esr_el2 >> 26) & 0x3F;

    switch (ec) {
    case ESR_EC_HVC_A64:
        handle_hypercall(esr_el2);
        break;
    case ESR_EC_DATA_ABORT:
        handle_mmio(esr_el2);
        break;
    case ESR_EC_SYS_REG:
        handle_sysreg(esr_el2);
        break;
    default:
        panic("Unhandled exception EC=0x%x", ec);
    }
}

# CPU özelliklerini kontrol et
grep -o 'sve\|vhe\|lse\|atomics' /proc/cpuinfo | sort -u
# Doğrudan VHE flag görünmeyebilir; kernel loguna bak

dmesg | grep -i "vhe\|el2\|hyp"
# [    0.000000] CPU: All CPU(s) booted fully, EL2 available
# [    0.000001] kvm: hypervisor initialized (VHE mode)

# ARM CPU ID register — ARMv8.1 veya üstü gerekli
cat /sys/devices/system/cpu/cpu0/regs/identification/midr_el1
# 0x00000000410fd034  (Cortex-A53 örneği)
# VHE için en az Cortex-A72 / ARMv8.1 gerekli

# KVM VHE mod doğrulama
dmesg | grep "kvm:"
# [    2.345678] kvm: Hyp mode initialized successfully

# ARM64 TLB invalidation komutları (hypervisor context)
# Tüm TLB girişlerini temizle (VMID bağımsız)
tlbi alle2     ; EL2 TLB hepsini temizle
tlbi alle1is   ; EL1 TLB (inner shareable)

# Belirli IPA için Stage-2 TLB invalidation
tlbi ipas2e1is, x0   ; x0 = IPA >> 12

# VMID tabanlı TLB invalidation
# VTTBR_EL2 kaydında VMID[63:48] alanı
# msr VTTBR_EL2, x0  ; x0 = (vmid << 48) | (s2_pgdir >> 1)
isb
dsb ish

/* VTCR_EL2 — Virtualization Translation Control Register */
/* T0SZ[5:0]: (64 - IPA_size_bits) — IPA adres uzunluğu */
/* SL0[7:6]:  başlangıç seviyesi (00=L2, 01=L1, 10=L0)  */
/* TG0[15:14]: granüle boyutu (00=4KB, 01=64KB, 10=16KB) */
/* PS[18:16]:  fiziksel adres boyutu                     */

#define VTCR_T0SZ_40BIT  (64 - 40)   /* 40-bit IPA */
#define VTCR_SL0_L1      (0x1 << 6)  /* Level 1 başlangıç */
#define VTCR_TG0_4KB     (0x0 << 14)
#define VTCR_PS_40BIT    (0x2 << 16) /* 40-bit PA */
#define VTCR_SH0_IS      (0x3 << 12) /* Inner Shareable */
#define VTCR_ORGN0_WBWA  (0x1 << 10)
#define VTCR_IRGN0_WBWA  (0x1 << 8)

static uint64_t vtcr_el2 = VTCR_T0SZ_40BIT | VTCR_SL0_L1 |
                            VTCR_TG0_4KB    | VTCR_PS_40BIT |
                            VTCR_SH0_IS     | VTCR_ORGN0_WBWA |
                            VTCR_IRGN0_WBWA;

/* Hypervisor başlangıcında VTCR_EL2 yazılır */
void setup_stage2_mmu(void)
{
    asm volatile("msr vtcr_el2, %0\n isb" :: "r"(vtcr_el2));
}

/* Xen ARM hypercall calling convention */
/* x0: hypercall numarası                */
/* x1-x5: parametreler                  */
/* Sonuç: x0                            */

#define __HYPERVISOR_console_io    18
#define __HYPERVISOR_grant_table_op 20
#define __HYPERVISOR_memory_op     12

static long xen_hypercall(unsigned long op,
                          unsigned long a1,
                          unsigned long a2)
{
    long ret;
    asm volatile(
        "mov x0, %1\n"
        "mov x1, %2\n"
        "mov x2, %3\n"
        "hvc #0\n"
        "mov %0, x0\n"
        : "=r"(ret)
        : "r"(op), "r"(a1), "r"(a2)
        : "x0", "x1", "x2", "memory"
    );
    return ret;
}

/* Örnek: Xen console'a yazdır */
void xen_console_write(const char *str, int len)
{
    xen_hypercall(__HYPERVISOR_console_io, 0,
                  (unsigned long)str);
}

# PSCI versiyonu kontrol et
cat /sys/firmware/devicetree/base/psci/compatible
# arm,psci-1.0

# PSCI metodunu kontrol et (hvc veya smc)
cat /sys/firmware/devicetree/base/psci/method
# hvc  (hypervisor varsa hvc, yoksa smc)

# CPU hotplug (PSCI CPU_ON çağrısı kullanır)
echo 0 > /sys/devices/system/cpu/cpu3/online
echo 1 > /sys/devices/system/cpu/cpu3/online