KVM & NUMA & BlackScreen [SOLVED]

LinuxID 24 Августа, 2012 - 23:35

Виртуальные машины

Есть 2 одинаковых сервера один из которых является KVM сервером, второй - BackUp первого. Нет. Образы виртуалок копируюутся с помощию scp по сети.
Решил немного покрутить ядро гостевой машины. Для этого с KVM сервера скопировал с ядра .config, make.conf и net(IP сменил). Пересобрал ядро. Перезапустился. Emerge -uDN world. Еще раз перезапустился.
С рабочей машины VirtManager нормально увидел теперь уже оба KVM сервера. На новом KVM создаю машину и подцепляю копию гостевой машины и тут начинаются косяки:

1) Принажатии кнопки "Generate from host NUMA configuration" появляется сообщение "Capabilities only show <= 1 cell. Not NUMA capable"
Так и не понял в чем прикол ... машины отличаются только SN и обьемами HDD. Все остальное (проц, память, мать, BIOS и его настройки) все одинаковое.

2) При запуске linux гостя он типа стартует но ... почти мгновенно появляется черный экран и проц грузится на 90%. Подозреваю что kernel-panic.
С новым VirtIO HDD вполне нормально стартует. Со скопированным проблемы. Права на *.img - qemu:qemu. Скопированный Win гость работает без проблем.

ЗЫ. Ядро под KVM собирал по ману с анг.вики.
ЗЫ. Ядро последнее стабильное vanilla 3.3.8.

Для комментирования войдите или зарегистрируйтесь

NUMA

Автор h4e, дата создания 25 Августа, 2012 - 00:08.

А проц то совместим с NUMA?

Для комментирования войдите или зарегистрируйтесь

Ну раз на одной машине

Автор LinuxID, дата создания 25 Августа, 2012 - 00:37.

Ну раз на одной машине работает ... сам как думаешь?

—

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

Для комментирования войдите или зарегистрируйтесь

+

Автор Daevy, дата создания 25 Августа, 2012 - 12:03.

1) на той машине где пишется ошибка "Capabilities only show <= 1 cell. Not NUMA capable"
наберите numactl --hardware (если нет такой команды, установите sys-process/numactl). Машины могут отличаться конфигами запущенных ядер.

2) загрузите машинку с livecd и посмотрите что с этим вашим скопированным образом, все ли там нормально с разделами.

—

there is only war...

Для комментирования войдите или зарегистрируйтесь

virtsrv1 ~ # numactl

Автор LinuxID, дата создания 26 Августа, 2012 - 10:52.

virtsrv1 ~ # numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 2 4 6 8 10 12 14 16 18 20 22
node 0 size: 8192 MB
node 0 free: 139 MB
node 1 cpus: 1 3 5 7 9 11 13 15 17 19 21 23
node 1 size: 8182 MB
node 1 free: 112 MB
node distances:
node 0 1
0: 10 20
1: 20 10

virtsrv2 ~ # numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
node 0 size: 16374 MB
node 0 free: 15817 MB
node distances:
node 0
0: 10

С разделами все впорядке.

Машины НЕ могут отличаться конфигами запущенных ядер ибо Для этого с KVM сервера скопировал с ядра .config, make.conf и net(IP сменил). Пересобрал ядро. Перезапустился.

—

Для комментирования войдите или зарегистрируйтесь

+

Автор Daevy, дата создания 27 Августа, 2012 - 08:22.

с обоих серверов покажите вывод lshw, первые секции hostname, *-core, *-firmware (примерно первые 30 строк)

—

there is only war...

Для комментирования войдите или зарегистрируйтесь

virtsrv1 description:

Автор LinuxID, дата создания 27 Августа, 2012 - 09:43.

virtsrv1
description: Rack Mount Chassis
product: PowerEdge R710 ()
vendor: Winbond Electronics
serial: 7CJ5X4J
width: 64 bits
capabilities: smbios-2.6 dmi-2.6 vsyscall32
configuration: boot=normal chassis=rackmount uuid=44454C4C-4300-104A-8035-B7C04F58344A
*-core
description: Motherboard
product: 0XDX06
vendor: Winbond Electronics
physical id: 0
version: A05
serial: ..CN1374009F00R0.
*-firmware
description: BIOS
vendor: Winbond Electronics
physical id: 0
version: 2.1.15
date: 09/02/2010
size: 64KiB
capacity: 4032KiB
capabilities: isa pci pnp upgrade shadowing cdboot bootselect edd int13floppytoshiba int13floppy360 int13floppy1200 int13floppy720 int9keyboard int14serial int10video acpi usb biosbootspecification netboot
*-cpu:0
description: CPU
product: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
vendor: Intel Corp.
physical id: 400
bus info: cpu@0
version: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
slot: CPU1
size: 2800MHz
capacity: 3600MHz
width: 64 bits
clock: 2105MHz
capabilities: x86-64 fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
configuration: cores=6 enabledcores=6 threads=12
*-cache:0
description: L1 cache
physical id: 700
size: 192KiB
capacity: 192KiB
capabilities: internal write-back data
*-cache:1
description: L2 cache
physical id: 701
size: 1536KiB
capacity: 2MiB
capabilities: internal write-back unified
*-cache:2
description: L3 cache
physical id: 702
size: 12MiB
capacity: 12MiB
capabilities: internal write-back unified
*-cpu:1
description: CPU
product: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
vendor: Intel Corp.
physical id: 401
bus info: cpu@1
version: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
slot: CPU2
size: 2800MHz
capacity: 3600MHz
width: 64 bits
clock: 2105MHz
capabilities: x86-64 fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
configuration: cores=6 enabledcores=6 threads=12
*-cache:0
description: L1 cache
physical id: 703
size: 192KiB
capacity: 192KiB
capabilities: internal write-back data
*-cache:1
description: L2 cache
physical id: 704
size: 1536KiB
capacity: 2MiB
capabilities: internal write-back unified
*-cache:2
description: L3 cache
physical id: 705
size: 12MiB
capacity: 12MiB
capabilities: internal write-back unified

—

Для комментирования войдите или зарегистрируйтесь

virtsrv2 description:

Автор LinuxID, дата создания 27 Августа, 2012 - 09:44.

virtsrv2
description: Rack Mount Chassis
product: PowerEdge R710 ()
vendor: Winbond Electronics
serial: 6CJ5X4J
width: 64 bits
capabilities: smbios-2.6 dmi-2.6 vsyscall32
configuration: boot=normal chassis=rackmount uuid=44454C4C-4300-104A-8035-B6C04F58344A
*-core
description: Motherboard
product: 0XDX06
vendor: Winbond Electronics
physical id: 0
version: A05
serial: ..CN1374009F00QR.
*-firmware
description: BIOS
vendor: Winbond Electronics
physical id: 0
version: 2.1.15
date: 09/02/2010
size: 64KiB
capacity: 4032KiB
capabilities: isa pci pnp upgrade shadowing cdboot bootselect edd int13floppytoshiba int13floppy360 int13floppy1200 int13floppy720 int9keyboard int14serial int10video acpi usb biosbootspecification netboot
*-cpu:0
description: CPU
product: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
vendor: Intel Corp.
physical id: 400
bus info: cpu@0
version: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
slot: CPU1
size: 2800MHz
capacity: 3600MHz
width: 64 bits
clock: 2105MHz
capabilities: x86-64 fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
configuration: cores=6 enabledcores=6 threads=12
*-cache:0
description: L1 cache
physical id: 700
size: 192KiB
capacity: 192KiB
capabilities: internal write-back data
*-cache:1
description: L2 cache
physical id: 701
size: 1536KiB
capacity: 2MiB
capabilities: internal write-back unified
*-cache:2
description: L3 cache
physical id: 702
size: 12MiB
capacity: 12MiB
capabilities: internal write-back unified
*-cpu:1
description: CPU
product: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
vendor: Intel Corp.
physical id: 401
bus info: cpu@1
version: Intel(R) Xeon(R) CPU X5660 @ 2.80GHz
slot: CPU2
size: 2800MHz
capacity: 3600MHz
width: 64 bits
clock: 2105MHz
capabilities: x86-64 fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 popcnt aes lahf_lm ida arat tpr_shadow vnmi flexpriority ept vpid
configuration: cores=6 enabledcores=6 threads=12
*-cache:0
description: L1 cache
physical id: 703
size: 192KiB
capacity: 192KiB
capabilities: internal write-back data
*-cache:1
description: L2 cache
physical id: 704
size: 1536KiB
capacity: 2MiB
capabilities: internal write-back unified
*-cache:2
description: L3 cache
physical id: 705
size: 12MiB
capacity: 12MiB
capabilities: internal write-back unified

—

Для комментирования войдите или зарегистрируйтесь

да железо сходится, а вариант

Автор Daevy, дата создания 27 Августа, 2012 - 14:00.

да железо сходится, а вариант с livecd пробовали?
может ядру через grub параметры какие передаются? типа numa=fake|off

—

there is only war...

Для комментирования войдите или зарегистрируйтесь

Опачки

Автор syapadw3, дата создания 26 Августа, 2012 - 11:30.

Полностью согласен

Для комментирования войдите или зарегистрируйтесь

Не народ. Что-то тут не так.

Автор LinuxID, дата создания 27 Августа, 2012 - 00:17.

Не народ. Что-то тут не так. Все перепроверил. BIOS, ядро, версию gcc, make.conf и даже количество пакетов одинаковое. Обновил, пересобрал все, перезагрузил. Один хрен на одной машине NUMA работает, на другой нет.
Что я мог не досмотреть? Может железо где косячит?

—