Proxmox 在diskless時,將它mirage 會造成vm locked 的狀態。

在重開機之後 Proxmox 上的磁碟陣列裝置代號由 md127 變為 md0 ,造成 drbd disk less。

修正 drbd 設置檔將 r1.res 的磁碟裝置改為目前 md 代號。

固定 md 磁碟代號名稱,可用如下指令將設定寫入「/etc/mdadm/mdadm.conf」設定檔內。

# mdadm -D --scan
ARRAY /dev/md/100 metadata=1.2 name=VMDB010C:100 UUID=3e65c4f0:008c1c7b:7bd568e5:2c9a65ac
# mdadm -D --scan >> /etc/mdadm/mdadm.conf

後來又發現 vm is locked 無法mirage 和start ,使用指令qm unlock vmid 將它解鎖,之後就能正常啟動了。(在diskless時,將它mirage 會造成vm locked 的狀態)

廣告

ubuntu install clvm

安裝需要的套件

apt-get install system-config-cluster cman clvm

執行 system-config-cluster 加上叢集節點,產生 cluster.conf 設定檔(讓cman啟動)。

啟動 cman : service cman start

修變設定 lvm.conf : locking_type = 3
或是執行 lvmconf –enabledcluster 指令

建立 DRBD 裝置(primary-primary mode)
建立新的 VG for cluster 或是 修改現有的 VG for cluster
new: vgcreate -c y -n vg-cluster /dev/drbd-device
modify: vgchange -c y exist-vg

啟動 clvm: service clvm start

Ubuntu 12.04 DRBD diskless but worked fine.

使用DRBD在設定檔參數設定遺漏的情況下,很有可能在硬碟底層裝置都處於正常的狀態下。DRBD 的狀態卻顯示 Diskless,通常這類的錯誤都是因為忘了設定 /etc/lvm/lvm.conf 的 filter 參數值或是設定不正確所至。但是這次所遭遇的狀況卻是不一樣的。

確定 /etc/lvm/lvm.conf 的 filter 參數設定,僅允許所指定的 block device (DRBD Devices)能被 lvm 存取。建立完成後DRBD的狀態都是正常的,直到系統重新開機後。它就出錯 DiskLess 的狀態,但是奇怪的是用 DRBD 所建的 Logical Volume 卻能給給 KVM 的 Guset OS 使用。

而用 pvs 、vgs 都查不到資料,但 lvs 卻有資料顯示。lvs 是從哪裏來的?

一直在找答案,但找到的方向大致都一樣。lvm.conf filter 參數設定為主。同時我也一直在重複的刪除並建立新的DRBD,但還是一樣的重新開機就是 DiskLess。

直到我發現下列這樣的磁碟分割訊息,利用 fdisk 重新劃分 swap、和給drbd 使用的分割區並重新建立DRBD。系統重新開機 DRBD Diskless 就不再出現了。

分割區 1 並非開始於磁柱邊界

所用裝置 開機 開始 結束 區塊 識別號 系統
/dev/sda2p1 ? 1936269394 3772285809 918008208 4f QNX4.x 第三部分
分割區 1 並非開始於磁柱邊界。
/dev/sda2p2 ? 1917848077 2462285169 272218546+ 73 未知
分割區 2 並非開始於磁柱邊界。
/dev/sda2p3 ? 1818575915 2362751050 272087568 2b 未知
分割區 3 並非開始於磁柱邊界。
/dev/sda2p4 ? 2844524554 2844579527 27487 61 SpeedStor
分割區 4 並非開始於磁柱邊界。

至於為什麼分割區會出現這類的訊息並不太清楚,我記得安裝Ubuntu時是手動設定partion,硬碟空間也沒全部使用。待系統安裝完成後使用磁碟公用程式,劃分一塊分割區給DRBD使用。這些時候分割區都是這樣的訊息,但是因為都能正常使用所以就不太想為什麼會這樣。

Howto:DRBD

DRBD

drbd.conf
DRBD – 集群/存储/负载均衡/高性能 – linscora
中国最大的IT技术博客-ChinaUnix博客:DRBD – 集群/存储/负载均衡/高性能 – linscora
A Highly Available NFS Server(drbd+heartbeat) – drbd+heartbeat – qingheliu
中国最大的IT技术博客-ChinaUnix博客:A Highly Available NFS Server(drbd+heartbeat) – drbd+heartbeat – qingheliu
Manual split brain recovery 

very slow io with drbd and nfs | DRBD | Users
very slow io with drbd and nfs DRBD Users
DRBL (Diskless Remote Boot in Linux)
DRBD – Fix for Diskless status | Tech from the Trenches
A resource community blog for tech professionals in education.