FRsAG

frsag@frsag.org

7 participants
2575 discussions

Proxmox 6.3-2 et Pool LVM-Thin
by Pi Droid 07 Dec '20

07 Dec '20

Hello, TL;DR : Comment gérer efficacement les pools LVM-Thin sous proxmox ? sans risque de crash dû à des metadata à 100% ? Il y a quelque temps, j'avais basculé mes "datastores" Proxmox d'un traditionnel LVM à du LVM-Thin pour diverses raisons (snapshot, clone, overcommitment avec discard ...) Seulement, voilà, le 23/11/20 la VM 118 de type "NAS" (samba) voit son disque dédié aux données en erreur au fur et à mesure que l'on stocke dessus avec notamment la perte significative de données (Cf plus bas pour les logs) puis fini par basculer régulièrement en read only jusqu'au 29/11/20 (oui... je pense que vous noterez ici la concordance avec un potentiel petit souci de monitoring et je ne vous parle pas de la fin de vie de mon backup hors site chez C14... ). Après de nombreuses investigations, je découvre que le pool LVM-Thin sur lequel était le LV dédié aux données affiche un taux d'occupation de metadata à 100%. Quelques infos qui aideront, je l'espère, à la compréhension : >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> ~# vgs v2cold VG #PV #LV #SN Attr VSize VFree v2cold 1 11 0 wz--n- 16.37t 1.08t ~# lvs -a v2cold LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert data2cold v2cold twi-aotz-- 11.29t 52.09 38.59 [data2cold_tdata] v2cold Twi-ao---- 11.29t [data2cold_tmeta] v2cold ewi-ao---- 288.00m [lvol0_pmspare] v2cold ewi------- 128.00m ressource2cold v2cold -wi-ao---- 4.00t ... vm-118-disk-0 v2cold Vwi-a-tz-- <3.91t data2cold 31.33 vm-118-disk-1 v2cold Vwi-aotz-- <3.91t data2cold 31.05 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< Afin de résoudre au plus vite la situation, voici les actions menées : - arrêt de toutes les vm utilisant data2cold - augmentation des metadata pour ce pool via la commande : lvextend --poolmetadatasize +160M v2cold/data2cold - augmentation du lv-thin suite à warning sur manque d'espace : lvextend -L +300G v2cold/data2cold - tentative de redémarrage de la VM 118 en question (boucle de : boot + fsck + test d'écriture) mais ca retombe toujours en erreur. J'en ai conclu (à tort ?) que le LV vm-118-disk-0 de la VM était mort. - création d'un autre LV (vm-118-disk-1) sur ce même pool + restauration de backup et switch entre les deux LV sur la VM - la VM refonctionne à nouveau Maintenant après vérification, il est nécessaire de restaurer les autres VM également. Seulement voilà... J'aimerai fiabiliser mes pool LVM-Thin... J'ai lu de très très nombreux documents et sites sur le sujet (le plus pertinent et complet à mes yeux pour ceux qui veulent : https://bugzilla.proxmox.com/show_bug.cgi?id=1241 ) et suis "ravi" de voir que je ne suis pas le seul à avoir rencontré ce problème... Pour autant je n'ai pas trouvé de solution fiable et pérenne. En effet, voici mes conclusions : - La commande d'augmentation des metadata pour un pool n'est pas la bonne (ou n'est pas complète). Bref, je ne suis pas parvenu à augmenter le lvol0_pmspare alors que ce dernier est nécessaire pour les snapshots et réparations si j'ai bien compris. - J'ai tenté de calculer la taille des metadata avec la formule <ThinPool Size> / <Chunk Size> * 64 Ce qui a donné pour mes 3 pools : data0hot (taille 930G, chunk 512K) : 122 Mo data1middle (taille 1,64T, chunk 1M) : 111 Mo data2cold (taille 11,3T, chunk 2M) : 379 Mo Complètement décorrélé de ce que j'ai sous les yeux... - J'ai découvert les options thin_pool_autoextend_threshold et thin_pool_autoextend_percent dont l'interprétation varie selon la source (pas oser expérimenter du coup...) - Ma peur de me retrouver dans une situation encore plus dégradée me rend très réticent à toute expérimentation (heureusement seul data2cold est à refaire pour le moment). Et ma question : Comment bien gérer les LVM Thin-pool sous proxmox ? Je prends tout autre conseil également ! Merci d'avance, pidroid PS : concernant les incidents "monitoring" et "backup hors site", ils seront traités dans les plus bref délais.. je l'espère :-P ############################################################################### Kern.log de la VM 118: >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Nov 29 00:32:17 vm-118 kernel: [ 772.386502] EXT4-fs error (device dm-0): ext4_ext_map_blocks:4321: inode #82575362: comm kworker/u4:1: bad extent address lblock: 122881, depth:$ Nov 29 00:32:17 vm-118 kernel: [ 772.388484] EXT4-fs (dm-0): Delayed block allocation failed for inode 82575362 at logical offset 122881 with max blocks 2048 with error 117 Nov 29 00:32:17 vm-118 kernel: [ 772.388587] EXT4-fs (dm-0): This should not happen!! Data will be lost Nov 29 00:32:17 vm-118 kernel: [ 772.388587] Nov 29 00:32:17 vm-118 kernel: [ 772.426374] sd 2:0:0:2: [sdb] tag#169 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE Nov 29 00:32:17 vm-118 kernel: [ 772.426382] sd 2:0:0:2: [sdb] tag#169 Sense Key : Aborted Command [current] Nov 29 00:32:17 vm-118 kernel: [ 772.426384] sd 2:0:0:2: [sdb] tag#169 Add. Sense: I/O process terminated Nov 29 00:32:17 vm-118 kernel: [ 772.426390] sd 2:0:0:2: [sdb] tag#169 CDB: Write(16) 8a 00 00 00 00 00 9d 9e 51 50 00 00 00 08 00 00 Nov 29 00:32:17 vm-118 kernel: [ 772.426393] print_req_error: I/O error, dev sdb, sector 2644398416 Nov 29 00:32:17 vm-118 kernel: [ 772.426472] Buffer I/O error on dev dm-0, logical block 330549546, lost async page write <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

8 16

[TECH] question gestion centralisée d’utilisateurs sur Apple
by Olivier Vailleau 07 Dec '20

07 Dec '20

Bonjour la liste, Nous avons un petit paquet d'ordinateurs Apple utilisés dans un cadre pédagogique avec des élèves (adultes) pour du travail sur les suites Adobe et autres. Nous souhaitons pouvoir gérer ces élèves en tant qu'utilisateurs de façon à ce qu'ils puissent se connecter sur les Mac, via un outil comme ActiveDirectory dans le monde des pc. Apparemment, dans le monde Apple, c'est OpenDirectory. Est-ce que le service "Opendirectory" n'existe qu'à travers un apple server ? Est-ce que les clients Apple sont capables de se connecter à un autre annuaire, genre ActiveDirectory, ou autres annuaires LDAP annexes qu'on peut trouver dans des NAS comme le Directory Service de Synology ? Merci d'avance pour vos réponses, Olivier.

5 4

Re: [FRsAG] Cessation d'activité
by Guillaume Tournat 06 Dec '20

06 Dec '20

Bonjour Ceci peut m’intéresser. Vous pouvez me contacter en privé sur : guillaume (A) ironie.fr Même si je préfère Nginx aujourd’hui à Apache ;-) > Le 6 déc. 2020 à 11:57, Jonathan Leroy | Inikup via FRsAG <frsag(a)frsag.org> a écrit : > > jonathan(a)inikup.com

1 0

Re: [FRsAG] Cessation d'activité
by Guillaume Tournat 06 Dec '20

06 Dec '20

1 0

Re: [FRsAG] cold backup, vous connaissez du "vrai" glacier ?
by Daniel Caillibaud 03 Dec '20

03 Dec '20

Le 02/12/20 à 16h41, Yann Pretot <yann(a)pretot.fr> a écrit : > Hello Daniel, > > AWS fait ça dans Glacier avec les Vault Locks. Tu peux définir une > politique de conservation pour une durée donnée, et tant qu’elle n’expire > pas, rien ni personne ne peut supprimer le contenu de tes archives. > > La FAQ donne un bon premier aperçu du fonctionnement : > https://aws.amazon.com/glacier/faqs/?nc1=h_ls#Vault_Lock Merci Yann. À voir comment implémenter ça coté client, mais ça semble pas si compliqué - créer un coffre-fort https://docs.aws.amazon.com/amazonglacier/latest/dev/creating-vaults-cli.ht… - envoyer dedans des fichiers chiffrés https://docs.aws.amazon.com/cli/latest/reference/glacier/upload-archive.html - verrouiller le coffre-fort https://docs.aws.amazon.com/cli/latest/reference/glacier/initiate-vault-loc… https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-access-policy.ht… https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock-policy.html https://docs.aws.amazon.com/cli/latest/reference/glacier/complete-vault-loc… Reste à voir la gestion de la durée de vie, pas vu si on devait mettre le TTL sur le vault ou sur chaque archive qu'on envoie dedans, mais ça doit pas être si compliqué (dans les exemple trouvés on interdit l'effacement pendant une durée mais ensuite faut le lancer). Sur https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock.html et https://docs.aws.amazon.com/amazonglacier/latest/dev/vault-lock-policy.html ils expliquent comment verrouiller les droits d'accès du vault, mais ça parle pas d'expiration et suppression automatique. Par ailleurs, d'après ce que je comprends, si le propio du compte aws arrête de payer ça supprime tout (mais ça c'est le cas partout). Reste à demander à ceux qui se disent "S3 compliant" s'ils implémentent tout ça (pas sûr, S3 ≠ S3 glacier), et choisir le presta. -- Daniel L’arithmétique, c’est être capable de compter jusqu’à vingt sans enlever ses chaussures. Walt Disney

3 3

Antivirus Raspbian ARM v8
by Hugo SIMANCAS 01 Dec '20

01 Dec '20

Bonjour, Je cherche plusieurs antivirus pour Raspbian ARM v8. Scan de fichier uniquement. une idée hormis ClamAV ? Payant ou non Merci d'avance Hugo Les informations contenues dans ce courrier électronique sont confidentielles et protégées par le secret professionnel. En tout état de cause, elles ne sont destinées qu'à la personne ou entreprise dont le nom est mentionné ci-dessus. Veuillez aviser l'expéditeur de toute difficulté ou de toute erreur dans la transmission de ce document. Si vous n'êtes pas le destinataire du présent courrier, vous n'êtes pas autorisé, sous peine de poursuites à en prendre des copies, le divulguer ou le diffuser. La présence de cette note prouve également que ce message électronique a été vérifié par un logiciel anti-virus.

4 6

Réglages de cette liste
by Daniel Caillibaud 28 Nov '20

28 Nov '20

Salut, Sur le thread ansible j'ai eu un truc bizarre, je n'ai d'abord pas vu les réponses parce que j'étais en To et la liste en Cc, et que le seul mail qui m'est parvenu n'avait pas de header List-Id, c'est normal ? C'est le gestionnaire de liste qui ne reposte pas à un abonné s'il est déjà dans les destinataires ? Je dis ça car je trouvais ça curieux, et c'est la seule liste qui me fait ça (je trie par list-id et en dernier y'a un répondeur qui dit qu'il doit y avoir une erreur d'aiguillage). J'ai changé mes règles, pour ne plus ennuyer ceux qui ont pris la peine de répondre à mes posts, désolé pour les bounces malheureux. -- Daniel L'avenir est un lieu commode pour y mettre des songes. Anatole France

2 1

Pb de vars ansible
by Daniel Caillibaud 27 Nov '20

27 Nov '20

Bonjour, Après avoir hésité pendant des années, je me penche sur ansible (j'ai ~50 conteneurs lxc sur 4 hosts, tout en debian, ça bouge très peu et je gérais ça à la main avec des scripts chargés d'harmoniser). J'y vais doucement car j'ai de l'existant hétérogène et il s'agirait pas qu'une nouvelle task ansible vienne casser un truc qui marche. J'y vais donc progressivement, à partir d'une organisation basée sur les roles, j'ajoute des tasks, je les teste avec du --check puis sans, d'abord sur peu de vm. Si y'a une stratégie meilleure qu'une autre je suis preneur de tout conseil. Concernant les variables j'ai lu pas mal de doc dont https://docs.ansible.com/ansible/2.9/user_guide/playbooks_variables.html https://docs.ansible.com/ansible/2.9/user_guide/playbooks_vars_facts.html https://docs.ansible.com/ansible/2.9/user_guide/playbooks_advanced_syntax.h… https://docs.ansible.com/ansible/2.9/user_guide/complex_data_manipulation.h… avec des filtres tout prêts pour gérer des ips https://docs.ansible.com/ansible/2.9/user_guide/playbooks_filters_ipaddr.ht… puis les conditions https://docs.ansible.com/ansible/latest/user_guide/playbooks_conditionals.h… mais je patauge encore pas mal, par ex avec group_vars/all.yml : ipv4_private: "{{ ansible_all_ipv4_addresses | ipaddr('private') | first | mandatory }}" # attention, celle-là peut être undefined ipv4_public: "{{ ansible_all_ipv4_addresses | ipaddr('public') | first}}" test.yml - name: essais de création de vars dynamiques hosts: mulet tasks: - name: show ipv4 private adress debug: msg: "On a trouvé l'ip privée {{ ipv4_private }}" when: ipv4_private is defined - name: show ipv4 public adress debug: msg: "On a trouvé l'ip publique {{ ipv4_public }}" when: ipv4_public is defined => sur ce host qui n'a qu'une ip privée (et c'est normal), ça me l'affiche bien sur la 1re tâche mais ensuite ça plante avec "msg": "The conditional check 'ipv4_public is defined' failed. The error was: error while evaluating conditional (ipv4_public is defined): No first item, sequence was empty. Et là je vois pas pourquoi :-/ Une idée ? -- Daniel C'est en voulant gagner du temps qu'on le perd. John Steinbeck

4 7

DHCPd : Kea plutôt que isc DHCPd ?
by Nicolas Ecarnot 18 Nov '20

18 Nov '20

Bonjour, Dans une ancienne vie, on avait monté une infra DHCP bien musclée d'un ensemble de paires de failovers, basée sur le vénérable serveur dhcpd d'ISC. Et nous fûmes ravis. Dans ma nouvelle vie, j'envisage de faire de même mais vu que ISC semble avoir placé son énergie sur le dev de Kea, le remplaçant de dhcpd, je voulais savoir si certains d'entre vous l'utilisent, l'éprouvent, et s'il tient ses promesses ? Je ne suis pas particulièrement inquiets en terme de performances, mais plutôt sur le bon fonctionnement général, la _stabilité_, l'évolution au fur des mises-à-jour, le ressenti global (doc, communauté...) Merci à vous. -- Nicolas ECARNOT

2 3

GPO : W10 télécharge tout le dossier scripts ?
by Job 18 Nov '20

18 Nov '20

Bonjour, Nous avons constaté un comportement différent entre W7 et W10 quant à l'application des GPO. Le problème nous a été remonté lors du premier confinement : les utilisateurs W10 voyaient un fort trafic descendant sur le VPN, quand bien même ils ne faisaient rien sur le réseau. Les utilisateurs W7 ne constataient rien d'inhabituel. Après plusieurs recoupements et tests, on s'est aperçu que cela provenait des GPO : à chaque gpupdate, des 100aines de Mo étaient téléchargés. Dans la façon dont les GPO ont été créées : - un .bat et le binaire sont tous les deux chargés dans le dossier de la GPO (\\foret\sysvol\domain\Policies\{GUID}\(Machine|User)\Scripts) - le .bat identifie si l'execution du binaire est nécessaire - si c'est nécessaire, il est appelé via son chemin complet - c'est bien le .bat qui est la cible de l'éxecution de la GPO. Cependant j'ai un gros doute : savez-vous si - c'est uniquement le fichier cible de la GPO qui est téléchargé pour execution sur le poste utilisateur - ou *tout* le contenu des dossiers Scripts\(Logon|Logoff|Startup|Shudown) pour ensuite executer la cible de la GPO J'ai l'impression d'avoir ma réponse rien qu'en posant la question mais je ne trouve pas de réponse claire à ce sujet sur le Technet. Merci, IG -- 232 avenue Napoleon BONAPARTE 92500 RUEIL MALMAISON Capital EUR 219 300,00 - RCS Nanterre B 408 832 301 - TVA FR 09 408 832 301

2 1

Jump to page:

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG