FRsAG

frsag@frsag.org

1 participants
2576 discussions

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 16:06, Aurélien <footplus(a)gmail.com> a écrit : > 2014-09-29 15:53 GMT+02:00 adrien nayrat <adrien.nayrat.axess(a)gmail.com>: >> >> >> La solution serait soit d'augmenter la RAM de la machine soit >> d'augmenter la swap même si elle ne sera jamais utilisée. >> On va revoir quelques check sur notre nagios! >> Merci pour vos retours > > > Mais pourquoi mettre du swap du coup, si tu ne l'utilise pas ? :) > Pour influer sur la du CommitLimit. En fait j'ai dis qu'elle ne sera jamais utilisée grâce à cette sur-allocation. La swap pourrait être utilisée si tous les process se mettaient à bouffer toute la mémoire qu'ils avaient demandé à l'allocation.

6 7

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 15:26, <jean-yves(a)lenhof.eu.org> a écrit : > Le 2014-09-29 12:13, adrien nayrat a écrit : >> >> Bonjour, >> >> J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on >> avait ces messages d'erreurs à la création de process : >> Sep 29 10:42:26 hostname t of memory [13286] > > > > Je suppose qu'il faut lire "Out of memory" ici ? Oui mais c'est cette ligne qui apparait dans les logs. >> >> La machine possède 20Go de ram et en a utilisé la moitié pour le cache. > > > 32 bits ? 64 bits ? > OS ? Version ? > Version de kernel ? 64 Bits, Centos 6.5 kernel : 2.6.32-431.20.3.el6.x86_64 > > ulimit -a sur l'utilisateur qui fait tourner postgresql donne quoi ? core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 159701 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1048560 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 65535 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited > > Cdlt, > > JYL > Le 29 septembre 2014 15:12, Aurélien <footplus(a)gmail.com> a écrit : > > > Hello, > > Et sans swap du tout ? Je pense que si tu commences à mettre ta bdd dans le > swap, tu as un souci non ? > > Je sais qu'on a fini par dégager entièrement le swap de certaines machines > (sql, varnish, etc), et que ça tourne très bien. > > Cordialement, > -- > Aurélien Guillaume > Oui, en fait c'est un peu trompeur cette histoire de swap. Je pense avoir trouvé. Pour info, quand on fait un cat /proc/meminfo Il y a ces deux lignes : CommitLimit: 28887044 kB Committed_AS: 24921056 kB Elles indiquent la quantité de mémoire allouable (CommitLimit en gros : RAM + SWAP)[1] et la quantité allouée (Committed_AS) . Vu qu'on a interdit la sur-allocation (overcommit=2) Committed_AS ne peut être supérieur à CommitLimit.[2] Quand on fait un free -m, c'est assez trompeur, la commande indique la mémoire utilisée et non la mémoire allouée. Sur une même machine au même moment : free -m total used free shared buffers cached Mem: 24086 19908 4177 0 227 8021 -/+ buffers/cache: 11660 12426 Swap: 5327 0 5327 cat /proc/meminfo CommitLimit: 28887044 kB Committed_AS: 25343012 kB On pense avoir 12Go de libre alors qu'on a 28887044 -25343012 => 3Go de libre! La solution serait soit d'augmenter la RAM de la machine soit d'augmenter la swap même si elle ne sera jamais utilisée. On va revoir quelques check sur notre nagios! Merci pour vos retours [1] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen… [2] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen…

1 0

Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Bonjour, J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on avait ces messages d'erreurs à la création de process : Sep 29 10:42:26 hostname t of memory [13286] La machine possède 20Go de ram et en a utilisé la moitié pour le cache. Petite subtilité, les paramètres mémoire ont été "tuné". Afin d'éviter la sur-allocation (et de risquer un kill de process par le OOM killer) : vm.swappiness = 10 vm.overcommit_memory = 2 vm.overcommit_ratio = 95 https://www.kernel.org/doc/Documentation/vm/overcommit-accounting Normalement la machine autorise l'allocation de 95% de la RAM + swap et ne commence à swapper qu'en dernier recours. Voici ce que donne free -m au moment des erreurs. free -m total used free shared buffers cached Mem: 19990 19797 192 0 133 9299 -/+ buffers/cache: 10363 9626 Swap: 5327 0 5327 Je suis surpris par le fait que linux n'a pas libéré la mémoire "cached" ni utilisé le swap? La ligne "-/+ buffers/cache:" indique pourtant qu'il y a plus de 9Go de disponible. Dans l'urgence on stoppé les erreurs en ajoutant de la ram à chaud (vmware). Any idea?

3 6

Machine Learning: retours d'expérience
by Greg 28 Sep '14

28 Sep '14

Bonjour, est-ce que parmi vous certains aurait expérimenté ou mis en place des architectures de machine learning ? Le domaine est assez vaste, et intéressant, et je pense qu'un retour d'expérience en environnement professionnel pourrait intéresser les membres de ce groupe. Attention, je ne suis pas à la recherche de tuto pour savoir comment installer Apache Storm, mais de vrais retours d'expériences: par où commencer, quelles erreurs éviter, dans quel cas utiliser tel ou tel techno, comment l'intégrer à une architecture existante ... Un grand merci d'avance aux contributeurs ;) Greg

2 3

Une offre de job pour vos membres ? :-)
by Sarah le Bechennec 28 Sep '14

28 Sep '14

Bonjour ! Je travaille pour la société Oodrive et mes collègues ont grand besoin dun Administrateur Systèmes et Réseaux expérimenté (avec environ 3 à 5 ans dexpérience). Est-ce possible de poster mon annonce sur votre Groupe ? Vos membres peuvent menvoyer leurs candidatures à s.lebechennec(a)oodrive.fr Lannonce complète est copiée collée ci-dessous ; je peux changer le format si besoin. Un grand merci par avance ; nhésitez pas à mappeler si besoin. Bien à vous , Sarah Sarah Le Bechennec Chargée du Recrutement oodrive T : +33 (0)1 46 22 88 70 F : +33 (0)1 46 22 91 10 26, rue du Faubourg Poissonnière 75010 Paris - France Pour suivre l'actualité d'oodrive Twitter <http://twitter.com/#!/oodriveofficiel> Facebook <http://www.facebook.com/pages/Oodrive/158807010863141> Viadeo <http://www.viadeo.com/groups/?containerId=0021j1nthx14sm2g> Linkedin <http://www.linkedin.com/company/oodrive/products?trk=tabs_biz_product> Administrateur Systèmes et Réseaux Ø Entreprise OODRIVE Editeur de logiciels créé en 2000, pionnier du mode SaaS (Software as a Service) en France, le Groupe Oodrive est lun des leaders européens des fournisseurs de services sécurisés de gestion de fichiers en ligne à destination des entreprises : * La gamme AdBackup, solutions de sauvegarde en ligne n°1 en Europe * PostFiles et iExtranet, solutions de partage de fichiers en ligne * La gamme Omnikles, solutions de dématérialisation des appels d'offres * La gamme CertEurope, solutions de e-confiance * AirShip et Virtual Browser, solutions de navigation cloud. Les solutions Oodrive sont utilisées aussi bien par les TPE, PME que par les grands comptes (plus de 70% des sociétés du CAC 40 sont équipées dune solution Oodrive) issues de nombreux secteurs dactivité (industrie, BTP, médias et communication, services, luxe, service public, conseil, finance, juridique). Oodrive développe également des applications pour le grand public dans le cadre de partenariats stratégiques avec des acteurs européens majeurs de la distribution (Fnac, Darty, Auchan, Orange, NordNet, The Phone House, La MAAF). Pour chaque enseigne Oodrive développe des services spécifiques de télé-sauvegarde, stockage et partage de fichiers en ligne proposés le plus souvent dans des offres packagées à destination des particuliers. Aujourd'hui implanté en France, en Belgique, en Espagne, en Allemagne, en Suisse, en UK, au Brésil et en Chine, Oodrive compte 14 500 clients professionnels et plus dun million dutilisateurs à travers plus de 90 pays. Ø Poste et missions Au sein de l'équipe IT (10 pers), vous travaillerez dans un environnement technique de production, complexe et à haute disponibilité. Vous serez amené à intervenir: - sur les différentes infrastructures IT du Groupe (Oodrive, Certeurope ...) présentes dans 5 pays et 8 Datacenters. - sur l'installation, la configuration, la gestion de nos serveurs physiques (env.200) et différents types d'hyperviseur. - sur des baies de stockage cumulant plusieurs Péta octets de données - dans le processus de publication et de mise à jour de nos applications - pour assurer la sécurité de nos infrastructures IT selon les alertes de sécurité et nos différents audits - pour assurer le monitoring d'infrastructures critiques (Via Nagios) et leur maintien en condition opérationnelle - sur la rédaction de la documentation, création et suivi des tickets d'incident (ITIL/ISO 27001) Ø Profil : Pour vous assurer une bonne intégration, vous devez disposer : - d'une expérience confirmée chez un éditeur SaaS - de très bonnes connaissances sur : § Les OS Linux (Debian, RedHat) § Les serveurs webs Apache/Tomcat § le scripting Shell - de bonnes connaissances sur l'administration : § des hyperviseurs Esx et Proxmox (kvm) § des bases de données MySQL, PostgreSQL § d'NFS - de connaissances : § En déploiement à grande échelle via Puppet § En firewalling (Netfilter/Iptables, Fortinet) § en load balancing Mais surtout, vous êtes un(e) passionné(e) rigoureux(se) et aimez travailler en équipe. Merci de menvoyer votre CV à s.lebechennec(a)oodrive.fr Sarah Le Bechennec Chargée du Recrutement oodrive T : +33 (0)1 46 22 88 70 F : +33 (0)1 46 22 91 10 26, rue du Faubourg Poissonnière 75010 Paris - France Pour suivre l'actualité d'oodrive Twitter <http://twitter.com/#!/oodriveofficiel> Facebook <http://www.facebook.com/pages/Oodrive/158807010863141> Viadeo <http://www.viadeo.com/groups/?containerId=0021j1nthx14sm2g> Linkedin <http://www.linkedin.com/company/oodrive/products?trk=tabs_biz_product>

7 12

Nginx et expiration du cache
by Julien Escario 26 Sep '14

26 Sep '14

Bonjour, Malgré pas mal d'essais et de recherches, je n'arrive pas à outrepasser mon problème. Je m'explique : J'ai configuré un nginx en reverse proxy devant un apache. Basique me direz-vous. Dommage de ne faire que ça, du coup, je rajoute du cache et pour tester, je mets une validité de mon cache très faible : proxy_cache_valid 10s; Donc normalement, si je change un fichier test.png à la racine du site, au bout de 10 secondes, il devrait me servir la nouvelle version non ? J'ai probablement loupé quelque chose sur le fonctionnement de ce truc mais je ne trouve pas d'autre paramètre en rapport avec cette fonction. Une idée ? Merci d'avance, Julien

7 11

[HS] Gestion documentaire technique
by r2r＠altern.org 25 Sep '14

25 Sep '14

Bonjour La liste, Petite question un peu hors sujet du matin, quel système utilisez vous pour la gestion documentaire technique (procédure, documentation installation,...) ? Utilisez-vous un simple blog, un wiki, un outil comme GLPI, ou encore un simple fichier texte lié à un outil de versionning ? Merci de vos retours. r2r.

18 21

TESTS PERFORMANCE IO DISQUE
by Jerem 22 Sep '14

22 Sep '14

Bonjour la liste :D Dans le cadre de mon travail je suis souvent amener a mettre en place des solutions de stockage et je cherche a mettre en place des procedures de tests pour mesurer les performances de nos baies. Je voudrais standardiser cette procedure pour nos rapports d’interventions. Sur les systèmes *NIX on fait généralement des tests a l’aide de Bonnie++ ou DD - Connaissez vous d’autres outils ou méthodes qui pourrait être intéressantes? Sur les systèmes windows? Windows Performance Monitor? Ya t’il d’autres outils auxquels vous pensez qui pourraient m’être utile? Merci d’avance pour votre aide, Jeremy

5 4

[ANN] Offre d'emploi - Admin sys expérimenté tendance Devops – Paris 2ème.
by Frederic de Villamil 15 Sep '14

15 Sep '14

Hello, Partant sous d’autres cieux pour un nouveau challenge, je suis à la cherche de mon remplaçant. Projet, challenges et équipe technique très sympas dans un somptueux hotel particulier du second arrondissement de Paris. Si vous avez des questions, n’hésitez pas à me les poser en privé. Bonne soirée Fred Sysadmin / Devops Engineer CDI à pourvoir immédiatement À Paris au 8 rue Saint Fiacre Notre société Que savez-vous vraiment de votre site web ? Notre ambition, c’est de répondre à cette question en créant des produits et des services innovants que les managers d’audience vont adorer. Botify est un service d’analyse de la performance de votre site web, qui aide des milliers d’utilisateurs de par le monde à gagner de nouveaux prospects et clients. Nous sommes basés à Paris, nous fonctionnons en autofinancement et nous sommes en forte croissance. Notre challenge quotidien est de traiter des quantités de données impressionnantes pour fournir de meilleures métriques aux managers d’audience. Nous connaissons la réalité derrière les mots Big Data et service Cloud. Nous sommes une petite équipe qui travaille dans un environnement collaboratif où chacun peut avoir un impact important sur le produit et sur la culture d’entreprise. Nous cherchons des gens malins et créatifs qui se donneront à 100%. En échange, nous proposons un salaire attractif et un environnement de travail formidable au coeur de Paris. Vous cherchez un nouveau challenge plein d’opportunités ? Vous n’avez pas peur de la nouveauté ? Nous voulons vous rencontrer ! Votre rôle Vous êtes responsable de la mise en place, de l'évolution et de la maintenance des plate-formes. Vous améliorez en permanence les processus et les outils de déploiement afin de simplifier et d’automatiser au maximum les déploiements, d’en réduire les délais et de garantir leur fiabilité. Dans cet objectif, vous êtes en charge de sélectionner de nouveaux outils et de mettre en place de nouvelles approches. Vous effectuez le packaging et les déploiements à la demande. Vous mettez en place une infrastructure de déploiement continu afin d'améliorer leur fiabilité. Vous administrez et monitorez les systèmes. Vous mettez en place les composants nécessaires à une bonne planification des besoins à venir. Dans ce cadre, vous surveillez l'évolution des coûts de la plate-forme et êtes force de proposition pour maintenir les coûts d'infrastructure dans les limites de son usage. Vous êtes responsable de la sécurité de la plate-forme. Vous appliquez les mises à jour de sécurité tout en garantissant la disponibilité et la fiabilité des systèmes, des données et des applications. Vous proposez et mettez en place les politiques de sécurité appliquées aux systèmes d'information. Vous participez au processus de recherche et développement. Vous faites évoluer l'infrastructure en fonction des besoins produit et intégrez les nouveautés dans l'écosystème existant en veillant à l'homogénéité des versions d’OS et de composants. Vous participez au Support Client en vérifiant quotidiennement le bon déroulement des batchs nocturnes, et en les dépannant en lien avec le reste de l'équipe Botify. Vos compétences • Administration système Linux (une connaissance d'AWS est un plus appréciable) • Outils d’automatisation de déploiement (Puppet, Ansible, intérêt pour de nouvelles approches par exemple Docker) • Outils de monitoring et de métrologie (Nagios, Collectd, Ice) • Scripting (Bash, Python) • Packaging Debian / Python • Sécurité système et applicative • Bon niveau d’anglais oral et écrit • Première expérience réussie en administration de systèmes Vos qualités personnelles A côté des compétences, nous recherchons un esprit ouvert avec lequel nous pourrons avancer et collaborer. • vous avez un sens aigu de la qualité de service et du ressenti utilisateur • vous prenez des initiatives • vous êtes curieux et aimez prendre en charge des nouveaux sujets • vous aimez interagir avec l’équipe de développement • vous êtes fiable, rigoureux et pragmatique • vous savez hiérarchiser les tâches et rester focalisé sur les priorités • un environnement où tout va très vite ne vous fait pas peur Date de démarrage : ASAP Package : Salaire attractif, selon expérience (à partir de 50 KE) Un environnement de start-up avec des bureaux très sympas au coeur de Paris. Des clients fantastiques, parmi les top leaders de leur domaine en Europe (Dailymotion, Viadeo, Aufeminin, Hotel.com, etc). Une opportunité formidable de prendre part à l'aventure d'une start-up en forte croissance.

2 2

Recherche SDK NetApp fpolicy
by Frédéric VANNIÈRE 15 Sep '14

15 Sep '14

Bonjour, Je cherche un SDK netapp pour analyser en temps réel les modifications apportées sur le stockage de mon hébergement mutualisé. J'ai plusieurs sites Wordpress ou Joomla qui se font hacker tous les jours et j'aimerai les capter avant qu'ils n'envoient du SPAM. Le fichier a comme nom : FPolicy_SDK_v7.3.?.zip Je suis aussi preneur si il y a une autre solution. Frédéric.

3 2

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG