Bienvenue sur PEBKAC.fr, le site qui recense les anecdotes où l’on se moque des utilisateurs ne maîtrisant pas l’outil informatique. PEBKAC est un acronyme signifiant « Problem Exists Between Keyboard And Chair ».
Le problème se situe entre la chaise et le clavier : soumettez vos histoires, donnez votre avis !
Ce site n'est pas le site original pebkac.fr. Je publie ici la liste des PEBKAC que j'ai pu sauvegarder avant que le site original ne soit mis hors ligne.
Se connecter | Aléatoire | Soumettre
Dans le cadre d'un projet auquel j'ai participé, nous travaillions sur une application Web censée en remplacer une autre, devenue vieille, lourde et obsolète. Pour ce faire, il nous a été demandé d'analyser les logs d'un mois de l'ancienne application (multilingue, et très utilisée) afin d'anticiper la charge des requêtes et optimiser au mieux la répartition sur les serveurs.

Quelle est donc la meilleure façon de procéder pour fournir ces logs ? Et bien évidemment, fusionner tous les fichiers du mois dans le désordre, en un seul et unique gros fichier de 42 Go.

Le tout a été compressé pour ne plus faire que 4 Go, mais tout de même. PEBKAC.
PEBKAC #9202 proposé par mini le 01/01/2014 | 27 commentaires | 👍🏽 👎🏽 +174
42Go de log dans un seul fichier en vrac, dans le genre inexploitable on est pas trop mal là...
En plus sérieusement, si c'est pour compresser après, ça change quoi de tout foutre dans un dossier ? u_u
(ou l'art de se compliquer la vie pour des prunes, surtout que à part en ligne de commande tu les charges pas comme ça les 42go de texte...)
Commentaire #124132 écrit par blag le 01/01/2014 à 17h39 | 👍🏽 👎🏽
Champagne et bonne année : blag a posté ici le 100.000ème commentaire sur PEBKAC.
C'est ma tournée !
Commentaire #124136 écrit par Clem le 01/01/2014 à 18h22 | 👍🏽 👎🏽
100'000, déjà ? o_o'

Bonne année !

... Je reprendrais bien un peu de champagne ...
Commentaire #124138 écrit par Milleuros le 01/01/2014 à 18h29 | 👍🏽 👎🏽
100.000ème commentaire? Il a gagné quoi ?? ^^
Commentaire #124139 écrit par Morrock le 01/01/2014 à 18h30 | 👍🏽 👎🏽
/ô/
Bonne année à toi aussi Clem !
Commentaire #124140 écrit par blag le 01/01/2014 à 18h32 | 👍🏽 👎🏽
Bonne année Clem' :)
Commentaire #124143 écrit par Ishido le 01/01/2014 à 18h37 | 👍🏽 👎🏽
Bah buvez sans moi, je vais aller me faire une tisane... J'ai encore deux grammes dans chaque ongle, j'ai connu des jours meilleurs...
Mais sinon oui, déjà 100K commentaires :) sympa que ça tombe le 01/01.
Blag a gagné sa place dans le grand Historique de PEBKAC :-D
Commentaire #124144 écrit par Clem le 01/01/2014 à 18h43 | 👍🏽 👎🏽
Sans blague ?!
Commentaire #124152 écrit par Siggy le 01/01/2014 à 20h33 | 👍🏽 👎🏽
Blagues à part, bonne année à tous /o/
Commentaire #124156 écrit par Noname le 01/01/2014 à 20h41 | 👍🏽 👎🏽
Il est ou le PEBKAC ?

Que c'était fourni en texte ? quand on ne sait pas ce que le destinataire va en faire, c'est certainement un meilleur choix qu'un format de db spécifique qui risque de ne pas coller.

Que les fichiers étaient fusionnés ? Que les mois étaient dans le désordre ? un sysadmin vaguement compétent mettra 5 minutes a les redécouper ou a les retrier à coups de sed/awk/sort/perl.
Commentaire #124165 écrit par b0fh le 01/01/2014 à 22h38 | 👍🏽 👎🏽
En plus de tomber le 01/01, ce 100 000 ème commentaire comporte deux fois le nombre 42 ; c'est un signe !
Les auspices sont favorables au site !
Bonne année à tous !
Commentaire #124167 écrit par M. TVLLIVS le 01/01/2014 à 22h49 | 👍🏽 👎🏽
WOW 100.000 ça fait beaucoup
voila captain obvious!
SBAF! ah non en fait
Commentaire #124168 écrit par jorgito93 le 01/01/2014 à 22h54 | 👍🏽 👎🏽
Et encore moins en les remontant dans l'outil d'analyse qu'il va utiliser/créer ! Je ne vois ici aucun problème (le P de PEBKAC...)
Commentaire #124174 écrit par Mr P. le 01/01/2014 à 23h24 | 👍🏽 👎🏽
Pour pouvoir se balader à travers beaucoup de texte, Vim s'en sort pas trop mal...
Commentaire #124180 écrit par triman le 02/01/2014 à 00h12 | 👍🏽 👎🏽
Et Vim est un utilitaire en ligne de commande, on en revient au fait que tu manipule pas 42go de texte dans un fichier monolithique sans avoir un minimum de compétence, donc le créateur de cette aberration a quand même forcé la dose... :P
Commentaire #124181 écrit par blag le 02/01/2014 à 00h54 | 👍🏽 👎🏽
La dernière fois que je m'en suis servi c'est sous Windows sous forme graphique (ok, j'aurais pu préciser Gvim dans ce cas...), donc oui, il existe en dehors de la ligne de commande.
Après, c'est clair qu'analyser un fichier de cette taille (surtout quand on ne sait pas précisément ce qu'on cherche comme semble l'indiquer le PEBKAC) c'est du suicide.
Commentaire #124182 écrit par triman le 02/01/2014 à 01h04 | 👍🏽 👎🏽
On les a bien redécoupés et triés. Et non, ça n'a pas pris 5 min ...
Commentaire #124188 écrit par mini le 02/01/2014 à 01h57 | 👍🏽 👎🏽
Champagne !
Commentaire #124191 écrit par caus909 le 02/01/2014 à 02h59 | 👍🏽 👎🏽
"pas 5 minutes" dans le sens "C'était tellement le bordel qu'on a du trier ça plus ou moins à la mano" ou dans le sens "le fichier était tellement gros que l'exécution de la commande de tri a duré 2 heures" ?
Commentaire #124231 écrit par ROB le 02/01/2014 à 10h11 | 👍🏽 👎🏽
Un détail technique m'intringue... Il se passe quoi lors d'une compression d'un chiée de texte? Par de perte? alors où sont les gains de place? les lettres font toujours le même poids, où il y a un nouveau codage de calculé, et dans ce cas, dès qu'on modifie le fichier faut re-compresser?
Commentaire #124234 écrit par o4b le 02/01/2014 à 10h32 | 👍🏽 👎🏽
Seconde option.
Commentaire #124248 écrit par mini le 02/01/2014 à 12h58 | 👍🏽 👎🏽
mini a écrit : "...une application Web censée en remplacer une autre, devenue vieille, lourde et obsolète..."

La devise des services marketing : qui veut noyer son chien l'accuse de la rage (XIIIème siècle)
Commentaire #124288 écrit par co2 le 02/01/2014 à 20h24 | 👍🏽 👎🏽
Et si vous utilisiez des technologies moins vieilles..? Parce que que les logs soient triés ou pas, n'importe quelle technologie un peu récente se rit de 42go de données à trier... A remonter dedans c'est un peu long peut-être, mais ça, que ce soit trié au départ ou pas ne change rien...
Commentaire #124304 écrit par Mr P. le 03/01/2014 à 00h21 | 👍🏽 👎🏽
Euh, sans doute, mais ça n'a rien de notre cœur de métier ou d'une habitude.
De plus, on me file le fichier, je le trie sur mon bon vieux W7 des familles (dual core, ça fait plus badass).
Rien à voir avec une machine de guerre.
Commentaire #124331 écrit par mini le 03/01/2014 à 20h59 | 👍🏽 👎🏽
Et si tu ouvres la bête, et que tu constates que c'est tout pourri, tu en conclus quoi ? On remplace pièce par pièce, ou on refait ?
Commentaire #124333 écrit par mini le 03/01/2014 à 21h00 | 👍🏽 👎🏽
Un algo relativement utilisé pour faire de la compression sans perte est celui de Huffman (http://fr.wikipedia.org/wiki/Codage_de_Huffman). En gros, il se base sur le nombre d'occurrences de chaque caractère (dans le cas du texte). En gros si 'a' apparaît 1000 fois et 'b' seulement une seule, 'a' sera codé sur moins de bits que 'b' ce qui permet de réduire le nombre de bits total du fichier... Après il y'a plein d'autres altos, mais celui là permet de comprendre un peu une des façons de faire pour éviter les pertes.
Commentaire #124345 écrit par triman le 05/01/2014 à 04h02 | 👍🏽 👎🏽
Tu est allé voir l'appli web en question? Qui te dit que ca n'est pas une antiquité qui remonte à IE6 avec des gros morceaux d'ActiveX dedans?
Commentaire #124347 écrit par lionnel le 05/01/2014 à 17h36 | 👍🏽 👎🏽