Loading
Derniers sujets
Test de wordclock
Page 2 sur 3 • Partager •
Page 2 sur 3 • 
1, 2, 3 
Re: Test de wordclock
par Benj le Dim 08 Nov 2009, 15:46
J'arrive un peu tard dans le bouzin, mais je peux fournir ma Rosendhal nanoclock si ça vous branche, si je ne suis pas dispo et en voyage avec, faudra juste venir la chercher chez moi.
Benj- Membre du Collectif
- Partage: 76
Re: Test de wordclock
par mister o le Dim 08 Nov 2009, 15:49
Merci de ta proposition Benj, mais j'espère bien que tu seras avec nous pour le test. 
_________________
"Dans le son, les règles sont là pour être transgressées. Votre oreille est seule juge et le bon goût votre avocat"
mister o- Moderateur Global
- Partage: 2236
-
Re: Test de wordclock
par madees le Jeu 03 Déc 2009, 21:12
Je reproduis ici un article un peu long mais fort intéressant lu sur le forum homecinema-fr.com:
Oui, il existe un outil de mesure applicable à tous les tweaks (bidouilles, modifications ou bricolages) audio ! Il s'agit du test en double aveugle (dit aussi test ABX), lorsqu'il est accompagné d'une analyse statistique rigoureuse permettant d'évaluer la pertinence des résultats obtenus par les sujets du test.
On se pose ici la question de savoir si un facteur donné : câble, pied d'enceinte, etc, a un effet ou non sur le son, sans pour l'instant se préoccuper de savoir si cet effet est bénéfique.
Un test de type ABX peut nous donner une réponse.
Dans ce test, l'auditeur se voit présenter trois sources. A et B sont les références. Il s'agit de la chaîne hifi avec et sans le tweak. X est la source cachée. Il peut s'agir de A ou de B, c'est à l'auditeur de le deviner en comparant X à A et à B.
Seulement si l'auditeur dit que "X est A", et que c'est effectivement A, qu'est-ce que ça prouve ?
Rien, bien sûr ! Si vous tirez à pile ou face dans mon dos, et que j'affirme que c'est face, et que je gagne, cela ne démontre pas l'existence de mes dons para-psychiques qui me permettent de voir dans mon dos. C'est juste un coup de chance, rien de plus !
C'est pourquoi une analyse statistique est nécessaire.
Imaginons qu'après que l'auditeur ait donné sa réponse, on recommence le test, en tirant X au sort à nouveau, 15 fois. Si l'autiteur donne la bonne réponse seize fois au total, qu'est-ce que cela prouve ? Est-ce que cela peut être un coup de chance ?
Oui, c'est possible, et on peut calculer la probabilité pour que cela se produise. A chaque test, il y a une chance sur deux d'obtenir la bonne réponse, et on fait seize tests indépendant. La probabilité d'avoir tout bon par hasard est donc de 1/2^16, soit 1/65536.
Autrement dit, si aucune différence n'est audible, l'auditeur aura tout bon une fois sur 65536 en moyenne.
On peut donc choisir le nombre d'essais à réaliser en fonction du tweak testé. Le but étant d'obtenir une probabilité de succés inférieure à la vraisemblance du tweak.
Par exemple, si on compare deux amplis, il est probable qu'ils n'aient pas le même son. On peut se contenter de répéter le test 7 fois. Il y aura une chance sur 128 d'obtenir un "faux succès". En statistique, on appelle les "faux succès" des "erreurs de type I". Plus on répète le test un grand nombre de fois, plus on élimine le risque d'erreurs de type I.
Si maintenant on place une amulette porte bonheur à côté du lecteur de CD. Il n'y a aucune raison pour que cela change le son. On peut alors répéter le test 40 fois. La probabilité de succès est alors de un sur mille milliards ! Si jamais cela arrive, il y a forcément une explication : l'auditeur entend l'opérateur déplacer l'amulette, ou alors l'opérateur met toujours plus de temps à lancer la lecture après avoir rangé l'amulette... ou bien l'auditeur perçoit une différence d'éclairage à travers ses paupières si c'est une grande amulette sombre, ou bien il perçoit son odeur lorsqu'elle est posée vers le lecteur...
On note p la probabilité d'obtenir un succès par hasard. On considère généralement qu'un résultat dont la valeur p est inférieur à 0.05 (un sur vingt) est à prendre au sérieux, et que p < 0.01 (un sur cent) est un résultat tout à fait positif. Il faut toutefois nuancer en fonction du contexte. On a vu que pour des tweaks invraisemblables, comme l'amulette, il est nécessaire d'obtenir un p vraiment très petit, parce que qu'entre la probabilité pour que l'amulette fonctionne (disons un sur un milliard, par exemple) et la probabilité de réussir par hasard (on choisir souvent un sur cent), le choix est vite fait : le test a réussi par hasard !
Autre exemple où les nombres nous trompent, si on teste 20 câbles, un par un, pour savoir s'ils ont un effet sur le son, et si on considère que p < 0.05 est un succès, alors, dans le cas où aucun câble n'a d'effet sur le son, puisqu'on fait 20 tests, il faut quand même s'attendre en toute logique à avoir environ un succès dû au hasard parmi les 20 tests ! Dans ce cas de figure, on ne peut absolument pas dire que le câble en question colore le son avec une probabilité de 95 %, même si sa valeur p est inférieur à 5 %, puisque de toutes façons, on attendait ce résultat. Le test a échoué, tout simplement.
Mais les analyses statistiques ne se limitent pas à une simple puissance de 2. Si par exemple on obtient 14 bonnes réponses sur 16, que se passe-t-il ? Eh bien on peut parfaitement calculer la probabilité que cela se produise, mais attention, ce qu'il nous faut, c'est la probabilité d'avoir non pas exactement 14/16, mais au moins 14/16, c'est à dire la probabilité d'avoir 16/16, plus celle d'avoir 15/16, plus celle d'avoir 14/16.
Une table Excel donne toutes les probabilités dont nous avons besoin : http://www.kikeg.arrakis.es/winabx/bino_dist.zip Elle se base sur une simple distribution binômiale.
A présent, comment mettre en oeuvre le test d'écoute, afin que son résultat, s'il est positif, soit vraiment convaincant ? Il y a de nombreuses règles à respecter, si vous ne voulez pas en cas de succès voir tous vos détracteurs vous rire au nez, et avec raison.
Règle numéro 1 : il est impossible de prouver que quelque chose n'existe pas. La charge de la preuve est du côté de celui qui affirme entendre une différence.
Si vous pensez qu'un câble colore le son, à vous de le prouver en réussissant le test. Quelqu'un qui prétend que les câbles n'ont pas de son ne peut rien prouver.
2. Le test doit être réalisé en double aveugle.
C'est la condition la plus difficile à remplir. Simple aveugle signifie que vous ne pouvez pas savoir si X est A ou B autrement qu'en l'écoutant. Double aveugle signifie que personne dans la pièce ou dans l'environnement immédiat ne peut savoir si X est A ou B, afin d'éviter toute influence possible, même inconsciente, sur l'auditeur. Cela complique realitivement les manipulations. Une tierce personne peut guider l'auditeur qui a les yeux bandés en dehors de la pièce pendant que la manipulation est effectuée. Des circuits commutateurs de très haute qualité ont été mis au point pour effectuer des tests ABX en double aveugle ( http://sound.westhost.com/abx-tester.htm ) : un microprocesseur tire X au sort, et une télécommande permet alors de le comparer à A et B à volonté.
3. Les valeurs de p données dans la table indiquée plus haut ne sont valables que si les deux conditions suivantes sont remplies :
-L'auditeur ne doit pas avoir connaissance de ses résultats, sauf si le nombre total de réponses est imposé avant le test.
...Sinon, il suffirait de regarder après chaque réponse son score, et de continuer jusqu'à ce que la valeur de p baisse par hasard.
-Le test est effectué pour la première fois. Et si ce n'est pas le cas, tous les résultats précédents doivent être pris en compte dans le calcul du total.
Sinon, il suffirait de recommencer la série de tests autant de fois que nécessaire pour obtenir, par hasard, une valeur de p aussi petite que souhaitée.
Corollaire : ne donnez que des réponses dont vous êtes absolument certain ! Si vous avez le moindre doute, ne répondez rien. Prenez votre temps. Faites des pauses. Vous pouvez interrompre le test et continuer les essais suivants un autre jour, mais surtout, n'essayez jamais de deviner "à l'intuition". Si vous vous trompez, vous n'aurez plus jamais l'occasion de refaire le test, car on pourra toujours vous accuser de faire dire aux nombre ce que vous voulez, en "recommençant jusqu'à ce que ça marche" !
Bien sûr vous pouvez vous entraîner autant de fois que vous voulez pour de faux, à condition de le décider fermement avant. Si vous décidez que vous faites un test blanc pour vous exercer, et que vous avez 50/50, puis que vous ne parveniez plus à reproduire ce résultat, tant pis ! Les résultats des tests d'entraînement sont à jeter à la poubelle quels qu'ils soient, et les résultats des tests réels sont à conserver quels qu'ils soient.
Encore une fois, si vous prenez tout le temps nécessaire, fut-ce une semaine d'efforts pour une seule réponse, pour obtenir un résultat positif du premier coup, votre succès sera mathématiquement indiscutable ! Seul votre installation hifi ou vos conditions de mise en aveugle pourront être contestés. Si par contre, en toute bonne foi, vous recommencez un test ayant échoué parce qu'il y avait trop de bruit lors de la première fois, ou parce que votre cable secteur a amélioré votre son depuis lors, vous pouvez être sûrs qu'il y aura toujours quelqu'un pour venir contester votre résultat au nom des lois de l'analyse statistique. Vous aurez fait tout ce travail en vain.
4. Le test doit être reproductible
N'importe qui peut publier des résultats mensongers. Par exemple si une personne vend des bibelots destinés à améliorer le son, genre de l'huile dont il faut enduire les boîtes des CD, ou la gaine des câbles, il peut très bien prétendre avoir réussi un test ABX douible aveugle avec p <0.00001, ne serait-ce que pour faire parler de son produit.
Si une personne réussit le test, d'autres doivent vérifier si c'est possible, en le réussissant à leur tour.
Nous avons vu ce que c'est qu'un test ABX avec le calcul de probabilité associé, qui est parfaitement adapté au test de trucs et astuces en hifi. Mais il ne s'agit que du B-A BA des tests statistiques.
Par exemple pour comparer la qualité des compresseurs MP3 et autres, on utilise dans les tests à plus grande échelle le principe ABC/HR (voir http://ff123.net/abchr/abchr.html ), qui est bien plus perfectionné : on présente à chaque auditeur une paire de curseurs avec trois boutons pour chaque codec audio à évaluer. A et B sont l'original et le fichier encodé. L'auditeur ignore lequel est lequel. C est l'original qui sert de référence. Il doit donner à l'aide des curseurs une note de 1 à 5 pour A et B, l'original devant logiquement être noté 5.
Un calcul de probabilité permet alors non seulement de savoir si le codec dégrade le son de façon audible, mais également d'évaluer la qualité des codecs pour l'échantillon d'auditeurs ayant participé, et ce, toujours en aveugle, et toujours avec un calcul de probabilité permettant dévaluer la pertinence des résultats. Ces calculs, suivant ce que l'on souhaite obtenir, peuvent être réalisés par la méthode de Friedmann, par exemple ( http://www.graphpad.com/articles/interpret/ANOVA/friedmans.htm ), qui privilégie le classement des échantillons testés sur un podium, ou encore ANOVA ( http://www.psychstat.smsu.edu/introbook/sbk27.htm ), qui indique mieux la qualité subjective perçue par les auditeurs sur l'échelle de 1 à 5.
Notez que ce genre d'analyse statistique est principalement utilisé en médecine, et que pour obtenir une autorisation de mise sur le marché en France, tout médicament doit faire la preuve de son efficacité en double aveugle (le médecin ignore s'il prescrit un placebo ou une vraie molécule), contre placebo (le médicament doit non seulement prouver qu'il agit, mais aussi qu'il agit mieux qu'un placebo, car un placebo seul agit), et le verdict est donné par des analyses telles que celles qu'on vient de voir. Il ne s'agit donc pas de méthodes inventées sur le pouce pour faire des tests en hifi. Il s'agit bien de méthodes universellement utilisées en recherche scientifique, et elle restent entièrement valables en hifi.
Liens vers des tests ABX sur le Web - dernière mise à jour : 08/04/2006
---------------------------------------------------------------
La partie listening tests du forum Hydrogenaudio :
http://www.hydrogenaudio.org/forums/index.php?showforum=40
LE forum objectiviste de langue anglaise, énormément de tests à faire tout seul avec le module abx de foobar
Définition des tests ABX :
http://www.hydrogenaudio.org/forums/index.php?showtopic=16295
en français > http://www.homecinema-fr.com/forum/viewtopic.php?t=29750372&start=15#168246580
Construire un commutateur ABX (en anglais) :
http://sound.westhost.com/abx-tester.htm
Nombreux tests ABX (enceintes, sources, câbles ...) :
http://www.provide.net/~djcarlst/abx_new.htm
Tests ABX (en espagnol) :
http://www.matrixhifi.com/pruebasciegas.htm
S'initier aux tests ABX avec un PC (en anglais) :
http://www.pcabx.com/
Test en double aveugle de câbles de modulation (en français) :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29786006&postdays=0&postorder=asc&start=240#168903915
Tests ABX de câbles secteurs (en anglais) :
http://www.hometheaterhifi.com/volume_11_4/feature-article-blind-test-power-cords-12-2004.html
http://mysite.wanadoo-members.co.uk/hificabletest
Tests ABX de câbles secteurs , écoutes sur le long terme (en cours d'éxécution ) :
http://www.hifiwigwam.com/forum1/1614.html
Test ABX entre deux amplificateurs ( conclusion intéressantes sur le couple enceintes/ampli) :
http://www.soundandvisionmag.com/assets/download/AmpSpekerInterface.pdf
Tests menteurs (tests où l'on fait croire à certains changements sans qu'ils existent) en anglais :
____ John Dunlavy et les câbles d'enceinte :
http://www.nytimes.com/library/tech/99/12/circuits/articles/23down.html
____ Amplificateurs (Bryston contre Onkyo) :
http://www.diyaudio.com/forums/showthread.php?s=&threadid=12752
Mesures et test ABX de câbles d'enceintes :
http://www.hydrogenaudio.org/forums/index.php?showtopic=12941&st=50&#entry135916
Mesures et test ABX (positif) de câbles d'enceintes :
http://www.hydrogenaudio.org/forums/index.php?showtopic=14082&st=25&p=148461&#entry148461
précisions utlies en français ici : http://chaud7.forum-gratuit.com/viewtopic.php?p=6314#6314
Un test ABX, réalisé avec de la musique classique, sur les codec lossy :
http://www.hydrogenaudio.org/forums/index.php?showtopic=36465
Test sur des extraits lowpass :
http://www.hydrogenaudio.org/forums/index.php?s=06199035362590b658b70d1d9c2aeae2
&showtopic=36432&st=0&p=321292&#entry321292
Tests de ionostat -en français- :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29760965&postdays=0&postorder=asc&start=90#168437829 (échec)
http://www.apiguide.net/04actu/04musik/ecoute_audiophile.htm (ABX 8/9, mais sans tirage au sort )
Etude (tests en aveugle inclus) sur le son des CDs (tous les liens sont en anglais) :
The numerically-Identical CD mystery, Ian Dennis and Julian Dunn.
http://dspace.dial.pipex.com/town/pipexdsl/q/aqty24/downloads/cdinvest.pdf
>> A mettre en perspective avec la théorie du jitter, exposée par Bob Katz pour expliquer
toutes les différences audibles entre originaux et copies, ou entre drive numériques
Et avec les indications de Bruno Putzeys, qui aurait mesuré la distortion en sortie analogique de lecteur de CD
Test en aveugle (en anglais) entre deux lecteurs de CDs:
http://diy.cowanaudio.com/blind.html
Divers tests de lecteurs de CD en français ( ABX 8/8 ) :
http://www.homecinema-fr.com/forum/viewtopic.php?p=169329500
Câbles de modulation reliant une sortie pré-out à un casque - en français - (ABX 20/20) :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29781210&postdays=0&postorder=asc&start=480
Diverses copies analogiques - en Anglais-. Succès sur une carte son SB64
et sur une copie de platine CD vs extraction numérique directe :
http://www.hydrogenaudio.org/forums/index.php?act=ST&f=21&t=6651
Vinyle direct contre vinyle numérisé 48 kHz 16 bits - en Anglais- (échec) : http://www.hydrogenaudio.org/forums/index.php?act=ST&f=21&t=7953
Test de rien du tout (ABX 12/13) :
http://www.hydrogenaudio.org/forums/index.php?showtopic=6651&st=25&p=70284&#entry70284
>> Ben oui, des fois le hasard s'en mèle
ABX Double Blind Test Results: Wires:
http://www.provide.net/~djcarlst/abx_wire.htm
Test d'écoute en double aveugle - Câbles de modulation
http://www.homecinema-fr.com/forum/viewtopic.php?t=29781210
Oui, il existe un outil de mesure applicable à tous les tweaks (bidouilles, modifications ou bricolages) audio ! Il s'agit du test en double aveugle (dit aussi test ABX), lorsqu'il est accompagné d'une analyse statistique rigoureuse permettant d'évaluer la pertinence des résultats obtenus par les sujets du test.
On se pose ici la question de savoir si un facteur donné : câble, pied d'enceinte, etc, a un effet ou non sur le son, sans pour l'instant se préoccuper de savoir si cet effet est bénéfique.
Un test de type ABX peut nous donner une réponse.
Dans ce test, l'auditeur se voit présenter trois sources. A et B sont les références. Il s'agit de la chaîne hifi avec et sans le tweak. X est la source cachée. Il peut s'agir de A ou de B, c'est à l'auditeur de le deviner en comparant X à A et à B.
Seulement si l'auditeur dit que "X est A", et que c'est effectivement A, qu'est-ce que ça prouve ?
Rien, bien sûr ! Si vous tirez à pile ou face dans mon dos, et que j'affirme que c'est face, et que je gagne, cela ne démontre pas l'existence de mes dons para-psychiques qui me permettent de voir dans mon dos. C'est juste un coup de chance, rien de plus !
C'est pourquoi une analyse statistique est nécessaire.
Imaginons qu'après que l'auditeur ait donné sa réponse, on recommence le test, en tirant X au sort à nouveau, 15 fois. Si l'autiteur donne la bonne réponse seize fois au total, qu'est-ce que cela prouve ? Est-ce que cela peut être un coup de chance ?
Oui, c'est possible, et on peut calculer la probabilité pour que cela se produise. A chaque test, il y a une chance sur deux d'obtenir la bonne réponse, et on fait seize tests indépendant. La probabilité d'avoir tout bon par hasard est donc de 1/2^16, soit 1/65536.
Autrement dit, si aucune différence n'est audible, l'auditeur aura tout bon une fois sur 65536 en moyenne.
On peut donc choisir le nombre d'essais à réaliser en fonction du tweak testé. Le but étant d'obtenir une probabilité de succés inférieure à la vraisemblance du tweak.
Par exemple, si on compare deux amplis, il est probable qu'ils n'aient pas le même son. On peut se contenter de répéter le test 7 fois. Il y aura une chance sur 128 d'obtenir un "faux succès". En statistique, on appelle les "faux succès" des "erreurs de type I". Plus on répète le test un grand nombre de fois, plus on élimine le risque d'erreurs de type I.
Si maintenant on place une amulette porte bonheur à côté du lecteur de CD. Il n'y a aucune raison pour que cela change le son. On peut alors répéter le test 40 fois. La probabilité de succès est alors de un sur mille milliards ! Si jamais cela arrive, il y a forcément une explication : l'auditeur entend l'opérateur déplacer l'amulette, ou alors l'opérateur met toujours plus de temps à lancer la lecture après avoir rangé l'amulette... ou bien l'auditeur perçoit une différence d'éclairage à travers ses paupières si c'est une grande amulette sombre, ou bien il perçoit son odeur lorsqu'elle est posée vers le lecteur...
On note p la probabilité d'obtenir un succès par hasard. On considère généralement qu'un résultat dont la valeur p est inférieur à 0.05 (un sur vingt) est à prendre au sérieux, et que p < 0.01 (un sur cent) est un résultat tout à fait positif. Il faut toutefois nuancer en fonction du contexte. On a vu que pour des tweaks invraisemblables, comme l'amulette, il est nécessaire d'obtenir un p vraiment très petit, parce que qu'entre la probabilité pour que l'amulette fonctionne (disons un sur un milliard, par exemple) et la probabilité de réussir par hasard (on choisir souvent un sur cent), le choix est vite fait : le test a réussi par hasard !
Autre exemple où les nombres nous trompent, si on teste 20 câbles, un par un, pour savoir s'ils ont un effet sur le son, et si on considère que p < 0.05 est un succès, alors, dans le cas où aucun câble n'a d'effet sur le son, puisqu'on fait 20 tests, il faut quand même s'attendre en toute logique à avoir environ un succès dû au hasard parmi les 20 tests ! Dans ce cas de figure, on ne peut absolument pas dire que le câble en question colore le son avec une probabilité de 95 %, même si sa valeur p est inférieur à 5 %, puisque de toutes façons, on attendait ce résultat. Le test a échoué, tout simplement.
Mais les analyses statistiques ne se limitent pas à une simple puissance de 2. Si par exemple on obtient 14 bonnes réponses sur 16, que se passe-t-il ? Eh bien on peut parfaitement calculer la probabilité que cela se produise, mais attention, ce qu'il nous faut, c'est la probabilité d'avoir non pas exactement 14/16, mais au moins 14/16, c'est à dire la probabilité d'avoir 16/16, plus celle d'avoir 15/16, plus celle d'avoir 14/16.
Une table Excel donne toutes les probabilités dont nous avons besoin : http://www.kikeg.arrakis.es/winabx/bino_dist.zip Elle se base sur une simple distribution binômiale.
A présent, comment mettre en oeuvre le test d'écoute, afin que son résultat, s'il est positif, soit vraiment convaincant ? Il y a de nombreuses règles à respecter, si vous ne voulez pas en cas de succès voir tous vos détracteurs vous rire au nez, et avec raison.
Règle numéro 1 : il est impossible de prouver que quelque chose n'existe pas. La charge de la preuve est du côté de celui qui affirme entendre une différence.
Si vous pensez qu'un câble colore le son, à vous de le prouver en réussissant le test. Quelqu'un qui prétend que les câbles n'ont pas de son ne peut rien prouver.
2. Le test doit être réalisé en double aveugle.
C'est la condition la plus difficile à remplir. Simple aveugle signifie que vous ne pouvez pas savoir si X est A ou B autrement qu'en l'écoutant. Double aveugle signifie que personne dans la pièce ou dans l'environnement immédiat ne peut savoir si X est A ou B, afin d'éviter toute influence possible, même inconsciente, sur l'auditeur. Cela complique realitivement les manipulations. Une tierce personne peut guider l'auditeur qui a les yeux bandés en dehors de la pièce pendant que la manipulation est effectuée. Des circuits commutateurs de très haute qualité ont été mis au point pour effectuer des tests ABX en double aveugle ( http://sound.westhost.com/abx-tester.htm ) : un microprocesseur tire X au sort, et une télécommande permet alors de le comparer à A et B à volonté.
3. Les valeurs de p données dans la table indiquée plus haut ne sont valables que si les deux conditions suivantes sont remplies :
-L'auditeur ne doit pas avoir connaissance de ses résultats, sauf si le nombre total de réponses est imposé avant le test.
...Sinon, il suffirait de regarder après chaque réponse son score, et de continuer jusqu'à ce que la valeur de p baisse par hasard.
-Le test est effectué pour la première fois. Et si ce n'est pas le cas, tous les résultats précédents doivent être pris en compte dans le calcul du total.
Sinon, il suffirait de recommencer la série de tests autant de fois que nécessaire pour obtenir, par hasard, une valeur de p aussi petite que souhaitée.
Corollaire : ne donnez que des réponses dont vous êtes absolument certain ! Si vous avez le moindre doute, ne répondez rien. Prenez votre temps. Faites des pauses. Vous pouvez interrompre le test et continuer les essais suivants un autre jour, mais surtout, n'essayez jamais de deviner "à l'intuition". Si vous vous trompez, vous n'aurez plus jamais l'occasion de refaire le test, car on pourra toujours vous accuser de faire dire aux nombre ce que vous voulez, en "recommençant jusqu'à ce que ça marche" !
Bien sûr vous pouvez vous entraîner autant de fois que vous voulez pour de faux, à condition de le décider fermement avant. Si vous décidez que vous faites un test blanc pour vous exercer, et que vous avez 50/50, puis que vous ne parveniez plus à reproduire ce résultat, tant pis ! Les résultats des tests d'entraînement sont à jeter à la poubelle quels qu'ils soient, et les résultats des tests réels sont à conserver quels qu'ils soient.
Encore une fois, si vous prenez tout le temps nécessaire, fut-ce une semaine d'efforts pour une seule réponse, pour obtenir un résultat positif du premier coup, votre succès sera mathématiquement indiscutable ! Seul votre installation hifi ou vos conditions de mise en aveugle pourront être contestés. Si par contre, en toute bonne foi, vous recommencez un test ayant échoué parce qu'il y avait trop de bruit lors de la première fois, ou parce que votre cable secteur a amélioré votre son depuis lors, vous pouvez être sûrs qu'il y aura toujours quelqu'un pour venir contester votre résultat au nom des lois de l'analyse statistique. Vous aurez fait tout ce travail en vain.
4. Le test doit être reproductible
N'importe qui peut publier des résultats mensongers. Par exemple si une personne vend des bibelots destinés à améliorer le son, genre de l'huile dont il faut enduire les boîtes des CD, ou la gaine des câbles, il peut très bien prétendre avoir réussi un test ABX douible aveugle avec p <0.00001, ne serait-ce que pour faire parler de son produit.
Si une personne réussit le test, d'autres doivent vérifier si c'est possible, en le réussissant à leur tour.
Nous avons vu ce que c'est qu'un test ABX avec le calcul de probabilité associé, qui est parfaitement adapté au test de trucs et astuces en hifi. Mais il ne s'agit que du B-A BA des tests statistiques.
Par exemple pour comparer la qualité des compresseurs MP3 et autres, on utilise dans les tests à plus grande échelle le principe ABC/HR (voir http://ff123.net/abchr/abchr.html ), qui est bien plus perfectionné : on présente à chaque auditeur une paire de curseurs avec trois boutons pour chaque codec audio à évaluer. A et B sont l'original et le fichier encodé. L'auditeur ignore lequel est lequel. C est l'original qui sert de référence. Il doit donner à l'aide des curseurs une note de 1 à 5 pour A et B, l'original devant logiquement être noté 5.
Un calcul de probabilité permet alors non seulement de savoir si le codec dégrade le son de façon audible, mais également d'évaluer la qualité des codecs pour l'échantillon d'auditeurs ayant participé, et ce, toujours en aveugle, et toujours avec un calcul de probabilité permettant dévaluer la pertinence des résultats. Ces calculs, suivant ce que l'on souhaite obtenir, peuvent être réalisés par la méthode de Friedmann, par exemple ( http://www.graphpad.com/articles/interpret/ANOVA/friedmans.htm ), qui privilégie le classement des échantillons testés sur un podium, ou encore ANOVA ( http://www.psychstat.smsu.edu/introbook/sbk27.htm ), qui indique mieux la qualité subjective perçue par les auditeurs sur l'échelle de 1 à 5.
Notez que ce genre d'analyse statistique est principalement utilisé en médecine, et que pour obtenir une autorisation de mise sur le marché en France, tout médicament doit faire la preuve de son efficacité en double aveugle (le médecin ignore s'il prescrit un placebo ou une vraie molécule), contre placebo (le médicament doit non seulement prouver qu'il agit, mais aussi qu'il agit mieux qu'un placebo, car un placebo seul agit), et le verdict est donné par des analyses telles que celles qu'on vient de voir. Il ne s'agit donc pas de méthodes inventées sur le pouce pour faire des tests en hifi. Il s'agit bien de méthodes universellement utilisées en recherche scientifique, et elle restent entièrement valables en hifi.
Liens vers des tests ABX sur le Web - dernière mise à jour : 08/04/2006
---------------------------------------------------------------
La partie listening tests du forum Hydrogenaudio :
http://www.hydrogenaudio.org/forums/index.php?showforum=40
LE forum objectiviste de langue anglaise, énormément de tests à faire tout seul avec le module abx de foobar
Définition des tests ABX :
http://www.hydrogenaudio.org/forums/index.php?showtopic=16295
en français > http://www.homecinema-fr.com/forum/viewtopic.php?t=29750372&start=15#168246580
Construire un commutateur ABX (en anglais) :
http://sound.westhost.com/abx-tester.htm
Nombreux tests ABX (enceintes, sources, câbles ...) :
http://www.provide.net/~djcarlst/abx_new.htm
Tests ABX (en espagnol) :
http://www.matrixhifi.com/pruebasciegas.htm
S'initier aux tests ABX avec un PC (en anglais) :
http://www.pcabx.com/
Test en double aveugle de câbles de modulation (en français) :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29786006&postdays=0&postorder=asc&start=240#168903915
Tests ABX de câbles secteurs (en anglais) :
http://www.hometheaterhifi.com/volume_11_4/feature-article-blind-test-power-cords-12-2004.html
http://mysite.wanadoo-members.co.uk/hificabletest
Tests ABX de câbles secteurs , écoutes sur le long terme (en cours d'éxécution ) :
http://www.hifiwigwam.com/forum1/1614.html
Test ABX entre deux amplificateurs ( conclusion intéressantes sur le couple enceintes/ampli) :
http://www.soundandvisionmag.com/assets/download/AmpSpekerInterface.pdf
Tests menteurs (tests où l'on fait croire à certains changements sans qu'ils existent) en anglais :
____ John Dunlavy et les câbles d'enceinte :
http://www.nytimes.com/library/tech/99/12/circuits/articles/23down.html
____ Amplificateurs (Bryston contre Onkyo) :
http://www.diyaudio.com/forums/showthread.php?s=&threadid=12752
Mesures et test ABX de câbles d'enceintes :
http://www.hydrogenaudio.org/forums/index.php?showtopic=12941&st=50&#entry135916
Mesures et test ABX (positif) de câbles d'enceintes :
http://www.hydrogenaudio.org/forums/index.php?showtopic=14082&st=25&p=148461&#entry148461
précisions utlies en français ici : http://chaud7.forum-gratuit.com/viewtopic.php?p=6314#6314
Un test ABX, réalisé avec de la musique classique, sur les codec lossy :
http://www.hydrogenaudio.org/forums/index.php?showtopic=36465
Test sur des extraits lowpass :
http://www.hydrogenaudio.org/forums/index.php?s=06199035362590b658b70d1d9c2aeae2
&showtopic=36432&st=0&p=321292&#entry321292
Tests de ionostat -en français- :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29760965&postdays=0&postorder=asc&start=90#168437829 (échec)
http://www.apiguide.net/04actu/04musik/ecoute_audiophile.htm (ABX 8/9, mais sans tirage au sort )
Etude (tests en aveugle inclus) sur le son des CDs (tous les liens sont en anglais) :
The numerically-Identical CD mystery, Ian Dennis and Julian Dunn.
http://dspace.dial.pipex.com/town/pipexdsl/q/aqty24/downloads/cdinvest.pdf
>> A mettre en perspective avec la théorie du jitter, exposée par Bob Katz pour expliquer
toutes les différences audibles entre originaux et copies, ou entre drive numériques
Et avec les indications de Bruno Putzeys, qui aurait mesuré la distortion en sortie analogique de lecteur de CD
Test en aveugle (en anglais) entre deux lecteurs de CDs:
http://diy.cowanaudio.com/blind.html
Divers tests de lecteurs de CD en français ( ABX 8/8 ) :
http://www.homecinema-fr.com/forum/viewtopic.php?p=169329500
Câbles de modulation reliant une sortie pré-out à un casque - en français - (ABX 20/20) :
http://www.homecinema-fr.com/forum/viewtopic.php?t=29781210&postdays=0&postorder=asc&start=480
Diverses copies analogiques - en Anglais-. Succès sur une carte son SB64
et sur une copie de platine CD vs extraction numérique directe :
http://www.hydrogenaudio.org/forums/index.php?act=ST&f=21&t=6651
Vinyle direct contre vinyle numérisé 48 kHz 16 bits - en Anglais- (échec) : http://www.hydrogenaudio.org/forums/index.php?act=ST&f=21&t=7953
Test de rien du tout (ABX 12/13) :
http://www.hydrogenaudio.org/forums/index.php?showtopic=6651&st=25&p=70284&#entry70284
>> Ben oui, des fois le hasard s'en mèle
ABX Double Blind Test Results: Wires:
http://www.provide.net/~djcarlst/abx_wire.htm
Test d'écoute en double aveugle - Câbles de modulation
http://www.homecinema-fr.com/forum/viewtopic.php?t=29781210
_________________
"Caminantes, no hay caminos, hay que caminar" (Luigi Nono)
"Working the room, keeping people happy and relaxed is half of mixing successfully" (Mixerman)
George Massenberg said, "Get a clue. There's a reason mixing seems simple: it is simple . . . Learn how to do something useful; learn how to write. Learn how to do electronic CAD, and give me a call"
madees- Co Adminateur
- Partage: 2907
-
Re: Test de wordclock
par madees le Jeu 03 Déc 2009, 22:37
Yeah c'est bon ça aussi : écoutes comparatives sur www.duanrevig.com
PC ABX home page
On va bientôt pouvoir le mettre en place ce test !
PC ABX home page
On va bientôt pouvoir le mettre en place ce test !
Dernière édition par madees le Lun 07 Déc 2009, 13:44, édité 1 fois
_________________
"Caminantes, no hay caminos, hay que caminar" (Luigi Nono)
"Working the room, keeping people happy and relaxed is half of mixing successfully" (Mixerman)
George Massenberg said, "Get a clue. There's a reason mixing seems simple: it is simple . . . Learn how to do something useful; learn how to write. Learn how to do electronic CAD, and give me a call"
madees- Co Adminateur
- Partage: 2907
-
Re: Test de wordclock
par madees le Lun 07 Déc 2009, 13:35
Bon alors la dream team une petite baisse de motiv' ?!
J'avoue je n'ai pas que ça a faire non plus et le précédent post peut mettre quelques jours a se digérer...
Recommandation de l'ITU BS 1116-1 :
Une autre couche :
J'avoue je n'ai pas que ça a faire non plus et le précédent post peut mettre quelques jours a se digérer...
Recommandation de l'ITU BS 1116-1 :
To conduct subjective assessments in the case of systems generating small impairments, it is necessary to select an appropriate method. The “double-blind triple-stimulus with hidden reference” method has been found to be especially sensitive, stable and to permit accurate detection of small impairments. Therefore, it should be used for this kind of test.
Une autre couche :
Ten (10) Requirements For Sensitive and Reliable Listening Tests
(1) Program material must include critical passages that enable audible differences to be most easily heard.
(2) Listeners must be sensitized to a audible differences, so that if an audible difference is generated by the equipment, the listener will notice it and have a useful reaction to it.
(3) Listeners must be trained to listen systematically so that audible problems are heard.
(4) Procedures should be "open" to detecting problems that aren't necessarily technically well-understood or even expected, at this time. A classic problem with measurements and some listening tests is that each one focuses on one or only a few problems, allowing others to escape notice.
(5) We must have confidence that the Unit Under Test (UUT) is representative of the kind of equipment it represents. In other words the UUT must not be broken, it must not be appreciably modified in some secret way, and must not be the wrong make or model, among other things.
(6) A suitable listening environment must be provided. It can't be too dull, too bright, too noisy, too reverberant, or too harsh. The speakers and other components have to be sufficiently free from distortion, the room must be noise-free, etc..
(7) Listeners need to be in a good mood for listening, in good physical condition (no blocked-up ears!), and be well-trained for hearing deficiencies in the reproduced sound.
(Sample volume levels need to be matched to each other or else the listeners will perceive differences that are simply due to volume differences.
(9) Non-audible influences need to be controlled so that the listener reaches his conclusions due to "Just listening".
(10) Listeners should control as many of the aspects of the listening test as possible. Self-controlled tests usually facilitate this. Most importantly, they should be able to switch among the alternatives at times of their choosing. The switchover should be as instantaneous and non-disruptive as possible.
_________________
"Caminantes, no hay caminos, hay que caminar" (Luigi Nono)
"Working the room, keeping people happy and relaxed is half of mixing successfully" (Mixerman)
George Massenberg said, "Get a clue. There's a reason mixing seems simple: it is simple . . . Learn how to do something useful; learn how to write. Learn how to do electronic CAD, and give me a call"
madees- Co Adminateur
- Partage: 2907
-
Re: Test de wordclock
par mister o le Mar 08 Déc 2009, 05:13
madees a écrit:Bon alors la dream team une petite baisse de motiv' ?!
J'avoue je n'ai pas que ça a faire non plus et le précédent post peut mettre quelques jours a se digérer...
Exactement Madees,
mais j'étudie tes postes, et je ne pense pas âtre le seul.
En tout cas merci pour toutes tes infos bien intéressantes.
_________________
"Dans le son, les règles sont là pour être transgressées. Votre oreille est seule juge et le bon goût votre avocat"
mister o- Moderateur Global
- Partage: 2236
-
Re: Test de wordclock
par quentin le Mar 08 Déc 2009, 06:48
pas mieux, c'est vrai que c'est très intéressant tout ça!!
J'aime bien cet esprit blouse blanche...
J'aime bien cet esprit blouse blanche...
quentin- Co Adminateur
- Partage: 720
-
Re: Test de wordclock
par madees le Mar 08 Déc 2009, 13:44
J'aime bien cet esprit blouse blanche
Oui c'est vrai ça peut paraitre fastidieux, mais mon idée est que si on fait des tests, autant que cela soit valide scientifiquement afin de vraiment faire avancer le schmilblick sur cette question maintes fois débattue à partir d'avis plus ou moins objectifs et liés au marketing
De plus, cela permet d'avoir une crédibilité et une pertinence qui ouvre d'autres portes (une fois que l'on a le protocole pour les horloges, rien n'empêche de poursuivre nos comparaisons indépendantes des fabricants sur d'autres produits) et comme évoqué avec PPJ pourquoi pas partager nos expérimentations, dans le cadre de l'AES par exemple...
J'ai trouvé le boitier idéal :
QSC ABX comparator
Le manuel
Malheureusement plus fabriqué depuis 2004... a nos fers à souder !
_________________
"Caminantes, no hay caminos, hay que caminar" (Luigi Nono)
"Working the room, keeping people happy and relaxed is half of mixing successfully" (Mixerman)
George Massenberg said, "Get a clue. There's a reason mixing seems simple: it is simple . . . Learn how to do something useful; learn how to write. Learn how to do electronic CAD, and give me a call"
madees- Co Adminateur
- Partage: 2907
-
Re: Test de wordclock
par madees le Dim 21 Fév 2010, 16:44
Des news !
J'ai trouvé ce doc qui explique le MUSHRA parmi les white paper de la BBC :
BBC R&D white paper - The MUSHRA audio subjective test method
C'est un autre test interactif (l'auditeur sélectionne un échantillon et peut revenir en arrière, faire de multiples comparaisons)
Se distingue d'un simple ABX par l'utilisation de plusieurs échantillons à écouter :
- la référence (que l'auditeur peut re-écouter a volonté)
Et les autres à évaluer par rapport à celle ci :
- la référence cachée
- la référence cachée détériorée (qualité pire, ou plusieurs à différents niveaux de qualité)
Ces références cachées permettent d'affiner les critères dévaluation de celui qui fait le test, en posant les bornes "excellent" et "très mauvais", qui seront noté (sur une échelle de 100) normalement le premier entre 100 et 80, le dernier entre 0 et 20.
- Les autres échantillons à évaluer
Ce test permet de donner une meilleure acuité des résultats, les auditeurs se faisant une idée de l'échelle min-max plus facilement, et permet d'éliminer ceux qui répondent "au hasard" ou n'entendent rien du tout...
J'ai trouvé ce doc qui explique le MUSHRA parmi les white paper de la BBC :
BBC R&D white paper - The MUSHRA audio subjective test method
C'est un autre test interactif (l'auditeur sélectionne un échantillon et peut revenir en arrière, faire de multiples comparaisons)
Se distingue d'un simple ABX par l'utilisation de plusieurs échantillons à écouter :
- la référence (que l'auditeur peut re-écouter a volonté)
Et les autres à évaluer par rapport à celle ci :
- la référence cachée
- la référence cachée détériorée (qualité pire, ou plusieurs à différents niveaux de qualité)
Ces références cachées permettent d'affiner les critères dévaluation de celui qui fait le test, en posant les bornes "excellent" et "très mauvais", qui seront noté (sur une échelle de 100) normalement le premier entre 100 et 80, le dernier entre 0 et 20.
- Les autres échantillons à évaluer
Ce test permet de donner une meilleure acuité des résultats, les auditeurs se faisant une idée de l'échelle min-max plus facilement, et permet d'éliminer ceux qui répondent "au hasard" ou n'entendent rien du tout...
_________________
"Caminantes, no hay caminos, hay que caminar" (Luigi Nono)
"Working the room, keeping people happy and relaxed is half of mixing successfully" (Mixerman)
George Massenberg said, "Get a clue. There's a reason mixing seems simple: it is simple . . . Learn how to do something useful; learn how to write. Learn how to do electronic CAD, and give me a call"
madees- Co Adminateur
- Partage: 2907
-
Re: Test de wordclock
par sam633 le Ven 04 Mar 2011, 16:21
Bonjour, j'ai lu dans un magazine sur une installation live que l'horloge de wordclock, suivant sa précision, influait sur la qualité du son.
Je ne remet pas du tout cette parole en doute, (vu l'install -M-), mais je m'interroge car je ne comprend pas (d'un point de vu théorique) comment cela est possible.
Mon questionnement n'est pas pourquoi une tel horloge est nécessaire car j'en ai déjà fait les frais. Je me suis équipé d'une horloge Mutec MC3.2 (pour de la post-prod vidéo et audio). Mais comment la précision d'une horloge joue sur la qualité du son?
Merci
Sam
Je ne remet pas du tout cette parole en doute, (vu l'install -M-), mais je m'interroge car je ne comprend pas (d'un point de vu théorique) comment cela est possible.
Mon questionnement n'est pas pourquoi une tel horloge est nécessaire car j'en ai déjà fait les frais. Je me suis équipé d'une horloge Mutec MC3.2 (pour de la post-prod vidéo et audio). Mais comment la précision d'une horloge joue sur la qualité du son?
Merci
Sam
_________________
http://soundcloud.com/lautrecote/funambule
sam633- Ingénieux de passage
- Partage: 40
-
Re: Test de wordclock
par Geoff Emerick de Fake le Mer 16 Mar 2011, 21:30
je pense que tu n'as pas eu de réponse à ton post parce que ce sujet a déjà été débattu des centaines de fois.sam633 a écrit:Bonjour, j'ai lu dans un magazine sur une installation live que l'horloge de wordclock, suivant sa précision, influait sur la qualité du son.
Je ne remet pas du tout cette parole en doute, (vu l'install -M-), mais je m'interroge car je ne comprend pas (d'un point de vu théorique) comment cela est possible.
Mon questionnement n'est pas pourquoi une tel horloge est nécessaire car j'en ai déjà fait les frais. Je me suis équipé d'une horloge Mutec MC3.2 (pour de la post-prod vidéo et audio). Mais comment la précision d'une horloge joue sur la qualité du son?
Merci
Sam
En gros, il ne s'agit pas de la précision, mais de la stabilité de l'horloge. Si a un moment la fréquence d'horloge est 44,101 kHz et la seconde d'après 44.099 kHz, l'échantillonnage ne va pas être le même, et lorsque çà sera relu avec une horloge beaucoup plus stable, le signal sera évidemment déformé. Bon, cette explication est simpliste, va sur le Net ou sur les précédents posts pour une vision plus fine.
En plus, il y a des gens qui ont des intérêts directs à colporter des mythes dans ce domaine; çà n'aide pas à trier.
Geoff Emerick de Fake- Moderateur Global
- Partage: 664
-
Re: Test de wordclock
par Geoff Emerick de Fake le Mer 16 Mar 2011, 21:36
C'est très bien de mettre en place une méthode scientifique et tout, mais il paraît que c'est hyper-évident, que çà retire la couverture que tu as oublié de retirer de dessus tes enceintesmadees a écrit: On va bientôt pouvoir le mettre en place ce test !
Geoff Emerick de Fake- Moderateur Global
- Partage: 664
-
Re: Test de wordclock
par papa John le Mer 16 Mar 2011, 21:38
Pfff que de choses à entreprendre et pas assez de mes 24 heures par jour en ce moment !
Mais on va y arriver c'est sur à le faire ce test!
Mais on va y arriver c'est sur à le faire ce test!
_________________
Suivre sur Twitter @ingenieuxduson
papa John- Adminateur en chef
- Partage: 7164
-
Re: Test de wordclock
par Slaan le Jeu 17 Mar 2011, 18:34
Alors, ça se met en place tout ça ?
Si vous etes toujours partant, je pourrais peut etre apporter ma Probox 12 Jr de chez Audio Design.
Si vous etes toujours partant, je pourrais peut etre apporter ma Probox 12 Jr de chez Audio Design.
Slaan- Ingénieux trés motivé
- Partage: 212
-
Page 2 sur 3 • 1, 2, 3
Page 2 sur 3
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum
» Problème Flux Pure Analyser System
» salut tout le monde!
» DM 2000 ET WIFI ??
» Quel ensemble HF pour la mesure?
» Nexo GeoS12 et RS18- actif ou passif
» Quelle école pour ingé son studio ?
» Craquement sur DI BSS audio AR 133
» T.BONE SCT-700 et Transformation
» ew300, WSM, plan de fréquences...
» a la recherche du bon compromis
» Softube Console 1
» Kara L Acoustics
» METRONOMY, Melody Gardot, Groundation
» Renouez avec le confort...
» SUPERLUX R102 un microicro à ruban à moins de 150€.
» aidez moi ! les érudits de l'onde ! Cherche idées pour isolation phonique
» Salut tout le monde !
» Midas pro1 Vs Soundcraft Vi1
» A Vendre: NEUMANN U67 _ 100% restauré!