Fottemberg ha scritto: ↑giovedì 13 giugno 2019, 19:44
Yes, I agree with you. I think tech companies and tech journalists need to get together and have a round table to come up with a shared review guideline. At the present moment reading a review is like to trying to understand the Rosetta stone. :\
mi è ricapitato di leggere questo vecchio articolo, Gian Maria e devo ammettere che mi ha strappato un sogghigno di soddisfazione
non c'è necessità di mettere assieme tutti i revisori per fare uno standard comune, anche perchè dovrebbe essere uno standard in evoluzione, dalla review di un prodotto a quello successivo, a causa delle enormi differenze che possono portare due prodotti di generazione diverse e perderebbe qualsiasi scopo di uniformare la materia.
semplicemente basta che qualcuno entri nel "mercato" delle recensioni e faccia le reviews fatte per il pubblico e non per il marketing; li sbaraglierebbe tutti.
forse l'hai notato eseguendo i tuoi test, ma fare test è impegnativo e costoso.
per mia esperienza (e faccio test scientifici da oltre 30 anni tutti i giorni perchè è il mio lavoro), posso dirti che fare dei test ripetibili è semplicemente troppo oneroso per lo scopo delle tech news, che sarebbe solo quello d'informare il pubblico (ma che sappiamo tutti che, nella maggior parte dei casi, soprattutto sui media più "autorevoli" si tratta di influenzare le scelte del pubblico, quindi di marketing).
per rendere una procedura di test robusta devi andare a controllare ogni singola variabile del sistema (compreso quello di rilevazione) per capire l'influenza che apporta; anche la semplice frequenza di campionamento di un dato potrebbe influenzare la determinazione del valore.
in più parliamo di HW sottoposto a test usando software distintamente parametrizzabile e guidato da software, anche questo parametrizzabile indipendentemente; vai a creare quindi una combinazione di variabili virtualmente infinita, perchè, per essere una procedura soddisfacente ai fini di una determinazione scientifica, devi andare a testare la variabile in tutti i suoi valori, per ogni combinazione di tutte le variabili.
già se hai 4 volori a variabile per 4 variabili ottieni 4! (calcolo combinatorio: permutazioni semplici senza ripetizioni), cioè 24 test; ora immagina quanti test dovresti fare contando tutte le impostazioni HW che puoi variare (magari che si semplificano perchè correlate tra di loro, come ad esempio la frequenza delle ram e l'impostazione delle latenze, in cui non puoi usare alcune latenze per tutte le frequenze possibili impostabili), con tutte le variabili dell'impostazione dell'OS (usando profili energetici diversi, ad esempio), con tutte le variabili dell'impostazione dei driver fino ad arrivare a tutte le variabili dell'impostazione del singolo software...
quindi, la prima cosa da fare è di standardizzare più variabili possibili, lasciandole al valore dichiarato dal produttore (ma il valore pubblicizzato, non quello che puoi eventualmente usare, come appunto il PL2 dei processori Intel.
bhè, io, con meno variabili strumentali e fisiche, di solito arrivo a scrivere un faldone da 300 pagine per validare una nuova procedura di test, ma è in ambito scientifico e almeno quella procedura rimane operativa per tutta la vita produttiva del prodotto (ed anche oltre, con le revisioni biennali)....
e 300 pagine sono solo i test eseguiti da allegare alla validazione; poi, dopo quel lavoro di validazione, si estrarrà la procedura di test che indicherà che parametri utilizzare, che macchine utilizzare (si, si deve fare una validazione anche per singolo strumento utilizzato... se cambia marca dello strumento, dovrai fare un'altra validazione), e come trattare il prodotto per ogni singolo test richiesto per la determinazione di un singolo valore (moltiplicalo per tutti i valori richiesti da uno screening analitico e puoi renderti conto che una validazione di una procedura nuova per un prodotto m'impegna anche per diversi mesi... l'ultima volta avevo una 30ina di nuovi prodotti e mi ci sono voluti 2 anni e mezzo, con 6 persone ad eseguire test).
ma questa è il modus operandi in ambito prettamente scientifico, richiesto nel mio settore produttivo.
quindi l'idea di "standardizzare" le reviews credo che si possa abbandonare a priori, visto che lo dovresti fare per ogni nuovo HW o software.
si possono però indicare linee guida, ossia chiedere, come hai ben illustrato, che la procedura del test che hai adottato e tutti i parametri (HW e SW) di ogni variabile vengano semplicemente dichiarati, in modo da poter offrire agli altri la possibilità di ripetere il medesimo test, cosa che, mi dispiace dirlo, nemmeno nelle tue reviews fai in maniera completa, perchè ometti i singoli settaggi dei singoli parametri del software, la temperatura della stanza in cui operi, o su che build operi, ma soprattutto non metti mai in correlazione le variabili vitali del sistema per ogni test che fai: prestazioni, sfruttamento dell'HW, consumo e calore.
oltretutto questi test dovrebbero essere sempre e comunque correlati con altre rilevazioni.
mi spiego: quando testi un gioco per determinare la potenzialità dell'HW, dovresti anche allegare la variabilità del framerate (completa, e ben leggibile, utilizzando un semplice grafico a gaussiana), la variabilità dell'uso della GPU, sempre correlata, momento per momento, don l'esecuzione del test, la variabilità dell'uso di ogni singolo core della CPU, la variazione della temperatura e il consumo dell'HW.
è del tutto inutile dire che il 9900K arriva a consumare, di picco, 250W, se poi non mi fai vedere se quel picco di consumo è solo uno sporadico spike con valore totalmente distante dal valor medio o se è il valore più alto di un serie di valori molto vicini tra loro.
ad esempio vedo spesso che nelle reviews indicano il consumo massimo di una GPU su un gioco, ma poi non offrono al lettore la possibilità di constatare se in quello specifico gioco quello specifico HW continua a mantenere un profilo prestazionale tipico come negli altri giochi testati.
in pratica fanno vedere test prestazionali dove il valore di una GPU è mediamente di un certo livello, senza mostrare il consumo nei singoli giochi testati e poi fanno vedere il consumo massimo su un gioco dove non mostrano le prestazioni ottenute, e magari è un gioco che sfrutta diversamente quell'HW e produce una prestazione nettamente in contrasto con quella dei test precedenti... non relazionando le variabili di prestazione e consumo in maniera puntuale, non hai fatto nulla di "scientificamente" valevole.... hai solo sprecato test e tempo.
ma sappiamo bene perchè procedono in questo modo... non dire una verità non è la stessa cosa di dire una bugia.
ed è questo il problema che hai sollevato:
queste "reviews" sono bugie etichettabili come marchette o sono mezze verità, comunque etichettabili come marchette , e/o come inesperienza, e/o solamente come inadeguatezza , ma comunque fatte in questo modo per dire solo le verità che si vogliono dire?
con l'esperienza che ho, posso dirti con assoluta certezza che nessuno fa test che possano essere presi minimamente sul serio, perchè se devi andare a guardare differenze di pochi punti percentuali tra due HW molto simili tra loro, non puoi farlo in quel modo, almeno se vuoi essere credibile su chi il "mestiere" lo conosce bene (ma anche verso chi usa in modo opportuno la propria intelligenza).
quindi, visto che difficilmente si potrà mai riuscire a mettere tutti i reviewers delle tech news d'accordo tra di loro in una metodologia di test efficacie, sarebbe il caso di far capire almeno al pubblico che quello che leggono sono solo sciocchezze, perchè cose fatte come le stanno facendo le più famose tech news sono solo da considerare sciocchezze fatte per perdere tempo o per influenzare i più sciocchi (e, da quanto posso constatare nei forum, puntano proprio a questo profilo di utenza, perchè se non sono i più numerosi, sono comunque quelli che fanno più confusione e non fanno altro che influenzare altri che non hanno, per interesse o per cultura, nessuna dimestichezza nel poter giudicare un HW, ma che lo comprono e basta, affidandosi alla millantata esperienza di amici, ma più spesso di sconosciuti).
io sono un po' estremista su certe questioni, ma perchè nel mio lavoro si lavora anche contro gli interessi di chi ti paga, perchè si lavora con il mandato di curare la qualità del prodotto, non quello di curare l'andamento della fabbrica... se poi i prodotti non sono della qualità desiderata, i problemi della fabbrica ti assicuro che sono nettamente più costosi di quanto siano i "benefici" nel fare le cose in modo approssimativo (e comunque lo facciamo per indicare alla produzione come risolvere i problemi di qualità del prodotto).
in molte procedure di test che elaboro metto sempre un indice indipendente, influenzato da parametri (soprattutto fisici e strumentali) indipendenti dal soggetto di analisi, non tanto per validare il test, ma per evitare che l'esecutore del test troppo facinoroso, che per inesperienza non capisce l'importanza di uno screening sulla qualità, "aggiusti" i parametri per rendere buono quello che in realtà non è; farlo su due indici diversi è assai più complicato, se non impossibile, nella maggior parte delle volte (perchè per essere uno che fa bene questo tipo di lavoro devi essere anche il più bravo a saper scardinare ogni tipo di limite che chi crea le procedure riesce a imporre, ed io ti posso far diventare bianco anche il "corpo nero assoluto", se la procedura è fatta da qualcun altro... quando diventa impossibile anche per me imbrogliare su una mia stessa procedura, allora mi ritengo quasi soddisfatto).
quindi la correlazione di variabili è vitale in certe questioni, perchè significa far passare il revisore da una mezza verità non detta ad una vera bugia se sofistica i dati e ti assicuro che non tutti sono disposti a perdere credibilità per una marchetta, quando per farlo devono mentire in modo palese.
PS:
purtroppo, usando apparecchiature HW e software per la determinazione dei test, sono tenuto anche a validare questi, perchè non c'è nessuna azienda che ti garantisce e validi un software o un HW in modo legale (ossia con responsabilità penale e civile se trovi un bug che porta ad una errata valutazione usando i loro strumenti), neppure pagandoli!
e se sono noiose le validazioni delle procedure analitiche dei test scientifici, non potrai mai capire quanto lo siano quelle di HW e software e quante rogne porti la scoperta di un bug software o, peggio ancora HW (e non è raro, anzi...).
