Resultados de referencia de Huawei en pruebas públicas y privadas con energía SoC manipulada.
Hace unas semanas cubrimos Huawei usando una cámara DSLR profesional en un comercial sobre sus capacidades de selfies, y parece que no pueden dejar de encontrar formas de intentar engañar a los consumidores; esta vez, están manipulando sus puntos de referencia.
Los puntos de referencia son populares y ( ¿hasta ahora?) forma legítima de mostrar el rendimiento de un dispositivo, ya sea su CPU, GPU o comparativas de rendimiento del sistema. El objetivo de los puntos de referencia es brindar a los consumidores un resultado preciso de cómo funcionan los dispositivos bajo estrés.
Desafortunadamente, parece que Huawei ha incluido un 'mecanismo de detección de referencia' en algunos de sus últimos dispositivos. Lo que hace este mecanismo esencialmente es llevar el SoC a un límite de potencia y margen térmico mucho más altos cuando detecta que se está comparando en ciertas aplicaciones, lo que resulta en puntajes de rendimiento mucho más altos que los que los usuarios normalmente obtendrían en el uso diario. Esto no solo es deshonesto, es peligroso durante la vida útil del SoC, y puede sobrecalentar rápidamente un dispositivo y reducir la duración de la batería.
La defensa de Huawei de esta práctica se puede resumir mejor como ' ¡todos los demás también lo hacen! ' - y lamentablemente, en realidad tienen razón. El engaño de referencia no es nada nuevo en absoluto: fue desenfrenado en la escena de la PC hace una década, y también ha estado en la escena móvil por un tiempo.
Varios dispositivos se retiraron de la lista de 3DMark para la manipulación de puntos de referencia.
La variante Exynos del Samsung Galaxy S4 fue atrapada haciendo prácticas de trampa de referencia similares, y los editores del sitio de revisión móvil AnandTech descubrió una gran cantidad de otros proveedores de teléfonos inteligentes que también manipulaban datos de referencia. Esto llevó a que varios dispositivos, como el Galaxy S4, Galaxy Note 3, HTC One y muchos otros fueran excluido de la lista de la base de datos de 3DMark.
Aunque la mayoría de los fabricantes cesaron el comportamiento después de ser llamados, algunos continuaron; por ejemplo, OnePlus continuó haciendo trampa en puntos de referencia populares como GeekBench, aunque aparentemente ha detenido la práctica desde el OnePlus 5T, que en realidad es un gran dispositivo y es muy popular en la comunidad de modding y desarrollo, por lo que tal vez OnePlus sintió que no necesitar para manipular datos de referencia.
Lamentablemente, parece que Huawei está retomando donde lo dejaron otros proveedores de dispositivos, ya que hay informes verificados de que Huawei manipula los puntos de referencia con dispositivos como el Huawei P20, el Huawei P20 Pro y el Honor Play. Básicamente, el rendimiento del Huawei P20 había retrocedido en comparación con el Huawei Mate 10 Pro, y en ese momento, Huawei dijo que era un ' problema de firmware ”- una mentira descarada, ya que en realidad se debió al mecanismo de detección de referencia mencionado anteriormente, que activa un límite de potencia muy superior para el SoC.
Esto no solo es malo para el SoC en sí, ya que la eficiencia general del SoC disminuye cuando se hace esto, porque el SoC está siendo empujado bien afuera de su ventana de funcionamiento normal ( imagina overclocking de tu CPU tan alto como sea posible sin grasa térmica) . Sin embargo, esto también es malo para mercado sí mismo.
Por un lado, hace que el SoC se vea mal, como si necesidades manipular los datos de referencia para que valga la pena venderlos. En segundo lugar, arroja dudas sobre el mercado chino de teléfonos inteligentes, que ya está plagado de imitaciones, clones y prácticas sospechosas. Además, el comportamiento de referencia de Huawei es quizás el más atroz que se haya visto hasta ahora, ya que realmente hay un masivo Diferencia en los resultados de rendimiento con el mecanismo de detección de referencia activado en comparación con cuando está desactivado. Tanto que AnandTech remarcó que las diferencias en los resultados de referencia disponibles públicamente, y sus propias pruebas internas, fueron ' absolutamente asombroso ”.
Huawei ha respondido al ser descubierto y, como dijimos anteriormente, su respuesta fue básicamente “ todos los demás también lo hacen ”. Lo que dijeron literalmente ( cita del Dr. Wang Chenglu, presidente de software del Consumer Business Group de Huawei) fue ' otros hacen lo mismo, obtienen puntuaciones altas y Huawei no puede permanecer en silencio. Huawei quiere unirse con otros en China para encontrar el mejor punto de referencia de verificación para la experiencia del usuario '.
El Dr. Wang también señaló a otros fabricantes con cifras de referencia engañosas y citó a un fabricante de teléfonos inteligentes popular anónimo en China como el mayor culpable. Según el Dr. Wang, las trampas de referencia se han convertido en una 'práctica común en China' y, aunque Huawei quiere 'abrirse' a los consumidores, tienen problemas cuando los competidores 'publican continuamente puntuaciones poco realistas'. Huawei está tratando de enfrentarse a su principal competencia china, una tarea que aparentemente se dificulta cuando otros fabricantes de dispositivos producen números de puntajes poco realistas.
Para resumir, Huawei
- Admite que están manipulando números de referencia
- Admite que todos los demás en el mercado telefónico chino lo hacen
- No tiene planes de detenerse debido al # 2.
Como puede alguien confiar el mercado chino de teléfonos después de este tipo de cosas? En cualquier caso, Huawei hizo una declaración de que la empresa ' garantizar que los datos de referencia futuros sean verificados de forma independiente por terceros ”.
Huawei envió una respuesta completa a XDA:
“Huawei siempre da prioridad a la experiencia del usuario en lugar de buscar puntajes de referencia altos, especialmente porque no existe una conexión directa entre los puntos de referencia de los teléfonos inteligentes y las experiencias del usuario. Los teléfonos inteligentes de Huawei utilizan tecnologías avanzadas como la inteligencia artificial para optimizar el rendimiento del hardware, incluida la CPU, la GPU y la NPU.
Cuando alguien inicia una aplicación de fotografía o juega un juego con gráficos intensivos, el software inteligente de Huawei crea una experiencia de usuario fluida y estable al aplicar todas las capacidades del hardware, mientras administra simultáneamente la temperatura y la eficiencia energética del dispositivo. Para las aplicaciones que no consumen tanta energía como navegar por la web, solo asignará los recursos necesarios para ofrecer el rendimiento que se necesita.
En escenarios normales de evaluación comparativa, una vez que el software de Huawei reconoce una aplicación de evaluación comparativa, se adapta de forma inteligente al 'Modo de rendimiento' y ofrece un rendimiento óptimo. Huawei planea brindar a los usuarios acceso al 'Modo de rendimiento' para que puedan usar la potencia máxima de su dispositivo cuando lo necesiten.
Huawei, como líder de la industria, está dispuesto a trabajar con socios para encontrar los mejores estándares de evaluación comparativa que puedan evaluar con precisión la experiencia del usuario ”.
En todo caso, cierto puntos de referencia ejecutados por AnandTech probó el Huawei P20, P20 Pro y Honor Play, y todos los dispositivos funcionaron de manera similar, porque todos comparten el mismo HiSilicon Kirin 970 SoC, pero el rendimiento real de cada dispositivo está limitado por los límites térmicos, ya que cada dispositivo tiene un Diferentes diseños de chasis y refrigeración. El Huawei P20 Pro tiene las mejores térmicas, por lo que funciona mejor en un estado de rendimiento real.
El editor de AnandTech , Andrei Frumusanu, dijo lo siguiente:
“En el pasado, hemos visto a los proveedores aumentar las frecuencias de SoC, o bloquearlas en sus estados máximos, aumentando el rendimiento más allá de lo que normalmente está disponible para las aplicaciones genéricas. Lo que Huawei, en cambio, está haciendo es aumentar los puntajes de referencia al llegar desde la otra dirección: las aplicaciones de evaluación comparativa son los únicos casos de uso en los que el SoC realmente funciona a las velocidades anunciadas. Mientras tanto, todas las demás aplicaciones del mundo real se ralentizan en un grado significativo por debajo de ese estado debido a las limitaciones térmicas del hardware. Lo que terminamos viendo con un rendimiento desenfrenado es quizás la forma 'verdadera' de un SoC sin restricciones, aunque esto es completamente académico en comparación con lo que los usuarios realmente experimentan '.
Sus gráficos demuestran que los teléfonos más nuevos de Huawei ya alcanzan los 3,5-4,4 W en su estado de rendimiento real, mientras que el TDP de 3,5 W es la cantidad máxima que se puede sostener. Por otro lado, el teléfono se acelera con TDP cuando realiza los puntos de referencia disponibles públicamente, con cifras de potencia que superan los 6W y alcanzan un máximo de 8.5W. Como señaló AnandTech, estas cifras activan rápidamente una notificación de sobrecalentamiento en el dispositivo, lo que significa que los límites térmicos no coinciden con las expectativas del software.
Lo que se puede deducir de esta situación es que las cifras reales de rendimiento no son estables, ya que dependen de la temperatura del teléfono. Huawei no impide que la GPU alcance su estado de frecuencia máxima de GPU. El comportamiento predeterminado es en realidad un 'mecanismo de estrangulamiento térmico severo [...] que intentará mantener niveles de temperatura del SoC y consumo de energía general significativamente más bajos'.
El modo normal de los teléfonos puede alcanzar las mismas cifras de consumo máximo de energía durante las pruebas de rendimiento de la GPU que las publicadas por las variantes no reguladas. Sin embargo, estos números se reducen rápidamente de manera significativa, y AnandTech señala que el teléfono se acelera a 2.2W en algunos casos, lo que tiene el efecto de reducir significativamente el rendimiento.
La publicación afirma que el comportamiento de trampa de referencia aparentemente solo se ha introducido en los dispositivos de este año. Los teléfonos como el Huawei Mate 9 y el Huawei P10 no se ven afectados, y parece que solo se ven afectados EMUI 8.0 y dispositivos más nuevos. Huawei también le dijo a AnandTech que esto era 'puramente una implementación de software', lo que corroboró los hallazgos de la publicación.
AnandTech publicó cifras reales de rendimiento de la GPU para los teléfonos afectados con Kirin 970, y la conclusión es que Huawei significativamente por detrás de sus competidores en rendimiento y eficiencia de GPU .
La publicación también publicó gráficos de comparación de potencia para los dispositivos Huawei con Kirin 970 y Kirin 960. Los gráficos muestran que los ajustes de regulación de potencia de Huawei son de hecho mejores para la experiencia del usuario, ya que mitigan el problema de un mayor consumo de energía. Las pruebas de AnandTech del Kirin 960 mostraron que tenía 'características de potencia de GPU horribles', mientras que los dispositivos alimentados por Kirin 970 tienen un nuevo mecanismo de regulación estricto para reducir el consumo de energía y las temperaturas.
AnandTech también mencionó que la nueva política de estrangulamiento tiene sentido al considerar el hecho de que tanto el Kirin 960 como el Kirin 970 muestran consumos de energía que están muy por encima de sus niveles sostenibles para sus respectivos factores de forma.
Aunque Huawei no ha hecho necesariamente nada malo al introducir un nuevo mecanismo de regulación, ciertamente ha cruzado el umbral de trampas al excluir aplicaciones de referencia populares a través de una lista blanca, que es lo que se conoce como trampa de referencia en este caso.
UL, que adquirió Futuremark, la compañía detrás de PCMark y 3DMark, eliminó el Huawei P20, Huawei P20 Pro, Huawei Nova 3 y el Honor Play de 3DMark.
La compañía ha verificado las trampas de referencia en el Huawei P20 Pro, Huawei Nova 3 y Honor Play. Sobre la base de las pruebas y los informes de AnandTech, también ha eliminado de la lista el Huawei P20 estándar. Los usuarios ya no podrán ver los resultados de las pruebas comparativas de los teléfonos afectados, ya que la empresa no desea alojar puntuaciones comparativas engañadas.
La empresa descubrió que las puntuaciones de la aplicación pública 3DMark eran hasta un 47% más altas que las puntuaciones de la aplicación privada (que no está disponible para el público), a pesar de que las pruebas son idénticas.
En el anuncio, UL agregó que estaba feliz de que Huawei se comprometiera a adoptar un enfoque más transparente en el futuro. La opinión de UL es que los modos de rendimiento opcionales que puede establecer el usuario están permitidos según sus reglas actuales siempre que estén deshabilitados de forma predeterminada. La empresa afirma: 'Un dispositivo debe ejecutar la prueba comparativa como si fuera cualquier otra aplicación'.
En conclusión, todos los puntos de referencia de rendimiento de la GPU de Huawei que se tomaron utilizando puntos de referencia disponibles públicamente no deben tomarse como una representación del rendimiento real.
Huawei se comunicó con UL para discutir las mejores prácticas para las pruebas comparativas y emitió una declaración:
“Huawei y UL (creadores de 3DMark) han mantenido discusiones exhaustivas sobre prácticas de evaluación comparativa esta semana y han llegado a un acuerdo positivo sobre los próximos pasos para trabajar juntos.
En la discusión, Huawei explicó que sus teléfonos inteligentes utilizan un mecanismo de programación de recursos inteligente artificial. Debido a que los diferentes escenarios tienen diferentes necesidades de recursos, los últimos teléfonos de Huawei aprovechan tecnologías innovadoras como la inteligencia artificial para optimizar la asignación de recursos de manera que el hardware pueda demostrar sus capacidades en la mayor medida posible, al tiempo que satisface las demandas de los usuarios en todos los escenarios.
UL comprende la intención del enfoque de Huawei, pero se opone a forzar el uso de un 'Modo de rendimiento' de forma predeterminada cuando el dispositivo detecta una aplicación de evaluación comparativa. Las reglas de UL requieren que un dispositivo ejecute el banco de pruebas como si fuera cualquier otra aplicación.
Huawei respeta el derecho de los consumidores a elegir qué hacer con sus dispositivos. Por lo tanto, Huawei proporcionará a los usuarios acceso abierto al 'Modo de rendimiento' en EMUI 9.0, para que el usuario pueda elegir cuándo usar la potencia máxima de su dispositivo.
Huawei y UL también han discutido las metodologías de prueba de referencia comunes actuales en general. A UL y Huawei les gustaría participar en un movimiento de la industria para desarrollar estándares de evaluación comparativa que sirvan mejor a las necesidades de los fabricantes, la prensa y los consumidores.
Para evitar confusiones en torno a los resultados de las evaluaciones comparativas actuales, después de la discusión, UL y Huawei han eliminado temporalmente las puntuaciones de las evaluaciones comparativas de una gama de dispositivos Huawei, y las restablecerán después de que Huawei otorgue a todos los usuarios de teléfonos Huawei acceso al modo de rendimiento '.
Etiquetas Huawei
