Microsoft Auto Super Resolution testado: um novo upscaler de IA chegou

Microsoft Auto Super Resolution testado: um novo upscaler de IA chegou

Game

Quanto menos se falar sobre jogos na nova onda de laptops Windows baseados em ARM, melhor. O Snapdragon X Elite da Qualcomm tem problemas graves de driver, resultando em desempenho geralmente ruim e, embora a camada de tradução da CPU PRISM que permite que o código x86 seja executado no ARM pareça impressionante, nenhum suporte para instruções AVX significa que muitos jogos nem mesmo serão carregados. Vamos ser generosos e dizer que o suporte a jogos no hardware ‘Windows em ARM’ é um trabalho em andamento – mas há um elemento que acho que vale a pena examinar. A tecnologia de upscaling Auto Super Resolution da Microsoft tem suas limitações, mas funciona.

Ao abraçar fortemente a era da IA, a Microsoft determinou que os novos PCs Copilot+ focados em IA devem conter um processador neural integrado avaliado para pelo menos 40 TOPs (operações tensoras). Novos processadores como o Snapdragon X Elite e a linha Strix Point da AMD contêm o hardware necessário e, embora possamos esperar que os jogos não toquem na NPU por um bom tempo, o Auto SR da Microsoft pode ser invocado à vontade em praticamente qualquer jogo. No momento, há uma “lista branca” com curadoria de jogos que suportam o Auto SR, mas, até onde posso dizer, não há nada que o impeça de simplesmente adicionar o recurso você mesmo no painel de controle do Windows. No momento, a Microsoft está falando apenas sobre o suporte do Snapdragon para o Auto SR, mas é de se esperar que o recurso seja lançado para todos os PCs Copilot+ no devido tempo.

Embora tanto o DLSS quanto o Auto SR tenham como objetivo pegar imagens de resolução base mais baixa e aumentá-las para resoluções mais altas, a maneira como isso é alcançado é muito, muito diferente. O DLSS e rivais como o FSR2/3 e o XeSS têm uma riqueza de dados para trabalhar: a imagem base, vetores de movimento, informações de cor e profundidade e muito mais. Eles também são integrados ao pipeline do mecanismo de jogo, o que significa que alguns aspectos da imagem – como pós-processamento ou elementos do HUD – podem ser processados ​​em resolução nativa. O Auto SR aparentemente só tem acesso à imagem base, efetivamente tornando-o um upscaler de espaço de tela.

Aqui está nosso vídeo detalhando a nova tecnologia de upscaling de IA de Super Resolução Automática da Microsoft.Assista no YouTube

A Microsoft coloca desta forma: “O Auto SR utiliza um grande modelo de super resolução baseado em IA executado na Unidade de Processamento Neural (NPU) do Snapdragon Series X para restaurar os detalhes visuais perdidos ao renderizar o jogo em uma resolução mais baixa para aumentar a taxa de quadros.

“O modelo é uma rede neural convolucional (CNN) que fornece upscaling espacial entre duas resoluções fixas. Ele foi treinado para adicionar detalhes e executar anti-aliasing durante o upscaling. A saída de alta resolução do modelo é definida para otimizar a qualidade da imagem para os monitores integrados dos PCs Copilot+ equipados com o processador Snapdragon Series X e determina o tempo necessário para executar o modelo. A aplicação do Auto SR adiciona latência ao jogo equivalente ao tempo que leva para executar o modelo, que atualmente é de 12 ms.”

Ao transferir o trabalho de upscaling para a NPU, não há impacto perceptível na taxa de quadros do jogo – no entanto, ao adicionar uma etapa adicional com o upscaling, a latência é adicionada. Se você estiver jogando com v-sync em uma tela padrão de 60 Hz, estará essencialmente olhando para um único quadro de latência adicionado – o que eu acho perfeitamente bom.

Mais notável é o fato de que o Auto SR só tem a imagem de resolução mais baixa para trabalhar. Os elementos do HUD podem exibir alguns artefatos, enquanto o texto ampliado em geral (em telas de abertura e similares) parece OK, mas claramente não está certo. A outra limitação fundamental que o Auto SR tem é que, como é efetivamente um pós-processamento, não tem senso de “histórico”. Ele não parece se referir a quadros anteriores para seu anti-aliasing da maneira que o TAA faz. Sendo esse o caso, é importante “alimentar” o Auto SR com a imagem mais estável temporalmente que você puder. A ideia de executar uma imagem de 720p com TAA geralmente não é uma boa ideia, pois introduz muito desfoque. No entanto, o Auto SR faz um trabalho muito melhor em aumentar os detalhes do que em lidar com os artefatos brilhantes – então usar o TAA faz muito mais sentido. Pelo mesmo motivo, efeitos intrusivos de pós-processamento, como granulação de filme e aberração cromática, devem ser desabilitados (desfoque de movimento, no entanto, pareceu bom para mim).

Ao analisar a proeza de upscaling do Auto SR, voltei ao blog da Microsoft que apresentou a tecnologia e busquei replicar seus resultados no Borderlands 3, que eram baseados em imagens de 720p upscaling para 1440p com melhorias de qualidade claramente perceptíveis. Inicialmente, capturei a execução de benchmark em 720p nativo, depois com uma passagem de upscaling do Auto SR capturada em 1080p, 1440p e 2160p. Acontece que o Auto SR só faz upscaling para uma resolução, então quaisquer diferenças entre as resoluções capturadas serão inteiramente devidas ao scaler da GPU. Desse ponto em diante, mudei para capturas de Auto SR de 2160p – já que 4K é a resolução de saída final para o vídeo do YouTube.

Ative o JavaScript para usar nossas ferramentas de comparação.


Borderlands 3 pode ter sido escolhido como um “melhor cenário” pela Microsoft entre seus títulos suportados devido a um estilo de arte brilhante, vibrante e distinto, mas como você pode ver nas imagens nesta página, não há dúvida alguma de que o modelo de IA pode fornecer detalhes substancialmente melhorados que aparentemente não existiam antes. Ele até faz um trabalho razoável em elementos complicados como grama, que parecem significativamente mais limpos. Em meus testes, descobri que jogos brilhantes e coloridos como Borderlands 3, The Witcher 3 e Baldur’s Gate 3 produzem os melhores resultados.

Controle foi meu teste: novamente, eu pude ver mais detalhes na saída ampliada, mas ao mesmo tempo, como o TAA da Remedy não é particularmente impressionante, a quebra de subpixel e o aliasing de borda ainda permaneceram óbvios na saída ampliada. Além disso, o grão do filme precisava ser desabilitado, pois isso poderia produzir alguns resultados estranhos. Mesmo assim, enquanto capturava o jogo em 4K, eu também alimentei a saída da placa de captura em uma tela 4K de 27 polegadas. Posso dizer que obviamente não é uma imagem 4K, mas o ponto é que ainda parece visivelmente melhor do que o upscaling bilinear ou lanczos padrão da base 720p.

E enquanto a Microsoft está ocupada validando jogos que ativarão o Auto SR automaticamente, seu status como um pós-processo lhe dá uma flexibilidade que outros upscalers não têm. Cyberpunk 2077 não é um jogo validado, mas eu consegui habilitá-lo facilmente e funcionou muito bem. Novamente, não é uma competição para 1440p ou 4K nativos, mas se apresenta de uma maneira agradável o suficiente para habilitá-lo em vez de não habilitá-lo. Tendo em mente que os PCs Copilot+ quase certamente virão com soluções gráficas integradas relativamente escassas, é um bom recurso de valor agregado.

Ative o JavaScript para usar nossas ferramentas de comparação.

A flexibilidade do Auto SR em rodar em tudo também tem algumas possibilidades interessantes. Não há nada que impeça você de usar o Auto SR upscaling em cima dos recursos de upscaling existentes de um jogo. Primeiro, eu tentei God of War, descobrindo que enquanto o Auto SR-upscaled FSR 2 não era particularmente atraente (efetivamente upscaling de 480p para 720p e então para qualquer saída que o Auto SR usa), usar o upscaler TAA embutido do jogo não era um desastre. Enquanto isso, no The Witcher 3, eu realmente descobri que usar o Intel XeSS no modo de qualidade ultra upscaling para 720p produzia a imagem mais consistente temporalmente disponível e, a partir daí, o Auto SR fez o trabalho. Upscaling em upscaling parece um desastre em formação, mas, no final das contas, a flexibilidade é útil quando os recursos da GPU são limitados.

Você pode ter notado no vídeo que, enquanto jogos como Control rodam bem no Snapdragon X Elite (a maioria é 60 fps em configurações baixas a 720p), títulos como Cyberpunk não rodam bem. Nada disso se deve ao Auto SR, mas sim à GPU Snapdragon X Elite, onde até mesmo a GPU Steam Deck limpa o chão com ele na grande maioria dos jogos que testei. No entanto, se o conjunto de recursos Copilot+ for estendido para, digamos, processadores AMD Strix Point (que têm uma NPU ‘qualificada’), a utilidade do Auto SR será muito mais pronunciada – muito mais jogos jogáveis ​​significa muito mais motivos para usar o Auto SR.

Claro, agora, ainda não se sabe se o Auto SR será implementado em algo diferente de processadores Snapdragon, mas as possibilidades ainda são intrigantes – executei minhas capturas do Auto SR no AyaNeo Kun Windows handheld para ter uma ideia de como pode ser. Há um aumento definitivo na clareza, então pode encontrar alguma utilidade, mas o ponto principal é que o 720p básico ainda parece bom o suficiente – acho que dependeria do consumo de energia da NPU e se a latência adicional é perceptível.

Então, Auto SR não é DLSS ou XeSS, mas certamente tem suas utilidades e quando funciona bem, o aumento de qualidade é apreciável. Dito isso, é seguro dizer que o aumento de qualidade é variável (Doom Eternal não pareceu fazer muita coisa), e é absolutamente essencial que a qualidade da imagem de entrada seja razoável. Dark Souls 3 é suportado de fábrica, mas seu anti-aliasing é muito, muito ruim e Auto SR não parece fazer muita coisa com ele. Ainda assim, é um começo intrigante para a tecnologia e estarei acompanhando seu progresso com muito interesse.



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *