Valores-P e testes de significância

RKA3JV - Digamos que eu administre um website que atualmente tem a cor branca no fundo. E eu sei que a média de tempo que as pessoas ficam no meu site é de 20 minutos. E eu estou pensando em fazer uma alteração, de maneira que as pessoas fiquem mais tempo no meu site. Minha ideia é transformar a cor de fundo em amarelo. Mas, depois de mudar isto, como é que eu faço para ter certeza de que a mudança foi bem-sucedida? É aí que o teste de significância entra. O que eu vou fazer, primeiro, é determinar as hipóteses, a hipótese nula e a hipótese alternativa. A hipótese nula é aquela afirmação em que diz que não há novidade, tudo continua como estava. Ou seja, neste caso, é dizer que a média de tempo no site continua sendo de 20 minutos. Isso depois de mudar a cor para amarelo. Agora, a hipótese alternativa é dizer que a média agora é maior que 20 minutos depois da mudança de cor. Ou seja, as pessoas estão ficando mais tempo no meu site. A próxima coisa a fazer é determinar um limite conhecido como nível de significância. E daqui a pouco você vai compreender o que isto significa. O nível de significância normalmente é indicado pela letra grega alfa. E, normalmente, você vai ver o nível de significância como algo 0,01 ou 0,05, ou 0,1 ou talvez em porcentagem 1%, 5%, 10%. Vamos para este nosso exemplo determinar um nível de significância, digamos que de 0,05. E, agora, o que vamos fazer é tomar uma amostra das pessoas que estão visitando o meu website já na cor amarela. E nós vamos calcular parâmetros estatísticos para esta mostra como a média ou o desvio padrão da amostra. E, então, vamos dizer que se nós assumirmos que a hipótese nula é verdadeira, qual é a probabilidade de termos uma amostra com essa estatística que nós obtivemos? Se aquela probabilidade for menor que o nosso nível de significância, neste caso, se a probabilidade for menor que 0,05, ou seja, menor que 5%, então, nós rejeitamos a hipótese nula e dizemos que temos evidência para a hipótese alternativa. Porém, se a probabilidade de nós termos a estatística que obtivemos para a média for igual ou maior que o nível de significância, nós dizemos que não podemos rejeitar a hipótese nula e não temos evidência para a hipótese alternativa. E o que nós faríamos é o que eu vou chamar aqui de passo 3, que é tomar uma amostra, digamos, neste exemplo que de tamanho n = 100. 100 pessoas que visitam o website amarelo. E medimos algum parâmetro estatístico para essa amostra. Digamos que medimos a média da amostra e obtivemos 25 minutos. E se nós não tivermos o desvio padrão populacional, que na maioria das vezes nós não temos, poderemos calcular o desvio padrão amostral, o "s" aqui, e, no próximo passo, calculamos o valor "P", que é a probabilidade, pelo menos a esta distância da média, de nós assumirmos que a hipótese nula é verdadeira. Ou seja, isto é uma probabilidade condicional, é a probabilidade de que a nossa média amostral, neste caso aqui para uma amostra de tamanho 100, é maior que ou igual a 25 minutos, dado que a nossa hipótese nula seja verdadeira. Em outros vídeos, nós tratamos de falar sobre como fazer isto. Se nós assumirmos que a distribuição amostral das médias amostrais é aproximadamente normal, nós podemos usar a média amostral e o tamanho da nossa amostra além do desvio padrão da amostra. E, talvez, usando uma estatística "t", uma distribuição "t", podemos descobrir como esta probabilidade se comporta aqui. Então, podemos decidir se vamos rejeitar ou não a hipótese nula. E eu vou chamar isto de passo 5, no qual há duas situações. Se o valor "P" for menor que o alfa, então, eu rejeito a minha hipótese nula. E podemos dizer que há evidências para a hipótese alternativa. Agora, se o nosso valor "P" for maior que ou igual ao nível de significância, e neste caso é 0,05, então eu não posso rejeitar a hipótese nula. Eu não vou dizer que eu posso aceitar a hipótese nula. Eu só digo que eu não posso rejeitá-la. Então, quando eu faço todos estes cálculos, eu obtenho um valor "P" e, digamos, que foi de 0,03. E este valor é menor que 0,05 do nível de significância. Então, eu rejeito a hipótese nula. E digo que há evidência para a hipótese alternativa. E isto deveria fazer algum sentido, porque o que estamos dizendo é: ei, veja, tomamos uma amostra e se nós assumirmos a hipótese nula, a probabilidade de ter esta amostra é de 3%, três centésimos. E já que essa probabilidade é menor que a probabilidade deste limite aqui, do nível de significância, nós rejeitamos a hipótese nula e temos evidências para a hipótese alternativa. Por outro lado, poderia haver um cenário em que após fazer os cálculos aqui, nós descobrimos um valor "P". Digamos que de 0,5 que você pode interpretar dizendo: se nós assumirmos que a hipótese nula é verdadeira, ou seja, não há mudança no comportamento do visitante no site após a troca de cor, eu terei 50% de probabilidade de ter este resultado. E esta situação em que o valor "P" é maior que o nível de significância, eu não vou rejeitar a hipótese nula. Então, esta é a base para testes de significância de maneira geral. E isto é aplicável em praticamente todos os campos. Ainda há um ponto que vale a pena deixar bem claro. O valor "P", aquele que estamos usando para decidir se vamos ou não rejeitar a hipótese nula, é a probabilidade de ter a sua estatística amostral dado que a hipótese nula é verdadeira. Algumas vezes as pessoas confundem e dizem: ei, isto é a probabilidade da hipótese nula ser verdadeira, dado que nós temos a estatística obtida para a amostra? E eu digo claramente: não, não estamos tentando medir a probabilidade de que a hipótese nula seja verdadeira ou não. O que eu estou tentando fazer aqui é falar: ei, se assumirmos que a hipótese nula seja verdadeira, qual é a probabilidade que nós temos de conseguir este resultado para a estatística da população? E se essa probabilidade for baixa, digamos, abaixo de um certo limite, que é o nível de significância que nós estabelecemos em algum momento, então, nós decidimos rejeitar a hipótese nula e dizer que temos evidências para a hipótese alternativa. Até o próximo vídeo!