Regressão linear: como a matemática prevê o futuro (com uma sorveteria)

Você olha pela janela de manhã, vê o céu fechado e pega o guarda-chuva. Ninguém chamaria isso de modelagem estatística, mas é exatamente a mesma operação: você usou uma coisa que já sabe (o céu agora) para prever uma coisa que ainda não aconteceu (a chuva mais tarde), apoiado em todas as manhãs parecidas que você já viveu.

Regressão é esse gesto escrito em números. É uma família de modelos estatísticos que estima como um desfecho varia em função de um ou mais preditores, e usa essa relação estimada para calcular valores que ainda não foram observados¹. Na versão mais simples, a regressão linear, tudo isso vira uma reta passando no meio de uma nuvem de pontos.

Neste texto a gente constrói uma regressão do zero com um exemplo de rua, vê a previsão sair, e depois olha com cuidado para os três lugares onde ela costuma errar.

De onde vem o nome "regressão"#

O nome nasceu de um estudo sobre altura. Em 1886, o cientista inglês Francis Galton comparou a estatura de 205 casais e a de seus filhos adultos e notou um padrão que não esperava: pais muito altos tinham filhos altos, mas, em média, um pouco menos altos que eles; pais muito baixos tinham filhos baixos, mas um pouco menos baixos². As alturas pareciam voltar na direção do meio, e Galton chamou isso de regression.

• se o filho repetisse o pai
• o que de fato acontece

O fenômeno hoje se chama regressão à média, e continua pregando peças em pesquisa. Sempre que você seleciona um grupo pelo valor extremo e mede de novo, a segunda medida tende a ficar mais perto da média, mesmo que nada tenha sido feito entre uma medida e outra³. É por isso que "os pacientes com a pressão mais alta do estudo melhoraram" nunca é, sozinho, evidência de que o tratamento funcionou. O nome do fenômeno acabou batizando o método inteiro.

O problema da sorveteria#

Imagine que você tem uma sorveteria na praia. Toda sexta-feira você precisa decidir quantos picolés produzir para o sábado. Se fizer pouco, perde venda. Se fizer muito, joga fora.

Você tem um caderno com a venda de cada dia do último ano e, do lado de cada linha, três anotações: a temperatura máxima, se era fim de semana e se era período de férias escolares.

O que a regressão faz com o caderno#

Coloque cada dia num gráfico, a temperatura no eixo horizontal e os picolés no vertical. Aparece uma nuvem de pontos subindo da esquerda para a direita: quanto mais quente, mais venda.

A regressão linear desenha a reta que melhor representa essa nuvem, e "melhor" aqui tem um critério preciso. Para cada dia, a distância vertical entre o ponto real e a reta é o erro do modelo naquele dia, chamado de resíduo. O método dos mínimos quadrados escolhe, entre todas as retas possíveis, a que deixa a soma desses erros elevados ao quadrado a menor possível¹. Elevar ao quadrado tem duas consequências: erro para cima e erro para baixo passam a contar igual, e errar muito num dia pesa mais do que errar pouco em vários.

• um dia do caderno
• reta de mínimos quadrados
• erro do modelo no dia

O método foi publicado por Adrien-Marie Legendre em 1805. Carl Friedrich Gauss afirmou depois que já o usava desde antes, e a disputa de prioridade entre os dois é um dos episódios mais conhecidos da história da estatística⁴.

Com só a temperatura no modelo, a reta do nosso caderno diz: cada grau a mais está associado a cerca de 33 picolés a mais (32,9, para ser exato). Guarde esse número.

Várias coisas ao mesmo tempo: a regressão múltipla#

Venda de sorvete não depende só do calor. Na regressão múltipla, o modelo considera vários preditores de uma vez e estima quanto cada um contribui com os outros mantidos iguais¹. Esse "com os outros mantidos iguais" é a frase mais importante da estatística aplicada, e é o que separa um coeficiente de uma simples média de grupo.

Colocando temperatura, fim de semana e férias no mesmo modelo, o resultado foi:

O modelo chegou perto das três regras que nós tínhamos escondido nos dados, que é exatamente o que ele deveria fazer. Mas repare no que aconteceu com a temperatura: sozinha, ela parecia valer 32,9 picolés por grau; junto com as outras, caiu para 30,2, o valor verdadeiro.

Por quê? Porque as férias escolares não estão espalhadas pelo ano por acaso. Janeiro pesa mais que julho, e, no nosso caderno, um dia de férias teve em média 27,0 °C contra 25,8 °C dos demais dias. É pouco mais de um grau de diferença, mas o efeito das férias é grande, quase 300 picolés. Sem a variável "férias" no modelo, a temperatura fica sozinha com a conta e leva o crédito por uma parte da venda que não é dela.

Esse erro tem nome: viés de variável omitida⁵. É o motivo pelo qual pesquisadores discutem tanto quais variáveis entram no modelo, e por que a lista de variáveis de ajuste precisa estar no protocolo antes da análise, não depois de ver o resultado. Em pesquisa em saúde essa escolha tem critérios próprios e algumas armadilhas conhecidas, e o LabEpi trata delas em o que significa um resultado ajustado por idade e sexo.

• dia comum
• fim de semana
• férias
• no modelo com as três: +30,2 por grau
• só com a temperatura: +32,9 por grau

Outra medida que aparece nesse momento é o R², a proporção da variação nas vendas que o modelo consegue explicar¹. Só com a temperatura, o R² foi 0,41, ou 41%. Com as três variáveis, subiu para 0,76. Vale lembrar que R² alto não é sinônimo de modelo bom: ele diz o quanto o modelo acompanha os dados que já tem, não o quanto ele acerta em dados novos.

Prevendo o futuro: o sábado de janeiro#

Agora a parte divertida. A previsão do tempo diz: sábado, 34 °C, primeira semana de janeiro. A conta do modelo é uma soma.

O 98 do começo é o intercepto, o valor que o modelo atribui a um dia de semana, fora de férias, a 0 °C. Como o caderno não tem nenhum dia a 0 °C, esse número não deve ser lido como uma previsão: ele é só o ponto de apoio da conta.

E nenhum sábado é igual ao outro. O modelo sabe disso, e calcula também uma faixa provável para um dia específico, chamada intervalo de predição. Em torno dos 1.616 picolés, essa faixa vai de 1.373 a 1.859, com 95% de confiança⁶.

• previsão para um sábado de férias
• intervalo de predição de 95%
• a faixa no dia do exemplo

Para decidir quanto produzir, a faixa é mais útil que o número sozinho. Ela é larga porque descreve um dia, com toda a variação que um dia tem, e não a média de muitos dias parecidos. Confundir as duas coisas é um erro comum: o intervalo de confiança da média é estreito, o intervalo de predição de uma observação futura é largo, e quem vai produzir picolé amanhã precisa do segundo.

Três cuidados antes de confiar na previsão#

1. Andar junto não é causar#

O caderno também registra a venda de cerveja do quiosque ao lado, e ela sobe e desce junto com a de picolé. Se você usar só a cerveja para prever os picolés, o modelo parece ótimo: ele explica 57% da variação. Mas quando temperatura, fim de semana e férias entram no mesmo modelo, o coeficiente da cerveja cai para praticamente zero. A cerveja não vende picolé. As duas vendas sobem pelos mesmos motivos, e isso basta para que uma pareça explicar a outra.

Um coeficiente de regressão mostra associação, não necessariamente causa. Afirmar que uma coisa causa outra exige um desenho de estudo adequado e suposições explícitas sobre o que não foi medido⁷, e esse é o terreno de correlação e causalidade, no LabEpi.

2. O modelo só conhece o que viu#

O caderno tem dias entre 15 °C e 39 °C. Se você pedir a previsão para 45 °C, o modelo responde na hora, com a mesma cara de confiança: 1.948 picolés. Só que ele nunca viu um dia de 45 °C. Talvez, nesse calor, ninguém saia de casa e a venda despenque. Prever fora da faixa dos dados é extrapolação, e nada garante que a reta continue valendo ali¹.

3. O mundo muda#

Se abre uma sorveteria concorrente na esquina, ou se cai uma chuva fora da previsão, o modelo erra, porque nada disso está no caderno. A regressão não adivinha o futuro. Ela supõe que o futuro vai se parecer com o passado, e essa suposição é uma escolha sua, não uma propriedade da matemática.

Os principais tipos de regressão#

A regressão linear é a porta de entrada de uma família grande. A escolha do tipo começa por uma pergunta só: como é o desfecho que você quer prever? É a mesma lógica que organiza os tipos de variável, agora aplicada ao lado esquerdo da equação.

Como é o desfecho que você quer prever?

• Linear, para um número contínuo

  Quantos picolés vou vender?

• Logística, para sim ou não

  O estoque vai esgotar antes das 16h?

• Poisson, para uma contagem

  Quantos clientes entram por hora?

• Multinomial, para uma categoria entre várias

  Qual sabor o cliente vai escolher?

• Cox, para o tempo até algo acontecer

  Quanto tempo até um cliente parar de voltar?

Em pesquisa em saúde, a logística é provavelmente a mais usada das cinco, porque boa parte dos desfechos é sim ou não: teve o evento ou não teve, tem a doença ou não tem. Quando o que interessa é a frequência desse "sim" numa população, o terreno passa a ser o da prevalência.

Existem muitas outras, como as que lidam com relações curvas, com centenas de preditores (ridge e lasso) ou com dados organizados em grupos, do tipo pacientes dentro de hospitais (modelos multinível)⁶. Vamos tratar de cada uma em textos próprios. Para começar, a regra é esta: o tipo de desfecho decide o modelo.

O que fica#

Volte à sexta-feira do começo, com o caderno aberto e a decisão de quantos picolés produzir. A regressão não tirou a incerteza dessa decisão, e não é esse o trabalho dela. O que ela fez foi transformar um palpite em uma faixa com tamanho conhecido, construída a partir de tudo o que o caderno já registrou.

É por isso que a pergunta final, a que resume todas as outras, não é sobre matemática:

Os dados que geraram este modelo se parecem com a situação que eu quero prever?

Se a resposta for sim, a previsão merece confiança, dentro da faixa que ela mesma informa. Se for não, nenhum R² alto conserta isso.

Perguntas frequentes sobre regressão#

O que é regressão, em uma frase?#

É um modelo estatístico que estima como uma variável muda de acordo com outras e usa essa relação para prever valores ainda não observados. Na regressão linear, essa relação é resumida por uma reta.

Por que o método se chama "regressão"?#

O nome vem de Francis Galton, que em 1886 observou que filhos de pais muito altos ou muito baixos tinham alturas mais próximas da média do que seus pais. Ele chamou o fenômeno de regressão, e o termo acabou batizando o método estatístico inteiro.

Qual a diferença entre regressão simples e múltipla?#

A simples usa um preditor só; a múltipla usa vários ao mesmo tempo. Na múltipla, o efeito de cada preditor é estimado com os outros mantidos iguais, o que evita atribuir a uma variável o efeito de outra. Deixar de fora uma variável importante causa o chamado viés de variável omitida.

O que são mínimos quadrados?#

É o critério que escolhe a reta da regressão linear. Para cada observação, calcula-se o erro do modelo (a distância vertical entre o ponto e a reta), eleva-se esse erro ao quadrado e somam-se todos. A reta escolhida é a que torna essa soma a menor possível.

Quais são os principais tipos de regressão?#

Os mais usados são linear (desfecho numérico contínuo), logística (desfecho sim ou não), Poisson (contagem), multinomial (categoria entre várias) e Cox (tempo até um evento). A escolha começa sempre pelo tipo de desfecho, não pelo tipo dos preditores.

Regressão prova que uma coisa causa outra?#

Não por si só. Ela mostra associação entre as variáveis que estão no modelo. Para falar em causa é preciso um desenho de estudo adequado e suposições explícitas, como a ausência de fatores de confusão não medidos.

Qual a diferença entre intervalo de confiança e intervalo de predição?#

O intervalo de confiança descreve a incerteza sobre a média do desfecho em dadas condições. O intervalo de predição descreve a faixa em que uma observação individual futura deve cair, e por isso é sempre mais largo. Para decidir sobre um caso concreto, o intervalo de predição é o indicado.

Referências

Os dados da sorveteria são simulados e servem apenas de exemplo didático. As referências abaixo sustentam os conceitos, não os números.

1. Montgomery DC, Peck EA, Vining GG. Introduction to linear regression analysis. 5th ed. Hoboken: Wiley; 2012.
2. Galton F. Regression towards mediocrity in hereditary stature. J Anthropol Inst G B Irel. 1886;15:246-63. doi:10.2307/2841583.
3. Barnett AG, van der Pols JC, Dobson AJ. Regression to the mean: what it is and how to deal with it. Int J Epidemiol. 2005;34(1):215-20. doi:10.1093/ije/dyh299.
4. Stigler SM. Gauss and the invention of least squares. Ann Stat. 1981;9(3):465-74. doi:10.1214/aos/1176345451.
5. Wooldridge JM. Introductory econometrics: a modern approach. 7th ed. Boston: Cengage Learning; 2020.
6. James G, Witten D, Hastie T, Tibshirani R. An introduction to statistical learning: with applications in R. 2nd ed. New York: Springer; 2021. doi:10.1007/978-1-0716-1418-1.
7. Hernán MA. The C-word: scientific euphemisms do not improve causal inference from observational data. Am J Public Health. 2018;108(5):616-9. doi:10.2105/AJPH.2018.304337.
8. Cox DR. Regression models and life-tables. J R Stat Soc Series B Stat Methodol. 1972;34(2):187-220. doi:10.1111/j.2517-6161.1972.tb00899.x.