Em um post anterior sobre questões de pesquisa tendenciosa, passamos por perguntas de pesquisa ruins (por exemplo, perguntas principais ou de duplo barril) que podem afetar negativamente os resultados de sua pesquisa. Neste posto, estaremos mergulhando na outra grande causa de dados enganosos de pesquisa: o viés de pesquisa.
Primeiro, vamos definir o viés como um todo: o viés é definido como "uma inclinação de temperamento ou perspectiva". O conceito surge freqüentemente em sociologia e psicologia, porque está associado a preconceitos ou favoritismos. Mas como o viés aparece nas pesquisas?
O viés de pesquisa é um "erro sistemático introduzido na amostragem ou nos testes, selecionando ou encorajando um resultado ou respondendo sobre outros". Esse "incentivo" para um resultado específico é o que leva a um viés de pesquisa, onde você pode estar obtendo apenas um tipo de perspectiva do cliente.
Há dois tipos principais de viés de pesquisa de clientes que devem ser evitados para que você não caia na armadilha de basear as decisões de negócios em resultados distorcidos de pesquisas:
- Viés de seleção, onde os resultados são distorcidos de certa forma porque você só capturou o feedback de um determinado segmento de seu público.
- Viés de resposta, onde há algo sobre como o questionário de pesquisa real é construído que incentiva um certo tipo de resposta, levando a erro de medição.
Vamos começar examinando os três principais tipos de viés de seleção que podem afetar seus resultados, a saber, viés de amostragem, viés de não resposta e viés de sobrevivência.
1. Viés de amostragem: Obtenção de representação completa
Para qualquer tipo de pesquisa de pesquisa, o objetivo é obter feedback das pessoas que representam o público de que você gosta - ou, em termos estatísticos, sua "amostra". O viés de amostragem ocorre quando você só recebe feedback de uma parte específica de seu público, ignorando todas as outras. Isto ocorre freqüentemente porque um segmento de clientes é deixado de fora do processo de pesquisa, e pode não ter sido convidado a responder a sua pesquisa.
Uma empresa de software como serviço (SaaS) provavelmente tem várias personas de compradores, cada uma interagindo com o produto de uma maneira diferente - digamos, o analista que faz login todos os dias para fazer um trabalho tático, o gerente que verifica o progresso enquanto monitora os resultados e um diretor que paga as contas e é responsável por comprovar o retorno sobre o investimento (ROI). Dependendo de como você distribui as pesquisas (com que frequência e por meio de qual canal), você pode acabar obtendo feedback de apenas um subconjunto da sua base de clientes, ou seja, viés de amostragem.
O mesmo vale para o espaço comercial. Se você tem clientes que compram de você on-line e pessoalmente, mas você só envia pesquisas por e-mail para a base de clientes on-line, você está perdendo o feedback daqueles que compraram na loja. Seus resultados conterão um viés de amostragem.
Às vezes, a filtragem de um grupo específico de indivíduos de uma pesquisa é intencional. Por exemplo, você pode estar procurando um feedback muito específico sobre um novo recurso de software e precisa da opinião de seus usuários avançados. Ou, se estiver tentando aprimorar sua experiência de comércio eletrônico, então só quer o feedback daqueles que passaram por toda a experiência de compra on-line.
Se for esse o caso, em seu relatório de pesquisa, é importante ressaltar suas conclusões, declarando qual a perspectiva da população suas conclusões refletem, e como isso está de acordo com seus objetivos de pesquisa.
Como reduzir o viés da amostragem
Para reduzir o viés de amostragem, talvez seja necessário dar alguns passos atrás e garantir que seu processo de projeto de pesquisa não tenha deixado alguém de fora.
Aqui estão alguns passos a seguir:
- Tenha um bom controle sobre o que você gostaria de receber de feedback, quem seria capaz de fornecer esse feedback e como você obterá esse feedback. Traçar os principais pontos de contato da jornada do cliente para cada uma de suas buyer personas é uma ótima maneira de começar.
- Certifique-se de que o método de distribuição e o momento da pesquisa façam sentido para esses clientes. Uma pesquisa por e-mail ou pela Web funcionará melhor? Para os seus usuários avançados, uma pesquisa no aplicativo é provavelmente uma aposta certa, enquanto uma pesquisa por e-mail após uma apresentação trimestral de negócios pode ser mais prática para alguém em nível de diretoria ou gerência.
Quando você souber exatamente quem receberá sua pesquisa, e como enviará essas pesquisas, sua próxima tarefa será fazer com que as pessoas respondam.
2. Viés de não resposta: Fazer com que as pessoas respondam
Mesmo que você tenha incluído todo o seu público principal em sua pesquisa, ainda não há garantia de que eles responderão à sua pesquisa.
Por exemplo, usuários inativos ou pessoas que compraram seu produto há muito tempo provavelmente não responderão, já que não têm uma forte lembrança de sua experiência. Eles também podem não ter nenhum feedback útil a fornecer. Por outro lado, as pessoas que investiram muito em seu negócio e usam seu serviço muitas vezes estão provavelmente mais propensas a responder, e têm um feedback de maior qualidade para compartilhar.
O importante é ter em mente o quanto as pessoas que responderam são representativas do público com o qual você se importa. Se a taxa de resposta da sua pesquisa for baixa, mas as vozes de todos os seus principais interessados estiverem presentes, talvez seja menos importante tentar aumentar o número de pessoas que respondem à pesquisa. No entanto, se observar a distribuição das respostas e descobrir que apenas usuários de um determinado produto, faixa etária ou gênero estão respondendo, tente aumentar a taxa de resposta nessas áreas para completar o feedback.
O medo da repercussão também pode impedir que as pessoas respondam. Imagine uma pesquisa de experiência do funcionário em que você pergunta sobre a carga de trabalho ou tenta obter feedback gerencial de subordinados diretos. Se a organização não tiver definido expectativas quanto ao anonimato, os funcionários com opiniões negativas podem nem responder.
Como reduzir o viés de não-resposta
Se você não estiver recebendo o feedback de que precisa, há várias maneiras de aumentar os índices de resposta à pesquisa e, ao mesmo tempo, manter alta a qualidade do feedback. Semelhante à solução para reduzir o viés de amostragem, você pode estar perdendo o feedback simplesmente porque seu método de distribuição ou tempo de pesquisa está desligado.
Aqui estão algumas das nossas principais dicas para tentar:
- Ajuste o tempo de pesquisa para o tipo de feedback que você gostaria. Por exemplo, peça o feedback do atendimento ao cliente imediatamente após um problema ter sido resolvido.
- Mantenha sua pesquisa curta (e deixe que as pessoas saibam que é curta) para que tenham mais probabilidade de responder à sua pesquisa.
- Tente diferentes métodos de distribuição da pesquisa (e-mail, web ou link), e certifique-se de seguir as melhores práticas para cada tipo de método de distribuição.
- No caso de tópicos mais sensíveis, informe as pessoas que a pesquisa é anônima, e que não haverá repercussões em suas respostas.
Para uma lista completa de táticas, consulte este guia sobre como aumentar as taxas de resposta às pesquisas.
3. Viés de amostragem de sobrevivência: Obtendo uma segunda opinião
O viés de sobrevivência ocorre quando sua pesquisa é limitada aos clientes, clientes e funcionários que permaneceram com você ao longo do tempo. Como você pode imaginar, o feedback deles pode ser muito diferente da opinião daqueles que se viraram ou deixaram sua empresa.
Pode nem sempre ser possível alcançar esses contatos perdidos, mas você poderia ganhar dados valiosos ao incluir essa amostragem em sua pesquisa atual.
Como reduzir o viés de sobrevivência
Acompanhamento com clientes e funcionários rotativos que vão deixar a empresa com pesquisas de saída. Tente entender suas razões, para que você possa prestar contas no futuro. As pesquisas de perdas potenciais, onde você pergunta aos clientes potenciais porque eles não se tornaram clientes reais, são outra boa fonte de feedback para o crescimento de seu negócio.
Agora que passamos pelos principais tipos de viés de seleção que podem afetar suas pesquisas com clientes, vamos falar sobre o viés de resposta.
Para deixar claro, "viés de resposta" não é o oposto de "viés de não resposta". Para revisar, o viés de não resposta se concentra no que acontece quando as pessoas que recebem sua pesquisa optam por não responder. O viés de resposta diz respeito a construções sociais ou de pesquisa que podem afetar a qualidade real das respostas da pesquisa.
4. Viés de aquisição: Quando se trata de "sim".
Embora seja sempre maravilhoso ouvir que você é incrível, às vezes você pode se perguntar se isso é verdade. Se todos os resultados da sua pesquisa forem positivos, isso pode ser resultado do viés de aquiescência ou do fenômeno do "yes-man".
As normas sociais e a fadiga da pesquisa são dois fatores que levam a um viés de aquiescência. É fácil dizer "sim" por cortesia, mesmo que seja falso. Se você empilhar uma pesquisa longa ou complicada em cima disso, as pessoas podem ficar cansadas de dar respostas ponderadas, e simplesmente falhar em respostas positivas para passar pelas perguntas.
Note que estas normas variam de acordo com o país. Em alguns lugares, as pessoas podem evitar dar classificações muito duras ou muito positivas, e tendem a obter pontuações mais médias o tempo todo.
Felizmente, há algumas maneiras de elaborar seu questionário para evitar o preconceito de consentimento.
Como mitigar o viés de aquiescência
A melhor maneira de minimizar a chance de consentimento é usar escalas de perguntas e respostas bem pensadas, para que seja fácil para seus clientes oferecer suas sugestões sem sentir que a resposta que eles querem não está lá.
- Varie suas perguntas e respostas e use perguntas de múltipla escolha, além de perguntas de escala. Aqui está um resumo dos diferentes tipos de perguntas de pesquisa para usar em sua pesquisa.
- Não use perguntas importantes, que normalmente ditam o que você gostaria de ouvir versus como alguém pode realmente se sentir.
- Evite perguntas fechadas que permitam apenas uma resposta "sim" ou "não", pois elas não oferecem níveis suficientes de nuances para as pessoas escolherem.
- Use uma escala de resposta que não se presta tão facilmente a um viés de aquiescência (por exemplo: "Definitivamente não irá, Provavelmente não irá, Não sei, Provavelmente irá, Definitivamente irá")
- Ao fazer uma pesquisa internacional com um software CES, CSAT ou NPS softwareverifique o feedback aberto em relação à classificação inicial para verificar se as normas culturais podem estar distorcendo a pontuação.
5. Preconceito de ordem de perguntas: Procurar consistência
O viés de ordem de perguntas, também conhecido como viés de efeitos de ordem, pode influenciar as respostas de sua pesquisa através de "priming" e o desejo que as pessoas têm de dar respostas internamente consistentes.
Por exemplo, considere estas duas questões:
- Quão feliz você está em sua vida em geral?
- O quanto você está feliz com seu casamento?
Estudos têm mostrado que quando se faz a pergunta mais específica sobre o casamento primeiro, isso influencia como as pessoas respondem à pergunta mais geral sobre quão felizes eles são em geral. As perguntas mais específicas se tornam o contexto principal, e a pergunta mais geral se torna um resumo de como as pessoas se sentem com base nas perguntas anteriores feitas. Se elas responderem que estão felizes em seu casamento, também é mais provável que digam que estão felizes em geral devido a um desejo de permanecerem coerentes internamente.
Isto porque as pessoas se lembram como respondem a cada pergunta e querem responder a todas as perguntas de uma maneira consistente. Foi constatado que o viés de ordem das perguntas ocorre em uma grande variedade de cenários. Você pode aprender mais sobre exemplos e o impacto do viés de ordem de perguntas neste artigo.
Como limitar o enviesamento de pedidos de perguntas
O objetivo de sua pesquisa pode ter impacto na forma como você lida com o enviesamento de pedidos de perguntas. Aqui estão alguns métodos para tentar, dependendo de sua situação:
- Teste sua pesquisa com um olho para o priming em mente
- Para pesquisas de satisfação, comece com uma pergunta geral que mede toda a experiência antes de fazer perguntas específicas sobre cada parte da experiência
- Para pesquisas de pesquisa de mercado, aleatorize a ordem das perguntas
- Agrupar perguntas por tópico, mas randomizar a ordem das perguntas dentro desse tópico
6. Responder opção de ordem/primária: Responder a ordem também é importante
A ordem de suas respostas para cada pergunta também faz diferença na forma como os clientes respondem à sua pesquisa, especialmente quando se trata de perguntas de múltipla escolha. Há dois tipos de viés de ordem em jogo: viés de primazia e viés de recência.
O viés de primazia é quando as pessoas escolhem entre as primeiras opções de resposta, uma vez que podem não ter tido tempo para ler todas as escolhas. O viés de primazia é na verdade quando as pessoas escolhem a última resposta da lista, já que essa última opção é a "resposta mais recente", e portanto mais memorável.
Como evitar o viés de ordem de resposta
Em primeiro lugar, tenha em mente que o viés de ordem de resposta só se aplica a perguntas de múltipla escolha. Você não gostaria de randomizar a ordem de resposta de uma pergunta de escala de classificação, onde a ordem em si significa algo. Fazer isso seria confuso e levaria a respostas imprecisas.
Aqui estão algumas maneiras de evitar a resposta ao viés de ordem de opção para perguntas de múltipla escolha:
- Randomize a ordem da opção de resposta
- Limite sua lista de opções de resposta, mas inclua uma opção de resposta livre para capturar quaisquer escolhas que você possa ter perdido
7. Desejabilidade/conformidade social: O fator de frieza
Enquanto o viés de aquiescência envolve responder "sim" ou na afirmativa, o viés de desejo social significa que as pessoas respondem às perguntas de uma forma que elas pensam que as fará parecer boas (ou mais atraentes socialmente). Elas estão em conformidade com normas aceitáveis, o que pode levá-las a exagerar sobre seus hábitos, crenças e preferências pessoais.
Especificamente, as escolhas de estilo de vida que são "más" ou "insalubres" (como beber, fumar, expressões de emoções negativas, ou outros hábitos negativos) podem ser deturpadas. No entanto, se se estender a esse conceito geral, uma pessoa pode evitar associações racistas, sexistas ou outras associações intolerantes ao se deturparem no formulário da pesquisa. Eles não querem ser percebidos de forma negativa.
Algumas pessoas também podem exagerar informações demográficas como renda, educação, ou outros fatores sociais ou de estilo de vida, independentemente de a pesquisa ser anônima.
Como reduzir o viés de desejabilidade social
Estes tipos de perguntas de pesquisa normalmente surgem no final da pesquisa com clientes, quando se tenta saber mais sobre a demografia e a psicografia dos clientes. A formulação cuidadosa das perguntas e o cruzamento de respostas para a consistência podem ajudar a identificar e reduzir o impacto do viés de desejo social.
- Permitir respostas anônimas
- Analise cuidadosamente como você formulou suas perguntas e respostas
- Usar questões neutras que evitem o viés de desejabilidade social
- Selecionar aleatoriamente perguntas do repositório de possibilidades
- Verifique as respostas em relação ao que você sabe sobre seus clientes através de respostas anteriores ou de seus dados de clientes existentes
Sumário
A seleção e o viés de resposta se infiltram em cada situação de pesquisa, mas seguindo as melhores práticas de projeto de pesquisa podem minimizar seu efeito. Pode não ser possível remover todas as formas de enviesamento de cada pesquisa, mas ao focar cuidadosamente em seu objetivo, e usando estratégias para lidar efetivamente com as situações de enviesamento de pesquisa mais prevalecentes, você deve ser capaz de obter os resultados de que precisa.
Você também pode contar com ferramentas gratuitas de pesquisa on-line, como Delighted , para fornecer uma solução completa de pesquisa de satisfação do cliente e os recursos necessários para tornar a criação de pesquisas simples, otimizada e eficaz.
