\
Vivemos um conflito entre a pressão económica para produzir resultados de investigação rápidos e baratos e a exigência científica de rigor. Centenas, senão milhares, de personas realistas podem ser geradas em minutos por fornecedores que prometem resultados sólidos. Mas estes funcionam frequentemente como caixas negras metodológicas, produzindo resultados que não podem ser validados, podem conter preconceitos ocultos e podem induzir silenciosamente em erro a tomada de decisões.
O mercado de dados sintéticos está a crescer rapidamente, com avaliações projetadas para aumentar de aproximadamente 267 milhões de dólares em 2023 para mais de 4,6 mil milhões de dólares até 2032. Impulsionados pela procura de insights instantâneos numa economia sempre ativa, 95% dos líderes de insights planeiam utilizar dados sintéticos no próximo ano e o apelo é claro. Velocidade, escala, eficiência de custos e a capacidade de gerar insights de públicos de nicho são os principais impulsionadores.
Para passar os testes sintéticos de uma abordagem puramente experimental para uma prática confiável e escalonável, as organizações precisam abordar esses riscos diretamente. Várias abordagens podem ajudar a superar o ceticismo e criar um modelo mais sustentável. É importante identificar as principais áreas problemáticas e abordá-las diretamente.
Embora a economia de custos e a rapidez na obtenção de insights sejam razões convincentes para a adoção, vários desafios permanecem. As organizações mais bem-sucedidas compreendem os pontos fortes e fracos das diferentes ferramentas sintéticas e quando usá-las.
Seus clientes pesquisam em qualquer lugar. Certifique-se de que sua marca aparece.
O kit de ferramentas de SEO que você conhece, além dos dados de visibilidade de IA de que você precisa.
Comece o teste gratuito
Comece com
Desafios comuns com abordagens de pesquisa sintética
Por que os LLMs gerais não atendem às expectativas
Por que você não pode simplesmente fazer suas perguntas de pesquisa ao ChatGPT? Um equívoco comum na pesquisa sintética é que fornecer um LLM com uma história detalhada garante um resultado representativo. Experiências recentes em grande escala sugerem o oposto.
Estudos iniciais mostram que estimular um LLM como ChatGPT, Claude ou Gemini a produzir mais conteúdo por pessoa aumenta o preconceito/homogeneidade em vez de criar um conjunto diversificado de resultados. Por exemplo, as personas utilizadas para prever os resultados das eleições presidenciais dos EUA de 2024 (com histórias de fundo detalhadas fornecidas por um LLM) varreram todos os estados para os Democratas e não conseguiram reflectir a diversidade política da população.
Este fenómeno realça um problema conhecido como lavagem de preconceitos, um problema generalizado na IA que afecta tudo, desde o reconhecimento facial até à investigação sintética, uma vez que os LLMs são formados em dados da Internet que reflectem desproporcionalmente uma visão do mundo ocidental, educada, industrializada, rica e democrática (ESTRÓPICA). Pedir aos modelos que sejam personas diversas produz uma média estatística filtrada por esse viés, transformando a exclusão em neutralidade da IA.
Além disso, os entrevistados sintéticos podem sofrer com o Princípio Pollyanna, ou com a tendência dos LLMs de serem excessivamente agradáveis e positivos nas suas respostas às solicitações dos utilizadores. A maioria dos usuários de interfaces generativas de bate-papo com IA provavelmente já se deparou com isso: as ideias são recebidas com incentivo como ‘ótima ideia’ ou ‘boa escolha’, em vez de avaliação objetiva.
Por exemplo, em um teste de usabilidade comparando entrevistados sintéticos com humanos, os usuários sintéticos relataram ter concluído todos os cursos on-line. Onde os usuários humanos podem relatar o abandono da maioria dos cursos on-line, os usuários sintéticos relataram a conclusão.
Altas taxas de abandono entre usuários reais confirmaram que os entrevistados sintéticos estavam tentando dizer o que achavam que os experimentadores queriam ouvir. Essa bajulação pode fazer com que conceitos de produtos ruins sejam afirmados por agentes de IA prestativos.
O ajuste fino fornece o contexto que falta nas abordagens sintéticas
Os LLMs não são treinados em um conjunto amplo de informações para produzir casos de uso realistas em quase todos os cenários? A maneira mais eficaz de alinhar os entrevistados sintéticos com a realidade é fazer o ajuste fino usando dados proprietários. Embora os LLMs gerais forneçam estimativas de base decentes para os produtos existentes, eles enfrentam problemas novos e segmentos sub-representados.
Em um experimento, uma equipe questionou um modelo básico de GPT sobre uma pasta de dente fictícia com sabor de panqueca e se deparou com o Princípio de Pollyanna de frente. Sem dados de treinamento, o modelo previu que as pessoas iriam gostar – em outras palavras, alucinava uma preferência pela novidade. Depois que os pesquisadores ajustaram o modelo com base em dados de pesquisas anteriores sobre preferências de pasta de dente, o resultado mudou corretamente para negativo.
Num outro estudo sobre a conveniência de um projetor integrado em laptops, o modelo básico superestimou a disposição a pagar por um fator de três. Após o ajuste fino com dados de pesquisa em laptops padrão, o erro foi corrigido, alinhando os resultados sintéticos com os benchmarks humanos.
Obtendo os melhores resultados com produtos sintéticos
A vantagem competitiva na investigação sintética não é o modelo em si — que está a tornar-se uma mercadoria — mas o contexto proprietário que o condiciona. Por exemplo, o Dollar Shave Club utilizou painéis sintéticos baseados em dados de categorias para validar novos segmentos de clientes em dias, em vez de meses, alcançando resultados que refletiam o comportamento humano por uma fração do esforço.
Algumas abordagens podem ajudá-lo a obter os melhores resultados da pesquisa sintética.
Treine sintético, teste real
Para enfrentar alguns desses desafios, a indústria de pesquisa de mercado propôs uma metodologia de validação para toda a indústria conhecida como trem sintético, teste real (TSTR). Nesta abordagem, os modelos são treinados em dados sintéticos e testados quanto à validade preditiva em relação a uma amostra retida de dados do mundo real. Os primeiros resultados foram positivos.
Esta abordagem reconhece as deficiências de confiar apenas em LLMs disponíveis no mercado como ponto de partida, bem como os riscos de considerar resultados sintéticos pelo seu valor nominal, sem validação. Ao usar métodos sintéticos antecipadamente e validar com dados reais, as equipes podem economizar tempo e custos e, ao mesmo tempo, criar confiança nos resultados.
Utilizando governança e transparência
Ter sucesso com a pesquisa sintética significa que pesquisadores e leitores não podem abraçar a falácia da persona sintética – a crença de que os LLMs possuem o equivalente à psicologia humana e aos traços da personalidade.
Em vez disso, é necessária uma abordagem de validação mais rigorosa, apoiada por barreiras de governação, processos bem documentados e transparência nos métodos utilizados.
Uma lista de verificação de transparência de persona pode orientar os pesquisadores à medida que eles se envolvem com personas sintéticas:
- Domínio do aplicativo: A tarefa específica que a persona deve realizar.
- População alvo: O grupo-alvo demográfico que a persona pretende representar, em vez de depender de descrições genéricas.
- Proveniência dos dados: Se os conjuntos de dados existentes foram reutilizados ou modificados para construir as personas.
- Validade ecológica: Se a interação experimental reflete contextos de uso do mundo real.
A transparência resolve dois desafios. Aborda questões éticas em torno da divulgação e cria confiança, mostrando como as abordagens sintéticas funcionam e onde são insuficientes. À medida que a influência sintética cresce, a distinção entre conteúdo real e sintético tornar-se-á crítica.
Confie, mas verifique
Uma abordagem realista à investigação sintética significa abandonar a crença de que os LLM reflectem inerentemente a psicologia humana e, em vez disso, concentrar-se na avaliação comparativa empírica, na afinação e na transparência.
A pesquisa sintética funciona se você respeitar seus limites
A pesquisa sintética mostra um grande potencial, mas é uma promessa com um porém. A promessa é velocidade e escala sem precedentes e o problema é o risco de preconceito e alucinação.
Reconhecer esses desafios e construir governança e barreiras de proteção para mitigá-los ajudará você a ter sucesso. Isto também transforma o cepticismo interno numa abordagem de governação estruturada que equilibra a eficiência com os resultados, criando uma situação vantajosa para todos.
