hub/textos/quando-a-ia-parece-magica-a-confianca-vira-risco.md
1
<!-- ensaios / artigo -->
2
# Quando a IA parece mágica, a confiança vira risco
3
 
4
> Em radiologia, alfabetização em IA não é cultura geral sobre tecnologia. É uma camada de segurança operacional: quanto mais a IA parece mágica, mais o radiologista precisa transformar confiança em perguntas verificáveis sobre mecanismo, dado, erro, escopo e responsabilidade.
5
 
6
Publicado em 27 de maio de 2026
7
 
8
Há uma hipótese desconfortável sobre a adoção de IA: talvez a receptividade aumente quando a compreensão diminui.
9
 
10
Não porque pessoas com menor alfabetização em IA sejam ingênuas por natureza.
11
 
12
Mas porque, quando o mecanismo desaparece, a saída parece mais impressionante.
13
 
14
Um sistema escreve, resume, detecta, prioriza, conversa, sugere e explica. Para quem não enxerga dados, treinamento, arquitetura, limiares, validação, incerteza e erro, parte disso pode parecer quase mágica.
15
 
16
Em medicina, esse ponto muda de importância.
17
 
18
No consumo comum, encantamento pode ser estratégia de adoção. Em radiologia, encantamento pode virar risco operacional.
19
 
20
## O achado incômodo
21
 
22
O artigo de Stephanie Tully, Chiara Longoni e Gil Appel, publicado no *Journal of Marketing*, investigou a relação entre alfabetização em IA e receptividade à IA.
23
 
24
A intuição esperada seria simples: quem entende mais de IA deveria aceitar mais IA.
25
 
26
Mas os autores encontraram o contrário em vários estudos. Pessoas com menor alfabetização objetiva em IA tendiam a demonstrar maior receptividade ao uso de IA. A explicação proposta não foi que essas pessoas achavam a IA mais capaz, mais ética ou menos ameaçadora. O mecanismo central era outro: elas tinham maior tendência a perceber a IA como mágica e a sentir admiração diante de tarefas que pareciam exigir atributos humanos.
27
 
28
Esse achado nasceu em contexto de marketing e comportamento do consumidor.
29
 
30
Mas ele tem uma consequência direta para saúde.
31
 
32
Se menor entendimento aumenta receptividade, então aceitação não pode ser usada como sinal simples de maturidade.
33
 
34
Um hospital pode aceitar uma solução cedo demais.
35
 
36
Um gestor pode enxergar eficiência antes de enxergar risco.
37
 
38
Um médico pode confiar em uma saída plausível antes de entender seu limite.
39
 
40
Um paciente pode se impressionar com uma explicação fluida sem saber de onde ela veio.
41
 
42
Em todos esses casos, o problema não é gostar de tecnologia.
43
 
44
O problema é confundir fluidez com validade.
45
 
46
## Radiologia é terreno fértil para esse efeito
47
 
48
Radiologia é uma das áreas em que a IA parece mais convincente.
49
 
50
Há uma imagem.
51
 
52
Há um achado.
53
 
54
Há uma marcação.
55
 
56
Há um escore.
57
 
58
Há um texto.
59
 
60
Há uma fila que muda.
61
 
62
Do ponto de vista visual e operacional, o sistema parece estar fazendo algo muito próximo do que o radiologista faz: ver, selecionar, priorizar e descrever.
63
 
64
Isso aumenta a força psicológica da ferramenta.
65
 
66
Uma classificação binária pode parecer decisão clínica. Um heatmap pode parecer explicação. Um pré-laudo pode parecer interpretação. Um escore de urgência pode parecer prioridade objetiva. Um chatbot que reescreve um laudo para linguagem leiga pode parecer compreensão.
67
 
68
Mas cada uma dessas saídas esconde perguntas técnicas.
69
 
70
Qual foi o endpoint?
71
 
72
Qual foi o dataset?
73
 
74
A população era parecida?
75
 
76
O protocolo era parecido?
77
 
78
O limiar foi escolhido para sensibilidade, especificidade, workload ou custo?
79
 
80
O erro aparece mais em algum equipamento, faixa etária, subtipo de doença ou indicação clínica?
81
 
82
O modelo sabe quando deve se abster?
83
 
84
A interface permite verificar a sugestão ou apenas a torna visualmente convincente?
85
 
86
Essas perguntas não tiram valor da IA.
87
 
88
Elas tiram a IA do campo da magia.
89
 
90
## O radiologista não deve ser usuário encantado
91
 
92
Na prática médica, o radiologista não pode ocupar apenas o lugar de usuário impressionado pela ferramenta.
93
 
94
Ele precisa ocupar o lugar de intérprete do mecanismo.
95
 
96
Isso não significa que todo radiologista precise ser engenheiro de machine learning. Também não significa que todo serviço precise transformar médicos em cientistas de dados.
97
 
98
Significa algo mais concreto: o radiologista precisa ter alfabetização suficiente para saber que tipo de pergunta fazer antes de incorporar a saída da IA ao cuidado.
99
 
100
Em radiologia, alfabetização em IA deveria incluir pelo menos:
101
 
102
- distinguir performance de benchmark de performance local;
103
- entender que acurácia média pode esconder subgrupos ruins;
104
- reconhecer diferença entre detecção, triagem, priorização, segmentação, resumo e diagnóstico;
105
- perguntar qual é o falso negativo operacionalmente perigoso;
106
- perguntar o que muda quando o modelo erra com alta confiança;
107
- entender que heatmap não é prova de causalidade;
108
- saber que calibração importa tanto quanto discriminação;
109
- reconhecer risco de drift por protocolo, equipamento, população e linguagem;
110
- separar utilidade de workflow de validade clínica;
111
- saber quando uma saída deve ser tratada como sugestão, alerta, segunda leitura ou ruído.
112
 
113
Essa alfabetização não é decorativa.
114
 
115
Ela muda comportamento.
116
 
117
O radiologista alfabetizado em IA não é necessariamente quem rejeita mais tecnologia.
118
 
119
É quem confia melhor.
120
 
121
## Confiança calibrada é diferente de confiança alta
122
 
123
O objetivo não é reduzir confiança em IA.
124
 
125
O objetivo é calibrar confiança.
126
 
127
Confiança baixa demais gera subuso. O sistema poderia ajudar, mas é ignorado por ceticismo automático, medo institucional ou experiência ruim com ferramentas anteriores.
128
 
129
Confiança alta demais gera sobreuso. A saída automatizada passa a ancorar a leitura, reduzir busca independente, encurtar raciocínio diferencial e deslocar responsabilidade para uma ferramenta que não assume responsabilidade clínica.
130
 
131
O ponto útil está entre esses extremos.
132
 
133
Confiar de modo calibrado significa perguntar:
134
 
135
- em que tarefa essa IA foi validada?
136
- para qual população?
137
- com qual prevalência?
138
- em qual tipo de exame?
139
- com qual protocolo?
140
- com qual métrica?
141
- contra qual referência?
142
- com qual limiar?
143
- com qual plano quando discordar do radiologista?
144
- com qual auditoria depois da implantação?
145
 
146
Essa lista pode parecer burocrática, mas é clínica.
147
 
148
Um modelo que prioriza suspeita de hemorragia intracraniana não tem o mesmo contrato de risco de um modelo que mede nódulo pulmonar incidental. Um algoritmo de mamografia em rastreamento não tem a mesma consequência de um sumarizador de laudos. Um assistente de linguagem que melhora legibilidade não deveria ser tratado como leitor primário de imagem.
149
 
150
Chamar tudo de IA atrapalha.
151
 
152
Cada ferramenta tem um contrato clínico diferente.
153
 
154
## A interface pode amplificar o encanto
155
 
156
Parte do risco não está apenas no modelo.
157
 
158
Está na forma como a saída aparece.
159
 
160
Um número grande em vermelho parece urgência.
161
 
162
Uma caixa sobre a imagem parece achado.
163
 
164
Um texto bem escrito parece raciocínio.
165
 
166
Uma explicação em linguagem natural parece entendimento.
167
 
168
Um heatmap colorido parece evidência.
169
 
170
Mas interface não é epistemologia.
171
 
172
A forma de apresentação pode aumentar ou reduzir a capacidade do usuário de verificar a sugestão. Estudos sobre colaboração humano-IA em imagem médica mostram que a interação com a sugestão algorítmica não é neutra: radiologistas podem ser influenciados por recomendações incorretas, e os efeitos da IA variam entre leitores, tarefas e padrões de erro.
173
 
174
Isso importa porque o radiologista não recebe a IA em abstrato.
175
 
176
Ele recebe um sinal dentro de uma tela, no meio de uma fila, sob pressão de tempo, com volume, interrupção, histórico incompleto e expectativa de produtividade.
177
 
178
Nesse ambiente, uma saída plausível pode virar atalho cognitivo.
179
 
180
E atalho cognitivo é exatamente onde a baixa alfabetização encontra a alta receptividade.
181
 
182
## O problema não é explicar tudo
183
 
184
Uma saída de IA não precisa expor todo o funcionamento interno do modelo para ser útil.
185
 
186
Em muitos casos, isso seria impossível ou inútil.
187
 
188
O problema é outro: a ferramenta precisa permitir ação clínica responsável.
189
 
190
Para isso, o usuário precisa saber o suficiente sobre:
191
 
192
- escopo;
193
- limitações;
194
- taxa de erro;
195
- contexto de validação;
196
- grau de incerteza;
197
- tipo de falha esperada;
198
- efeito sobre workflow;
199
- conduta quando houver discordância.
200
 
201
Essa é a diferença entre explicação cosmética e explicação operacional.
202
 
203
Explicação cosmética tenta deixar o usuário confortável.
204
 
205
Explicação operacional ajuda o usuário a decidir o que fazer.
206
 
207
Em radiologia, a segunda é muito mais importante.
208
 
209
## O alerta para gestores
210
 
211
O achado de que menor alfabetização pode aumentar receptividade também deve incomodar gestores.
212
 
213
Porque ele cria uma tentação comercial clara: vender IA para quem pergunta menos.
214
 
215
Em saúde, essa é a direção errada.
216
 
217
Quanto mais sensível for a decisão, maior deve ser a exigência de alfabetização institucional.
218
 
219
Antes de adotar uma ferramenta, um serviço de radiologia deveria conseguir responder perguntas básicas:
220
 
221
- qual problema operacional ela resolve?
222
- qual decisão ela altera?
223
- quem vê a saída?
224
- em que momento do fluxo?
225
- quem pode ignorar, contestar ou sobrescrever?
226
- como a discordância será registrada?
227
- como os falsos negativos serão descobertos?
228
- quem audita a performance depois de seis meses?
229
- o fornecedor entrega dados suficientes para revalidação local?
230
- o contrato permite investigar falhas reais?
231
 
232
Se essas perguntas não aparecem, a instituição pode estar comprando encantamento.
233
 
234
Não governança.
235
 
236
## O alerta para radiologistas
237
 
238
Também há um alerta para radiologistas.
239
 
240
Rejeitar IA por reflexo não é sinal de sofisticação.
241
 
242
Às vezes é apenas outra forma de baixa alfabetização.
243
 
244
Existe um ceticismo fraco que diz: “não confio porque é IA”.
245
 
246
E existe um ceticismo forte que pergunta: “em que condições essa IA merece confiança?”
247
 
248
O segundo é o que importa.
249
 
250
A prática radiológica já convive com incerteza, protocolo imperfeito, artefato, variabilidade interobservador, limitação de dados clínicos e decisão sob pressão. IA não introduz a incerteza no sistema. Ela reorganiza a incerteza e, muitas vezes, a apresenta com aparência de certeza.
251
 
252
O radiologista precisa reconhecer essa aparência.
253
 
254
Não para bloquear a ferramenta.
255
 
256
Mas para impedir que uma saída bem embalada substitua julgamento clínico sem prestar contas.
257
 
258
## O lugar certo da alfabetização em IA
259
 
260
Alfabetização em IA não deveria ser tratada como curso lateral.
261
 
262
Ela deveria entrar no cotidiano da radiologia como parte de qualidade, ensino, auditoria e governança.
263
 
264
Na residência, isso significa discutir erro algorítmico junto com erro diagnóstico.
265
 
266
No serviço, significa revisar discordâncias entre IA e radiologista.
267
 
268
Na gestão, significa exigir métricas locais, subgrupos e plano de monitoramento.
269
 
270
Na interface, significa mostrar a saída de modo verificável, não apenas persuasivo.
271
 
272
Na implantação, significa definir o papel da ferramenta antes de medir o ganho de produtividade.
273
 
274
Um bom programa de IA em radiologia não deveria perguntar apenas se os radiologistas aceitam a ferramenta.
275
 
276
Deveria perguntar se eles sabem quando não devem aceitá-la.
277
 
278
## Síntese
279
 
280
Se demistificar IA reduz parte do encanto, isso não é necessariamente um problema.
281
 
282
Em saúde, pode ser proteção.
283
 
284
O objetivo não é transformar a IA em objeto de suspeita permanente. É fazer a confiança deixar de depender da sensação de magia e passar a depender de mecanismo, evidência, escopo, validação e monitoramento.
285
 
286
Radiologia precisa de IA.
287
 
288
Mas precisa ainda mais de radiologistas capazes de não se impressionar rápido demais.
289
 
290
A pergunta prática não é se a ferramenta parece inteligente.
291
 
292
A pergunta é mais simples e mais difícil:
293
 
294
em que ponto do fluxo, com quais dados, para qual decisão e sob qual risco essa inteligência aparente continua merecendo confiança?
295
 
296
## Fontes e premissas
297
 
298
- Tully, S. M.; Longoni, C.; Appel, G. “Lower Artificial Intelligence Literacy Predicts Greater AI Receptivity”. Journal of Marketing, 2025. https://doi.org/10.1177/00222429251314491
299
- Longoni, C.; Bonezzi, A.; Morewedge, C. K. “Resistance to Medical Artificial Intelligence”. Journal of Consumer Research, 2019. https://doi.org/10.1093/jcr/ucz013
300
- Logg, J. M.; Minson, J. A.; Moore, D. A. M. “Algorithm Appreciation: People Prefer Algorithmic to Human Judgment”. Organizational Behavior and Human Decision Processes, 2019. https://doi.org/10.1016/j.obhdp.2018.12.005
301
- Goddard, K.; Roudsari, A.; Wyatt, J. C. “Automation bias: a systematic review of frequency, effect mediators, and mitigators”. Journal of the American Medical Informatics Association, 2012. https://doi.org/10.1136/amiajnl-2011-000089
302
- Yu, F. et al. “Heterogeneity and predictors of the effects of AI assistance on radiologists”. Nature Medicine, 2024. https://doi.org/10.1038/s41591-024-02850-w
303
- Rezazade Mehrizi, M. H. et al. “The impact of AI suggestions on radiologists’ decisions: a pilot study of explainability and attitudinal priming interventions in mammography examination”. Scientific Reports, 2023. https://doi.org/10.1038/s41598-023-36435-3
304
- Chen, H. et al. “Explainable medical imaging AI needs human-centered design: guidelines and evidence from a systematic review”. npj Digital Medicine, 2022. https://doi.org/10.1038/s41746-022-00699-2
305
- Laupichler, M. C. et al. “Medical students’ AI literacy and attitudes towards AI: a cross-sectional two-center study using pre-validated assessment instruments”. BMC Medical Education, 2024. https://doi.org/10.1186/s12909-024-05400-7

Rodrigo Américo Cunha de Souza

Escreve sobre operações, dados e engenharia de processos em radiologia.