2
# Quando a IA parece mágica, a confiança vira risco
3
4
> Em radiologia, alfabetização em IA não é cultura geral sobre tecnologia. É uma camada de segurança operacional: quanto mais a IA parece mágica, mais o radiologista precisa transformar confiança em perguntas verificáveis sobre mecanismo, dado, erro, escopo e responsabilidade.
5
7
8
Há uma hipótese desconfortável sobre a adoção de IA: talvez a receptividade aumente quando a compreensão diminui.
9
10
Não porque pessoas com menor alfabetização em IA sejam ingênuas por natureza.
11
12
Mas porque, quando o mecanismo desaparece, a saída parece mais impressionante.
13
14
Um sistema escreve, resume, detecta, prioriza, conversa, sugere e explica. Para quem não enxerga dados, treinamento, arquitetura, limiares, validação, incerteza e erro, parte disso pode parecer quase mágica.
15
16
Em medicina, esse ponto muda de importância.
17
18
No consumo comum, encantamento pode ser estratégia de adoção. Em radiologia, encantamento pode virar risco operacional.
19
20
## O achado incômodo
21
22
O artigo de Stephanie Tully, Chiara Longoni e Gil Appel, publicado no *Journal of Marketing*, investigou a relação entre alfabetização em IA e receptividade à IA.
23
24
A intuição esperada seria simples: quem entende mais de IA deveria aceitar mais IA.
25
26
Mas os autores encontraram o contrário em vários estudos. Pessoas com menor alfabetização objetiva em IA tendiam a demonstrar maior receptividade ao uso de IA. A explicação proposta não foi que essas pessoas achavam a IA mais capaz, mais ética ou menos ameaçadora. O mecanismo central era outro: elas tinham maior tendência a perceber a IA como mágica e a sentir admiração diante de tarefas que pareciam exigir atributos humanos.
27
28
Esse achado nasceu em contexto de marketing e comportamento do consumidor.
29
30
Mas ele tem uma consequência direta para saúde.
31
32
Se menor entendimento aumenta receptividade, então aceitação não pode ser usada como sinal simples de maturidade.
33
34
Um hospital pode aceitar uma solução cedo demais.
35
36
Um gestor pode enxergar eficiência antes de enxergar risco.
37
38
Um médico pode confiar em uma saída plausível antes de entender seu limite.
39
40
Um paciente pode se impressionar com uma explicação fluida sem saber de onde ela veio.
41
42
Em todos esses casos, o problema não é gostar de tecnologia.
43
44
O problema é confundir fluidez com validade.
45
46
## Radiologia é terreno fértil para esse efeito
47
48
Radiologia é uma das áreas em que a IA parece mais convincente.
49
50
Há uma imagem.
51
52
Há um achado.
53
54
Há uma marcação.
55
56
Há um escore.
57
58
Há um texto.
59
60
Há uma fila que muda.
61
62
Do ponto de vista visual e operacional, o sistema parece estar fazendo algo muito próximo do que o radiologista faz: ver, selecionar, priorizar e descrever.
63
64
Isso aumenta a força psicológica da ferramenta.
65
66
Uma classificação binária pode parecer decisão clínica. Um heatmap pode parecer explicação. Um pré-laudo pode parecer interpretação. Um escore de urgência pode parecer prioridade objetiva. Um chatbot que reescreve um laudo para linguagem leiga pode parecer compreensão.
67
68
Mas cada uma dessas saídas esconde perguntas técnicas.
69
70
Qual foi o endpoint?
71
72
Qual foi o dataset?
73
74
A população era parecida?
75
76
O protocolo era parecido?
77
78
O limiar foi escolhido para sensibilidade, especificidade, workload ou custo?
79
80
O erro aparece mais em algum equipamento, faixa etária, subtipo de doença ou indicação clínica?
81
82
O modelo sabe quando deve se abster?
83
84
A interface permite verificar a sugestão ou apenas a torna visualmente convincente?
85
86
Essas perguntas não tiram valor da IA.
87
88
Elas tiram a IA do campo da magia.
89
90
## O radiologista não deve ser usuário encantado
91
92
Na prática médica, o radiologista não pode ocupar apenas o lugar de usuário impressionado pela ferramenta.
93
94
Ele precisa ocupar o lugar de intérprete do mecanismo.
95
96
Isso não significa que todo radiologista precise ser engenheiro de machine learning. Também não significa que todo serviço precise transformar médicos em cientistas de dados.
97
98
Significa algo mais concreto: o radiologista precisa ter alfabetização suficiente para saber que tipo de pergunta fazer antes de incorporar a saída da IA ao cuidado.
99
100
Em radiologia, alfabetização em IA deveria incluir pelo menos:
101
102
- distinguir performance de benchmark de performance local;
103
- entender que acurácia média pode esconder subgrupos ruins;
104
- reconhecer diferença entre detecção, triagem, priorização, segmentação, resumo e diagnóstico;
105
- perguntar qual é o falso negativo operacionalmente perigoso;
106
- perguntar o que muda quando o modelo erra com alta confiança;
107
- entender que heatmap não é prova de causalidade;
108
- saber que calibração importa tanto quanto discriminação;
109
- reconhecer risco de drift por protocolo, equipamento, população e linguagem;
110
- separar utilidade de workflow de validade clínica;
111
- saber quando uma saída deve ser tratada como sugestão, alerta, segunda leitura ou ruído.
112
113
Essa alfabetização não é decorativa.
114
115
Ela muda comportamento.
116
117
O radiologista alfabetizado em IA não é necessariamente quem rejeita mais tecnologia.
118
119
É quem confia melhor.
120
121
## Confiança calibrada é diferente de confiança alta
122
123
O objetivo não é reduzir confiança em IA.
124
125
O objetivo é calibrar confiança.
126
127
Confiança baixa demais gera subuso. O sistema poderia ajudar, mas é ignorado por ceticismo automático, medo institucional ou experiência ruim com ferramentas anteriores.
128
129
Confiança alta demais gera sobreuso. A saída automatizada passa a ancorar a leitura, reduzir busca independente, encurtar raciocínio diferencial e deslocar responsabilidade para uma ferramenta que não assume responsabilidade clínica.
130
131
O ponto útil está entre esses extremos.
132
133
Confiar de modo calibrado significa perguntar:
134
135
- em que tarefa essa IA foi validada?
136
- para qual população?
137
- com qual prevalência?
138
- em qual tipo de exame?
139
- com qual protocolo?
140
- com qual métrica?
141
- contra qual referência?
142
- com qual limiar?
143
- com qual plano quando discordar do radiologista?
144
- com qual auditoria depois da implantação?
145
146
Essa lista pode parecer burocrática, mas é clínica.
147
148
Um modelo que prioriza suspeita de hemorragia intracraniana não tem o mesmo contrato de risco de um modelo que mede nódulo pulmonar incidental. Um algoritmo de mamografia em rastreamento não tem a mesma consequência de um sumarizador de laudos. Um assistente de linguagem que melhora legibilidade não deveria ser tratado como leitor primário de imagem.
149
150
Chamar tudo de IA atrapalha.
151
152
Cada ferramenta tem um contrato clínico diferente.
153
154
## A interface pode amplificar o encanto
155
156
Parte do risco não está apenas no modelo.
157
158
Está na forma como a saída aparece.
159
160
Um número grande em vermelho parece urgência.
161
162
Uma caixa sobre a imagem parece achado.
163
164
Um texto bem escrito parece raciocínio.
165
166
Uma explicação em linguagem natural parece entendimento.
167
168
Um heatmap colorido parece evidência.
169
170
Mas interface não é epistemologia.
171
172
A forma de apresentação pode aumentar ou reduzir a capacidade do usuário de verificar a sugestão. Estudos sobre colaboração humano-IA em imagem médica mostram que a interação com a sugestão algorítmica não é neutra: radiologistas podem ser influenciados por recomendações incorretas, e os efeitos da IA variam entre leitores, tarefas e padrões de erro.
173
174
Isso importa porque o radiologista não recebe a IA em abstrato.
175
176
Ele recebe um sinal dentro de uma tela, no meio de uma fila, sob pressão de tempo, com volume, interrupção, histórico incompleto e expectativa de produtividade.
177
178
Nesse ambiente, uma saída plausível pode virar atalho cognitivo.
179
180
E atalho cognitivo é exatamente onde a baixa alfabetização encontra a alta receptividade.
181
182
## O problema não é explicar tudo
183
184
Uma saída de IA não precisa expor todo o funcionamento interno do modelo para ser útil.
185
186
Em muitos casos, isso seria impossível ou inútil.
187
188
O problema é outro: a ferramenta precisa permitir ação clínica responsável.
189
190
Para isso, o usuário precisa saber o suficiente sobre:
191
192
- escopo;
193
- limitações;
194
- taxa de erro;
195
- contexto de validação;
196
- grau de incerteza;
197
- tipo de falha esperada;
198
- efeito sobre workflow;
199
- conduta quando houver discordância.
200
201
Essa é a diferença entre explicação cosmética e explicação operacional.
202
203
Explicação cosmética tenta deixar o usuário confortável.
204
205
Explicação operacional ajuda o usuário a decidir o que fazer.
206
207
Em radiologia, a segunda é muito mais importante.
208
209
## O alerta para gestores
210
211
O achado de que menor alfabetização pode aumentar receptividade também deve incomodar gestores.
212
213
Porque ele cria uma tentação comercial clara: vender IA para quem pergunta menos.
214
215
Em saúde, essa é a direção errada.
216
217
Quanto mais sensível for a decisão, maior deve ser a exigência de alfabetização institucional.
218
219
Antes de adotar uma ferramenta, um serviço de radiologia deveria conseguir responder perguntas básicas:
220
221
- qual problema operacional ela resolve?
222
- qual decisão ela altera?
223
- quem vê a saída?
224
- em que momento do fluxo?
225
- quem pode ignorar, contestar ou sobrescrever?
226
- como a discordância será registrada?
227
- como os falsos negativos serão descobertos?
228
- quem audita a performance depois de seis meses?
229
- o fornecedor entrega dados suficientes para revalidação local?
230
- o contrato permite investigar falhas reais?
231
232
Se essas perguntas não aparecem, a instituição pode estar comprando encantamento.
233
234
Não governança.
235
236
## O alerta para radiologistas
237
238
Também há um alerta para radiologistas.
239
240
Rejeitar IA por reflexo não é sinal de sofisticação.
241
242
Às vezes é apenas outra forma de baixa alfabetização.
243
244
Existe um ceticismo fraco que diz: “não confio porque é IA”.
245
246
E existe um ceticismo forte que pergunta: “em que condições essa IA merece confiança?”
247
248
O segundo é o que importa.
249
250
A prática radiológica já convive com incerteza, protocolo imperfeito, artefato, variabilidade interobservador, limitação de dados clínicos e decisão sob pressão. IA não introduz a incerteza no sistema. Ela reorganiza a incerteza e, muitas vezes, a apresenta com aparência de certeza.
251
252
O radiologista precisa reconhecer essa aparência.
253
254
Não para bloquear a ferramenta.
255
256
Mas para impedir que uma saída bem embalada substitua julgamento clínico sem prestar contas.
257
258
## O lugar certo da alfabetização em IA
259
260
Alfabetização em IA não deveria ser tratada como curso lateral.
261
262
Ela deveria entrar no cotidiano da radiologia como parte de qualidade, ensino, auditoria e governança.
263
264
Na residência, isso significa discutir erro algorítmico junto com erro diagnóstico.
265
266
No serviço, significa revisar discordâncias entre IA e radiologista.
267
268
Na gestão, significa exigir métricas locais, subgrupos e plano de monitoramento.
269
270
Na interface, significa mostrar a saída de modo verificável, não apenas persuasivo.
271
272
Na implantação, significa definir o papel da ferramenta antes de medir o ganho de produtividade.
273
274
Um bom programa de IA em radiologia não deveria perguntar apenas se os radiologistas aceitam a ferramenta.
275
276
Deveria perguntar se eles sabem quando não devem aceitá-la.
277
278
## Síntese
279
280
Se demistificar IA reduz parte do encanto, isso não é necessariamente um problema.
281
282
Em saúde, pode ser proteção.
283
284
O objetivo não é transformar a IA em objeto de suspeita permanente. É fazer a confiança deixar de depender da sensação de magia e passar a depender de mecanismo, evidência, escopo, validação e monitoramento.
285
286
Radiologia precisa de IA.
287
288
Mas precisa ainda mais de radiologistas capazes de não se impressionar rápido demais.
289
290
A pergunta prática não é se a ferramenta parece inteligente.
291
292
A pergunta é mais simples e mais difícil:
293
294
em que ponto do fluxo, com quais dados, para qual decisão e sob qual risco essa inteligência aparente continua merecendo confiança?
295
296
## Fontes e premissas
297
298
- Tully, S. M.; Longoni, C.; Appel, G. “Lower Artificial Intelligence Literacy Predicts Greater AI Receptivity”. Journal of Marketing, 2025. https://doi.org/10.1177/00222429251314491
299
- Longoni, C.; Bonezzi, A.; Morewedge, C. K. “Resistance to Medical Artificial Intelligence”. Journal of Consumer Research, 2019. https://doi.org/10.1093/jcr/ucz013
300
- Logg, J. M.; Minson, J. A.; Moore, D. A. M. “Algorithm Appreciation: People Prefer Algorithmic to Human Judgment”. Organizational Behavior and Human Decision Processes, 2019. https://doi.org/10.1016/j.obhdp.2018.12.005
301
- Goddard, K.; Roudsari, A.; Wyatt, J. C. “Automation bias: a systematic review of frequency, effect mediators, and mitigators”. Journal of the American Medical Informatics Association, 2012. https://doi.org/10.1136/amiajnl-2011-000089
302
- Yu, F. et al. “Heterogeneity and predictors of the effects of AI assistance on radiologists”. Nature Medicine, 2024. https://doi.org/10.1038/s41591-024-02850-w
303
- Rezazade Mehrizi, M. H. et al. “The impact of AI suggestions on radiologists’ decisions: a pilot study of explainability and attitudinal priming interventions in mammography examination”. Scientific Reports, 2023. https://doi.org/10.1038/s41598-023-36435-3
304
- Chen, H. et al. “Explainable medical imaging AI needs human-centered design: guidelines and evidence from a systematic review”. npj Digital Medicine, 2022. https://doi.org/10.1038/s41746-022-00699-2
305
- Laupichler, M. C. et al. “Medical students’ AI literacy and attitudes towards AI: a cross-sectional two-center study using pre-validated assessment instruments”. BMC Medical Education, 2024. https://doi.org/10.1186/s12909-024-05400-7