인공지능의 도덕성에는 여전히 논쟁의 여지가 있다. 특히, 아직 인공지능이 자기 인식이나 의도를 가지고 있다고 말하기 어렵다는 점을 고려할 때 문제는 어려워진다. 그러나, 인공지능 개발에 도덕적 추론을 통합할 필요성에 관한 공감은 이미 형성되어 있다. 이때, 인공지능 자체의 악을 말할 수 있는지 여부가 중요하나 관련 논의는 대부분 이론적 수준에 머물러 있고, 실질적 논의는 인공지능 개발 및 사용의 윤리를 중심으로 이루어지고 있다. 그러나, 헬스케어 인공지능 영역은 생명의료윤리의 논의가 현재 가용되는 인공지능 알고리듬이나 장치와 만나야 하기 때문에 상황이 다르다. 생명의료윤리의 원칙 아래, 헬스케어 인공지능이 환자에게 해를 끼치거나 환자의 이익에 반하는 행동을 할 수 있는 상황을 평가하기 위해서는 명확한 기준이 필요하다. 주목할 만한 문제로 그 사용자가 오정보를 받을 수 있는 생성형 인공지능의 환각이 있다. 이것이 반드시 사용자에게 해를 끼치지는 않을 수도 있지만, 헬스케어 분야에서 그 영향은 검토를 필요로 한다. 본 논문은 루치아노 플로리디의 정보 윤리학에 기초하여 헬스케어의 맥락적 특수성 안에서 헬스케어 인공지능의 환각을 악으로 정의한다. 본 논문은 헬스케어 인공지능의 환각 수준을 측정하고 줄이기 위해 평가 지표를 사용할 것을 주장한다. 정보 윤리학을 개괄한 뒤, 이를 헬스케어 분야에 적용하여 본 논문은 헬스케어에 맞는 참-거짓 평가 기준의 필요성을 요청한다.
The morality of Artificial Intelligence (AI) remains a point of contention, especially considering the lack of self-awareness or intent in AI systems. However, there is a consensus on the need to incorporate moral reasoning into AI development. The question of AI’s inherent ‘evil’ remains largely theoretical, suggesting that practical discussions should center around the ethics of AI development and use. However, in the healthcare AI domain, the situation differs due to the bioethical considerations and practical applications of several AI algorithms and devices. Despite principles of bioethics being applicable, clear criteria are needed to evaluate situations where healthcare AI could cause harm or act against patients’ benefits. A notable issue is the ‘hallucination’ caused by generative AI, where users might receive fabricated information or misinformation. Though this doesn’t necessarily harm users, its implications in healthcare are questionable. This paper aims to define hallucination in healthcare AI as an evil based on Luciano Floridi’s information ethics, emphasizing the contextual specificity of healthcare. It argues for the use of evaluation metrics to measure and reduce hallucination levels in healthcare AI. After an overview of information ethics, this study applies the concept to the healthcare domain, suggesting the need for a truth-falsity metric tailored to healthcare.