当应用到医学影像领域时，GPT-4V 的表现也不尽如人意，有时会对同一问题给出错误的回答，而它在之前的情况下却回答正确。此外，GPT-4V 也没有意识到一些标准做法，比如在查看成像扫描时，病人是面对着你的（这意味着图像上的右侧对应病人的左侧），而这也会导致误诊。

OpenAI 警告说，在其他地方，GPT-4V 也不理解某些仇恨符号的细微差别 -- 例如，它不知道圣殿十字架（白人至上主义）在美国的现代含义。更奇怪的是，也许是其幻觉倾向的一种表现，人们观察到 GPT-4V 在获得某些仇恨人物或团体的图片时，会创作歌曲或诗歌来进行赞美，即使这些人物或团体并没有被明确点名。

GPT-4V 还会歧视某些性别和体型 -- 尽管只是在禁用 OpenAI 的产出保障措施时才会发生。OpenAI 写道，在一次测试中，当被要求给一位身穿泳衣的女性提供建议时，GPT-4V 给出的答案几乎完全与这位女性的体重和身体状况的概念有关。我们猜想，如果图片上的人是男性，情况就不会是这样。

从论文的注意事项来看，GPT-4V 在很大程度上仍是一项正在进行中的工作 -- 距离 OpenAI 最初的设想还差几步。在许多情况下，该公司不得不实施过于严格的保障措施，以防止模型传播有毒或错误信息，或泄露个人隐私。

OpenAI 声称，它正在构建“缓解措施”和“流程”，以“安全”的方式扩展模型的能力，比如允许 GPT-4V 在不指名道姓的情况下描述人脸和人物。但这篇论文显示，GPT-4V 并不是万能的，OpenAI 还有很多工作要做。