教宗嘅論點建基於一個貫穿成份文件嘅前提:AI唔係道德中立嘅,佢嘅設計選擇本身就編碼咗價值觀,要麼尊重,要麼貶低人嘅尊嚴。佢警告,一個純粹為效率同利潤而優化嘅系統,無可避免會將工人當成即棄嘅投入,而唔係固有尊嚴嘅承載者。
《人性光輝》最令人震驚嘅部分,可能係佢對戰爭嘅處理。通諭唔單止告誡人要小心自主武器,或者提倡有意義嘅人類控制——呢啲係梵蒂岡之前嘅立場已經做過嘅。佢行得更遠,宣布成個「正義之戰」理論框架已經俾人工智能嘅能力搞到過時。
背後嘅邏輯既有實踐層面,亦有神學層面。喺實踐層面,AI驅動嘅武器系統將人類控制削弱到一個地步,令傳統「正義之戰」嘅標準——相稱性、區分戰鬥人員同平民、合法權威——根本冇可能滿足到。喺神學層面,通諭認為「正義之戰」理論喺歷史上一路俾人扭曲,用嚟合法化嗰啲服務權力而唔係正義嘅衝突,而AI威脅緊將呢種扭曲加速到令人無法辨認嘅地步。
佢呼籲AI開發者同規範佢哋嘅社會,實施「社會正義嘅共同標準」,確保AI尊重人嘅尊嚴同服務大眾福祉。呢個唔係建議佢哋搞啲內部道德委員會或者自願嘅指引。呢個語言暗示嘅係有強制執行力、跨國界制定同應用嘅規範,去限制可以建造乜嘢AI同點樣部署佢。
教宗警告,冇呢啲標準嘅話,一小撮有權力嘅機構所做嘅決定,將會決定AI係咪會創造出「一個全球種姓制度」——一個科技能力將財富同權力集中喺少數人手上,同時將大量人口推向朝不保夕嘅世界。佢明確噉同呢啲勢力講,佢哋必須「為人類選擇生存定滅亡」,呢個表述冇留低任何空間俾技術官僚式嘅中立
。
《人性光輝》並唔係要全面否定人工智能。通諭承認AI係「一樣有價值嘅工具」,有真正嘅潛力。但佢嘅核心論點係,只有當人類先回答咗一個先決問題,呢個潛力先可以實現:我哋想建設一個點樣嘅未來,同埋由邊個話事?
良十四世嘅答案係,一個冇上帝參與建設嘅未來——一個冇咗人類尊嚴嘅超越性根基、冇咗對乜嘢可以優化同剝削嘅限制嘅未來——最終無可避免會變成一座新嘅巴別塔。呢份通諭係一個要求:科技要服務人類,而唔係重塑人類;亦係一個警告:漠視呢個要求嘅後果,教會而家認為同佢處理過嘅任何問題一樣咁沉重。