三
在《Our Robots, Ourselves》一书中，远程机器人专家David Mindell指出，自治系统（autonomous systems）其实并不是一个新概念。自从20世纪70年代开始，它们在一些领域使用得非常频繁，例如深海探测和太空探索，并用在几乎所有的飞行器上。
凭借丰富的经验，Mindell解释道，虽然这样的系统已经有所改进但是许多专家却仍然不信任它们。例如，有的学派认为海洋学家必须直接体验黑暗的海洋深处，才能理解潜藏在那里的奇观。然而可通过光纤电缆远程操作的机器人潜艇则更灵活，能够探索更长的时间，而且每次改进之后的验证过程也并不昂贵。
Mindell为我们讲述了一个生动的场景。1977年，马萨诸塞州伍兹霍尔海洋研究所海洋学家Robert Ballard和微生物学家Holger Jannasch坐潜水器遇到了一个海底喷口区。当Ballard想通过裂缝附近的玻璃窗观察时，他意识到Jannasch却背对着玻璃窗。当问及到为什么时，Jannasch说，摄像头转播的电视图像视野更好。那一刻，Ballard意识到，在海面上看转播的视野会更好，在那里，你可以舒适地观看海底拍摄的高清视频。然而，也有许多人认为并非如此。
Mindell研究了大量历史、文化、政治、心理、哲学和公共关系等方面的理由，以便让人类手握控制权。最近的一个例子是2015年6月，由大约3000位研究人员签署的关于禁止自主武器的国际请愿书。
让我们考虑这样一个例子，Google公司宣布发现了其无人驾驶汽车中一个最不可靠的部分：当人类司机试图接管汽车时，它的回应是移除方向盘。Mindell解释了为什么这是一个错误。在他所谓的「完全自主的神话」中，他指出机器可能周期性地自主操作，但是没有机器可以完全独立地工作，因为这意味着人类的意图、假设及参数都需要内置于所有的机器中。Mindell的这种经验使得他得出了和Markoff类似的结论：最重要（也是最困难）的挑战是设计合适的接口，让人类出现在整个决策回路中。
小编推荐阅读
