1/1 Помните дилему путей вагонетки? Вот эту вот.
Иногда еще можно встретить, интерпретацию с трамваем.
Суть простая — вы стрелочник, и вам нужно выбрать, спасити пасажиров трамвая, убить одного человека, или убтить несколько.
Так вот, с этой дилемой неизбежно сталкивается AI и автопилоты в электромобилях.
1/2 Автомобиль все таки средство передвижения повышенной опасности.
А автопилот во время движения без участия водителя принимает решение, когда повернуть, когда сбавить скорость, а когда можно ехать быстрее.Соответственно попав в аварийную ситуацию — автопилот должен будет принять решение и выбрать кому сохранить жизнь.Например, стоит выбор направить машину в сторону, и убить водителя, но сохранить жизнь беременной женщине?
А если водитель тоже беременная женщина?
@dmitriyfourier Спекуляция полнейшая. Автопилот не может угадать количество вероятных жертв в зависимости от маневра. И уж тем более анализировать их пол, возраст и социальный статус.
@dmitriyfourier @johan В некоторых ситуациях может, как и человек, но наши правила запрещают.
Например, автомобиль едет прямо, вдруг перед ним перебегает пешеход, тормозить поздно, но можно уйти в сторону (и в отбойник).
@shuro @dmitriyfourier Да. А в задачах предлагают — на встречку. Бред.
@shuro @dmitriyfourier А на 5 км/ч что помешало проехать? Опять же, понятие главной дороги никто не отменял.
@dmitriyfourier @johan Так велосипед тоже может не увидеть и въехать сам в тебя или прямо под колеса.
Кстати, с главной/второстепенной тоже есть "элемент вагонетки". Ты по главной, на тебя со второстепенной и не тормозит, точка невозврата близко. И?
@johan Вот-вот. Рассуждения об отличиях между Ai
лучше бы начатьс т того, что живые люди любят ездить везде +20 км/ч "а что это ведь по ПДД не запрещено" 
в той же ситуации Ai наоборот наверняка снизит скорость -20 от разрешённой, потому что впереди зебра, перекрёсток...
@shuro @dmitriyfourier
@limping @dmitriyfourier @johan > в той же ситуации Ai наоборот наверняка снизит скорость -20 от разрешённой
Это уже зависит от модели обучения и приходит к той же дилемме вагонетки - должен ли робот еле ползать в пользу гипотетической безопасности или же надо копировать поведение людей и ездить по "верхней границе" ПДД.
@shuro я не представляю, при какой модели обучения Ai будет превышать скорость не то, что +20 км/ч 
а хотя бы +1 км/ч.
@dmitriyfourier @johan
@shuro P.S. и я убеждён, что ни один разработчик в своём уме не будет для Ai копировать поведение людей за рулём.
Люди ошибаются, люди нарушают, автотранспорт - самый опасный.
Скорее наоборот, Ai принесёт привычки, которых никогда не было у людей.
Как я писал выше:
— впереди зебра - снижай скорость;
— впереди люди на расстоянии менее двух метров от зебры - снижай скорость;
— ухудшаются погодные условия - снижай скорость.
Я видел лично, как безопасно катаются маленькие роботы-доставщики у Яндекса.
https://www.instagram.com/reel/CxDt6AoIdRD/?igshid=ODhhZWM5NmIwOQ==
@dmitriyfourier @johan
@limping @shuro @dmitriyfourier Не совсем уверен, т.к. безлошадный. Но +20 — только по трассе, да и то лучше не рисковать, камеры понатыканы ажбесит. По городу превышают больные, блатные и мото@#$%^ы.
@limping @dmitriyfourier @johan Так камеры не выписывают штрафы за "плюс двадцать". Конечно, адекватные водители выбирают скорость в рамках текущих условий и здравого смысла, но мало кто будет держать "чуть меньше лимита", если ему кажется, что дорога это позволяет.
Есть и другие подобные моменты а-ля "перестроиться через сплошную" (не встречку, а которая между рядами) и прочие творческие подходы к разметке, есть свои нюансы со включением сигналов поворота, есть разный подход к пропуску пешеходов на зебре.
И, если мы говорим о коммерческих машинках и какой-то конкуренции, быстро окажется, что чьи-то модели вождения окажутся предпочтительнее, а производители начнут доводить их под пожелания публики :)
Вон, самокаты прокатные имеют дополнительные ограничения скорости и запретные зоны, так вот их операторы крайне неохотно эти самые ограничения добавляют.
@wthinker @shuro @johan @dmitriyfourier Один громкий скандал с убитыми или пострадавшими - и законодательство в отношении Ai станет строже, чем в отношении человека.
По-моему релевантный пример - фольсвагенгейт, который больно ударил по VW.
Ограничения на самокаты пока не носят законодательный характер, это добрая воля прокатчиков. Опять же есть пример Парижа с недавним полным запретом проката самокатов.
@wthinker @limping @dmitriyfourier @johan С обычными автомобилями это так не очень работает. Вон, даже снижение скорости в городах только-только начинает закрепляться как норма после буквально века наматывания повозок и пешеходов на столбы.
Может, конечно, и так будет, но не факт - может наоборот сыграть тот момент, что "ИИ не человек, поэтому аварии лишь нелепая случайность, в которых никто не виноват, и вообще в конце двадцатого века аварийность была выше, вы что, хотите регресса?"
@shuro Я очень сомневаюсь, что для аварий с Ai в развитых странах станут применять принцип "никто не виноват" 
И смысл снижения скорости - в том, чтобы ошибки _других_ людей не приводили к тяжёлым последствиям.
@wthinker @dmitriyfourier
@wthinker @limping @dmitriyfourier Прямо сейчас такой подход применяется к использованию ИИ в разного рода скрининге, например, в аэропортах. В США эта тема особенно часто поднимается.
Т.е. если офицеру регулярно кажется, что, например, пассажиры-индусы похожи на преступников и он их регулярно шмонает с пристрастием, то к нему могут возникнуть вопросы. Когда их так помечает нейросеть на скрининге (после чего так же хватают люди) - никаких вопросов нет, ведь это "компьютер рассчитал".
Аналогично со всяким антифродом и много чем ещё. Армейцам по этой причине сильно нравится автоматика: ошибка солдата - преступление, ошибка робота - неприятный сбой, он не нарочно и вообще нечего стоять под стрелой.
> а в какой армии Ai принимает решение убивать людей?
Прям "принимает решение" тяжело сказать, но вот подкорректировать полёт дрона-убийцы, чтоб попал куда надо, это можно (либо куда не надо, если куда надо на месте не окажется).
Насколько я видел в разных источниках, в этой войне в российских дронах Ланцет используются элементы ИИ. Украина тоже вкладывается в это направление, но о результатах пока не слышал.
Пример: https://www.reuters.com/world/europe/ukrainian-minister-vows-more-drone-strikes-russian-ships-2023-09-16/
@yura @wthinker @limping Не обязательно намеренно, это ведь сложно доказать, робот не оперирует такими понятиями.
Просто, скажем, модель будет определять армейскую цель с точностью 95% (и, соответственно, периодически путать "скорую помощь" с танком).
Вот какой процент ошибок будет преступлением? Очевидно, что какое-то значение просто спишут на "норму погрешности".
А если ещё добавить фактор самообучения...
@yura @wthinker @limping Давай на примере. Идёт конфликт с какими-то бандитами, в процессе была разрушена ракетой больница, которая была вообще не при делах, есть жертвы непричастных гражданских.
Одинаковую ли оценку получат ситуации:
- солдат Джон произвёл пуск этой ракеты по позиции террористов, сказав при этом "да не, не должно зацепить госпиталь, он не прямо рядом, да и хуй с ним, пронесёт", но промазал.
- ИИ-дрон произвёл пуск, неверно интерпретировав местность или ещё что переглючило, поэтому траекторию увело не туда, обычно так не бывает.
- всё было сделано верно, но в самой ракете есть риск отказа системы наведения с вероятностью 0.01% и именно это случилось.
@shuro Оба примера невероятные. Солдат не запускает такие ракеты. Это работа команды офицеров.
ИИ сам по себе не запускает тоже.
В любом случае при убийстве гражданских не будут облегчающими обстоятельствами ни заданная погрешность системы, ни другие обычные глюки техники.
@yura @wthinker
@shuro @yura @wthinker @limping есть же термин 'сопутствующие потери' для такого.
За дроном всегда будет условный оператор который его запустил в одну из всех возможных сторон света. AI не может у завхоза расписаться в получении дрона.
Никого никогда никто не посадил по итогу, могут в СМИ шуму нагнать.
@yura @wthinker @kurator88 @limping Так-то да, в итоге за всё отвечает главнокомандующий.
Но вот даже в нашей заварушке несколько по-разному относятся к ситуациям "пустили ракету по врагу, а её переглючило и она попала в гражданских" и "солдата переглючило и он перестрелял гражданских".
@wthinker @limping У Израиля есть автономные дроны, например. Т.е. не просто автоматические системы наведения по конкретной цели, а ближе к "лети в ту сторону, посмотри нет ли там чего подходящего и влупи, если найдёшь". Это отличается от подхода, когда оператор выбирает конкретную цель и принимает решение, а автомат лишь доводит (хотя и тут есть вопросы, ниже Меко отметил наши Ланцеты, которые в условиях глушения могут сами искать цель, этим же давно занимаются противокорабельные и зенитные ракеты - т.е. в какой-то момент сами принимают решение кого поразить). У американцев уже летает, но пока не применяется автономный истребитель. Появление роботов полегче типа тележек и робособачек с пулемётами - вопрос ближайшего будущего.
И нет, неточности модели - это именно баг, а не фича. Я говорил не о том, что модели ошибаются в принципе, а что неточность машины воспринимается как норма и за неё ответственность обычно никто не несёт.
@shuro Нет, эти израильские автономные дроны не могут влупить 
Это в каком-то смысле летающие камеры наблюдения.
"Беспилотники будут посылать к месту стрельбы, чтобы определить ее источник и вызвать полицейский наряд."
https://habr.com/ru/news/597405/
@wthinker
@limping Именно боевые.
dailymail.co.uk/sciencetech/ar…
Правда, не слышал пока об их применении в Газе сейчас. Мне почему-то кажется, что это больше для Хезболлы :)
@shuro попробую элементарный факт-чекинг для публикации из таблоида про "Harop Suicide Drone"
The Harop uses a man-in-the-loop mode, being controlled by a remote operator.
— перевести, или и так понятно?
@limping Я, конечно, не берусь утверждать на 100%, но без оператора оно тоже, вроде как, может :)
Собственно, это исходит и из характеристик. Дрон может автономно выходить в зону выбора цели, может автономно выбирать цели и отслеживать их, может автономно их атаковать, оператор нужен лишь сказать "давай вот эту". Он не является там технически необходимым звеном.
@limping Уверен, что где-то это упоминалось, причём довольно давно.
Ладно, вероятно, я ошибаюсь и это лишь предположения. Держи тогда отчёт UN об использовании таких дронов Турцией: documents-dds-ny.un.org/doc/UN…
@limping ха-ха-ха, тесла кучу народу уже угробила, и что-то никто не чешется
@mudasobwa никто не списывает эти случаи на погрешность.
Они становятся предметом крупных разбирательств.
https://www.ixbt.com/news/2023/11/01/avtopilot-tesla-ne-vinovat-posle-avarii-so-smertelnym-ishodom-u-kompanii-trebovali-400-mln-dollarov.html?ysclid=lp8gmyw736350077626
@limping очень смешно; и что крупные разбирательства наразобрали?
@mudasobwa @limping @wthinker @shuro @johan @dmitriyfourier я бы давно личный транспорт запретил. Так как то, что говорят о ИИ обычно гораздо хуже или так же в случае человека. Но никто не спешит человеков критиковать с тех же позиций, что ИИ.
@mudasobwa @limping @wthinker @shuro @johan @dmitriyfourier про твою позицию я помню, что ты то крут :) Только отставим великого тебя в сторону и все станет яснее. До запрета в центрах городов людей водителей, развитых городов, думаю десяток лет.
@mudasobwa @limping @wthinker @shuro @johan @dmitriyfourier скорее просто цену заломят за это конскую конечно.
@3draven почти во всех городах это уже так: в Осло напрямую берут бабло за въезд, а в Барселоне парковка дорогая, и будет дорожать. И вот с этим я абсолютно, полностью согласен и поддерживаю. Ебланов, не умеющих пользоваться городом (и транспортом в нем) — надо стричь по максимуму.
Только вместо личных машин — нужны зеленые пешеходные зоны и трамваи, а не уебанский автопилот, который в старом городе передавит половину мамаш с колясками наутро.
@mudasobwa доставка #Яндекс ездит аж по тротуарам 
уже который год, и пока ни одну мамашу не задавили.
@3draven
@shuro а как ездят автономные автомобили?Я видел как объпытные машинки Яндекса ездят (у которых гнездо на Аминьевском). Тоже не слишком спешат, хотя там живой предохранитель сидит на месте водителя.
@3draven @mudasobwa
@limping @3draven @mudasobwa Я лишь к тому, что конкретно с роботом доставки пример не очень - они очень медленно и осторожно ездят, порой застревают на ровном месте. Кстати, там тоже телеуправление и за ними присматривают.
Автономные автомобили даже сейчас ездят пободрее.
@mudasobwa @3draven @limping @wthinker @shuro @dmitriyfourier
А что все так фанатеют с трамваев? Совершенно же дикое транспортное средство, нужное там, где вместо дорог направления. Зачем уродовать дороги рельсами? Хочешь экологии? Троллейбус. Даже с аккумуляторами, даже гибридный.
@johan У трамвая выше провозная способность и выше скорость.
@limping С чего бы это? По городу один хрен выше 60 нельзя, а «гармошка» увезет не меньше, чем двойной трамвай.
Провозная способность — это когда ходит с интервалом максимум 10 минут, не набивается битком, не создает аварийно-опасных ситуаций на остановках.
Убрать рельсы с улиц, дороги либо расширить, либо деревья посадить.
@dmitriyfourier @johan Реальные люди это делают сплошь и рядом.
У меня знакомые как-то затоталили автомобиль (и почти самих себя, но тачка крепкая оказалась, сцуко), выбор был между "въехать в бок выскочившему дятлу" (скорее всего, ему мало бы не показалось) и встречкой (где они тоже не удержались и вошли под запаркованный грузовик).
А с ИИ-пилотами видел как-то видос, где автономный автомобиль не мог минут пять проехать перекресток, так как за кустами его пересекала велодорожка и его лидарам казалось, что выезжать небезопасно (для велосипедистов), хотя их там было в час по чайной ложке и человек там бы проехал. Видимо, работала логика "так-то промежуток есть, но вдруг они ускорятся".
Для боевого применения такая логика явно неоч и наверняка разработчики по итогам решали как поступить и насколько понизить "осторожность" модели в такой ситуации.