Короткий огляд надрозвідки | Нік Бостром

Шляхи, небезпеки, стратегії

Резюме з 1 речення

Суперрозвідка Нік Бостром досліджує екзистенційні ризики та трансформаційну силу штучного інтелекту, запитуючи: що станеться, коли машини перевершать людський інтелект, і як ми зможемо забезпечити своє виживання в майбутньому, де домінуватимуть надрозумні істоти?

Вступ

Що станеться, коли штучний інтелект перевершить людський? Машини можуть думати, вчитися і вирішувати складні проблеми швидше і точніше, ніж ми. Саме цей світ досліджує Нік Бостром у своїй книжці, Суперрозвідка. Досягнення в галузі штучного інтелекту наближають нас до створення надрозумних істот. 

Великі технологічні компанії, такі як Microsoft, Google і Facebook, змагаються у створенні надпотужного штучного інтелекту. Вони вкладають багато ресурсів у дослідження та розробки, щоб це сталося. Але ось у чому заковика: без належних заходів безпеки та правил все може піти шкереберть. Ось чому важливо втрутитися і переконатися, що ШІ залишається під контролем. 

Уявіть собі світ, де машини не лише дешевші, але й набагато краще виконують роботу, ніж люди. У цьому світі машини можуть взяти на себе людську працю, а люди будуть задаватися питанням: "Що тепер?". Тому важливо знаходити креативні рішення, щоб бути впевненими, що про всіх подбають.

Книга показує, що відбувається після появи суперінтелекту. У ній розглядається зростання інтелекту, форми і повноваження суперінтелекту, а також його стратегічний вибір. Ми повинні готуватися зараз, щоб уникнути катастроф пізніше. Бостром пропонує стратегії, які допоможуть впоратися з небезпеками та викликами, що виникають у зв'язку з цим. 

Суперрозвідка досліджує історія штучного інтелекту та розвиток технологічного зростання. У книзі описано, як ШІ розвивається швидше, ніж його технологічні попередники. У ній також розглядаються дослідження експертних думок щодо його майбутнього прогресу.

Сем Альтман, співзасновник OpenAI, закликає Суперрозвідка обов'язкова до прочитання для всіх, кому не байдуже майбутнє людства. Він навіть включив її до списку дев'яти книг, які, на його думку, повинен прочитати кожен.

Цей конспект занурить вас у захопливий, а іноді й лякаючий світ суперінтелекту. Він надає вам захоплюючий огляд ключових ідей Бострома.

Про Ніка Бострома

Нік Бостром - шведський філософ і футурист. Він відомий своїми новаторськими роботами в галузі штучного інтелекту та його впливу на людство. Бостром є професором Оксфордського університету, де він заснував Інститут майбутнього людства. Зокрема, він досліджує, як передові технології та штучний інтелект можуть приносити користь і шкоду суспільству.

Окрім "Суперінтелекту", Бостром є автором інших впливових праць, зокрема Антропологічна упередженість: ефекти відбору спостережень у науці та філософії і Глобальні катастрофічні ризики. Його робота внесла свій внесок у постійну дискусію про майбутнє людства. 

StoryShot #1: Ми не готові до суперінтелекту

Чи стоїмо ми на порозі створення чогось, що виходить за межі наших найсміливіших мрій чи найгірших кошмарів? Суперінтелект - це концепція штучного інтелекту, що перевершує людські когнітивні здібності в усіх аспектах. Існує три потенційні шляхи до досягнення суперінтелекту:

1. Покращення людського пізнання,
2. Створення ШІ з інтелектом, подібним до людського
3. Розвиток системи колективного інтелекту

Від того, яким шляхом ми підемо, залежатимуть наслідки та ризики, з якими ми зіткнемося як суспільство. Якщо ми досягнемо прогресу в одному напрямку, наприклад, біологічного чи організаційного інтелекту, це все одно прискорить розвиток машинного інтелекту. Чи готові ми до викликів, пов'язаних зі створенням таких потужних сутностей?

Ми досліджуємо різні шляхи, щоб досягти суперінтелекту. Шлях штучного інтелекту здається найбільш перспективним. Хоча емуляція всього мозку та біологічні когнітивні покращення також можуть привести нас туди. Біологічні вдосконалення можливі і можуть призвести до слабких форм суперінтелекту порівняно з машинним інтелектом, але мережеві та організаційні досягнення можуть підвищити рівень колективного інтелекту.

StoryShot #2: Існує три форми суперінтелекту 

Що ж саме в книзі мається на увазі під "суперінтелектом"? Існує три різні форми суперінтелекту: швидкісний, колективний та якісний. Вони еквівалентні у практичному сенсі. 

Спеціалізовані системи обробки інформації вже творять дива. Але що, якби у нас був машинний інтелект з достатнім загальним інтелектом, щоб замінити людей у кожній сфері? Поговоримо про зміну правил гри!  

Існує три форми суперінтелекту:

1. Швидкісний суперінтелект

Нік Бостром визначає швидкісний суперінтелект як "систему, яка може робити все, що може робити людський інтелект, але набагато швидше".

Якби емуляція працювала зі швидкістю, що в 10 000 разів перевищує швидкість біологічного мозку, вона могла б завершити докторську дисертацію за день. Щоб уникнути довгих затримок, швидкі уми можуть віддавати перевагу більш ефективному спілкуванню один з одним, перебуваючи близько один до одного. Вони можуть жити у віртуальній реальності і працювати в інформаційній економіці.

Світло набагато швидше за реактивний літак. Цифрова істота з мільйонним прискоренням мислення витрачала б стільки ж суб'єктивного часу на подорож світом, як і сучасна людина. Міжміський дзвінок здаватиметься таким же довгим, як і поїздка туди "особисто".

Агенти з високою швидкістю мислення можуть вирішити жити поруч один з одним. Так вони можуть мати більш ефективну комунікацію. Наприклад, члени робочої групи можуть жити за комп'ютерами, розташованими в одній будівлі, щоб уникнути прикрих затримок. 

2. Колективний суперінтелект

Бостром описує колективний суперінтелект так: "Система, що складається з великої кількості менших інтелектів, таким чином, що загальна продуктивність системи в багатьох дуже загальних областях значно випереджає продуктивність будь-якої сучасної когнітивної системи".

Колективний суперінтелект складніший, ніж швидкісний суперінтелект, але це те, з чим ми вже знайомі. Колективний інтелект - це система, що складається з різних людей або компонентів. Вони працюють разом, щоб вирішити інтелектуальні проблеми. Це як супергерої, які співпрацюють, щоб вирішити складні завдання.

Ми бачили колективний інтелект у дії через робочі команди та адвокаційні групи. Він чудово справляється з проблемами, які можна розбити на менші частини. Щоб досягти колективного суперінтелекту, нам знадобиться значне вдосконалення. Він має вийти за межі існуючого колективного інтелекту і когнітивних систем у різних сферах. 

Наявність колективного суперінтелекту не гарантує кращого і мудрішого суспільства. Висококоординована, обізнана робоча сила все одно може помилитися в деяких ключових питаннях і зазнати краху.

Колективний суперінтелект може набувати різних форм. В міру того, як ми інтегруємо колективний інтелект, він може стати "об'єднаним інтелектом". Бостром визначає його як "єдиний великий розум" на противагу "простому зібранню вільно взаємодіючих менших людських розумів".

3. Суперінтелект якості

За словами Бострома, якісний суперінтелект - це "система, яка щонайменше така ж швидка, як людський розум, і набагато якісно розумніша".

Розуміння якості інтелекту важливе для того, щоб думати про можливості та обмеження різних інтелектуальних систем. Візьмемо для прикладу зебру. Її інтелект пристосований до навколишнього середовища, але вона має проблеми з довгостроковим плануванням. Ці обмеження стосуються якості, а не швидкості чи колективного інтелекту серед нелюдських тварин. 

Людський мозок, ймовірно, поступається мозку деяких великих тварин з точки зору первинної обчислювальної потужності. Дорослі люди в нормі мають цілу низку чудових когнітивних здібностей. Вони не є просто функцією володіння загальною нейронною обчислювальною потужністю чи інтелектом. Існують невикористані когнітивні здібності, яких не має жодна людина. Це підводить нас до "ідеї можливі, але нереалізовані когнітивні таланти". Якби інтелектуальна система мала доступ до цих здібностей, вона могла б отримати значну перевагу. 

StoryShot #3: Є два джерела переваг для цифрової розвідки

Незначні зміни в об'ємі мозку та проводці між людиною та іншими мавпами можуть спричинити гігантські стрибки в інтелекті. 

Нам важко, якщо не неможливо, повністю зрозуміти здібності суперінтелекту. 

Однак ми можемо принаймні отримати уявлення про можливості, розглянувши деякі переваги, що відкриваються перед цифровими умами. 

Однією з переваг є апаратне забезпечення. Цифровий розум може бути розроблений з набагато кращими обчислювальними ресурсами та архітектурою порівняно з біологічним мозком. Апаратні переваги найлегше оцінити. До них відносяться

• Швидкість обчислювальних елементів

• Швидкість внутрішнього зв'язку
• Кількість обчислювальних елементів
• Обсяг пам'яті
• Надійність, термін служби, датчики тощо. 

Цифрові уми також виграють від значних переваг у програмному забезпеченні. До них відносяться:

• Можливість редагування
• Можливість тиражування
• Координація цілей
• Спільне використання пам'яті
• Нові модулі, модальності та алгоритми

Суперінтелектуальний ШІ може з'явитися раніше, ніж ми думаємо, завдяки апаратному та програмному перевантаженню. Апаратне перекриття - це коли ми маємо більше обчислювальних потужностей, ніж потрібно програмному забезпеченню ШІ зараз. Програмне відставання натякає на швидкий прогрес в алгоритмах ШІ. Це як бути на швидкому шляху до приголомшливого майбутнього. 

Цей раптовий стрибок у можливостях штучного інтелекту може застати нас зненацька, залишивши нас не готовими до подолання наслідків. Як ми можемо підготуватися до такої швидкої трансформації технологій?

StoryShot #4: Неконтрольована суперрозвідка становить значні ризики для суспільства

Просуваючись до суперінтелектуального ШІ, не забуваймо думати про потенційні ризики, пов'язані з ним. Життєво важливо переконатися, що наші цінності та цілі збігаються з цим штучним інтелектом. Що станеться, якщо він неправильно зрозуміє наші інструкції і зробить щось шкідливе для людства? Ми повинні працювати разом, щоб переконатися, що будуємо безпечне і гармонійне майбутнє зі штучним інтелектом. 

Незважаючи на те, що суперінтелектуальний ШІ обіцяє досягти дивовижних успіхів, ми не можемо ігнорувати виклики, які він несе з собою. Ось деякі з ключових ризиків:

• Ризик інтелектуального вибуху. Це може призвести до швидкого і неконтрольованого зростання можливостей ШІ.
• Ризик ціннісних розбіжностей. Це може призвести до того, що ШІ переслідуватиме цілі, які суперечать людським цінностям.
• Ризик інструментальної конвергенції. Суперінтелектуальний ШІ може зациклитися на певних засобах для досягнення своїх цілей. Він може вибрати будь-який необхідний засіб, не зважаючи на те, добре це чи погано для людини. 

StoryShot #5: Нам потрібно контролювати надрозумний ШІ за допомогою ефективних методів

Як ми можемо контролювати надрозумний штучний інтелект, який розумніший і здібніший за нас? Бостром розповідає про проблема контролю. Проблема полягає в тому, як зробити так, щоб ШІ залишався під нашим контролем і слідував нашим цінностям.

Стратегії контролю над суперрозвідкою

Ми повинні створити стратегічні рішення, щоб уникнути ризиків, пов'язаних з суперінтеллектом. До них відносяться:

• Розвиток "боксерських" методів: Обмеження можливостей ШІ та доступу до інформації
• Розробка методів "вирівнювання цінностей": Забезпечення відповідності цінностей ШІ людським цінностям
• Методи "контролю здібностей": Моніторинг і контроль можливостей ШІ 
• "Призупинення": Регулювання та обмеження впливу на важливі внутрішні процеси
• "Розтяжки": Виконання діагностичних тестів системи та вимкнення системи в разі виявлення небезпечної активності.

Наприклад, ми можемо створити систему, в якій творець винагороджує або карає ШІ. Для цього ШІ буде відстежуватися та оцінюватися. Якщо він поводитиметься добре, то отримає позитивну оцінку, яка призведе до бажаного результату. Винагородою може бути досягнення певної інструментальної мети, але відкалібрувати механізм винагороди може бути складно. 

Кращою альтернативою буде поєднання методу заохочення з вибором мотивації, щоб дати ШІ кінцеву мету, яку легше контролювати. Наприклад, ШІ можна спроектувати так, щоб його кінцевою метою було ніколи не натискати певну червону кнопку в командному бункері. Удосконалення цього налаштування можливе шляхом створення потоку "криптографічних токенів винагороди", які ШІ вважає бажаними. Ці токени зберігатимуться в безпечному місці і видаватимуться з постійною швидкістю, щоб стимулювати співпрацю. 

Однак у такій схемі заохочення є певні ризики, наприклад, ШІ може не довіряти людині-оператору в отриманні обіцяної винагороди. 

StoryShot #6: Ми повинні сприяти створенню безпечного та відповідального середовища для ШІ 

Це схоже на перегони до фінішу: поки країни та компанії змагаються у розробці суперінтелектуального штучного інтелекту, ми стикаємося з дилемою. Чи повинні ми надавати пріоритет інноваціям і мчати вперед, нехтуючи заходами безпеки та ризикуючи катастрофічними наслідками? Або ж зробити крок назад і забезпечити відповідальний розвиток ШІ, який збалансує інновації з безпекою?

Міркування щодо безпеки та політики у сфері штучного інтелекту

Оскільки перспектива суперінтелектуального ШІ стає все більш реальною, політики і дослідники повинні об'єднати зусилля і розробити заходи і правила безпеки. Важливо укласти міжнародні угоди, які регулюватимуть розвиток ШІ. Ми повинні забезпечити, щоб штучний інтелект залишався корисним для всього людства. 

Сприяючи співпраці між розробниками ШІ, урядами та організаціями, ми можемо створити безпечне та відповідальне середовище для інновацій у сфері ШІ.

Важливість прозорості

Прозорість має важливе значення для забезпечення того, щоб ШІ розроблявся і використовувався відповідально та етично. Використовуючи програмне забезпечення з відкритим вихідним кодом, обмінюючись даними та розробляючи зрозумілий ШІ, ми можемо забезпечити прозорість ШІ. 

Відсутність прозорості в дослідженнях і розробках штучного інтелекту може призвести до потенційних ризиків, таких як упередженість, дискримінація і навіть можливість заподіяння шкоди. Це як таємнича завіса, яка приховує те, що насправді відбувається за лаштунками, що може становити ризики.

StoryShot #7: Ми повинні готуватися до пост-суперінтелектуального світу та життя в алгоритмічній економіці

У міру того, як ми наближаємося до світу з надрозумним штучним інтелектом, вкрай важливо підготуватися до змін і викликів, які чекають на нас попереду. Розвиток штучного інтелекту може призвести до скорочення робочих місць і безробіття. ШІ може змінити характер роботи і навички, які будуть затребувані в майбутньому. Як ми можемо забезпечити справедливий розподіл переваг штучного інтелекту? 

Але зачекайте! Хіба це не дивовижно - думати про переваги, які може принести нашому світу надрозумний ШІ? Щоб переконатися, що він працює на благо кожного, нам потрібно вести вдумливий діалог і планувати.

Життя людей може відрізнятися від усього, що ми знали раніше. Наші минулі стани не обмежуватимуть нас, як мисливців-збирачів, фермерів чи офісних працівників. Люди можуть стати рантьє, які намагатимуться прогодувати себе на свій маргінальний дохід. У цьому сценарії люди "були б дуже бідними", виживаючи за рахунок своїх заощаджень і деякої державної підтримки. Вони житимуть у світі, сповненому приголомшливих технологій. Їх оточуватимуть не лише суперінтелектуальні машини, але й антивікова медицина, віртуальна реальність та наркотики для задоволення. Але ось у чому заковика: Ці чудеса можуть виявитися занадто дорогими для більшості людей. Як альтернатива, люди можуть обрати наркотики, які сповільнюватимуть їхній ріст і метаболізм, що дозволить їм зводити кінці з кінцями. 

Уявіть собі майбутнє, в якому наше населення зростає, а середній дохід падає ще більше. Люди можуть пристосуватися до того мінімуму, який необхідний для отримання пенсії - можливо, як ледь притомні мізки в банках, які підтримують життя за допомогою машин. Вони могли б накопичити гроші і дозволити собі розмножуватися за допомогою роботів-технологів, які створюють їхній клон. Приємна думка, чи не так?

З іншого боку, машини можуть мати свідомість і моральний статус, що робить важливим врахування їхнього добробуту при переході до пост-перехідного суспільства.

StoryShot #8: Існує сім методів захисту людських цінностей при розробці ШІ

Системи штучного інтелекту настільки хороші, наскільки хороші цінності, які в них запрограмовані. Щоб переконатися, що вони відповідають людським цінностям, ми повинні включити етику та навчання цінностям у їхній розвиток. Бостром досліджує виклики, пов'язані з навчанням ШІ нашим моральним принципам. Ми повинні бути обережними, щоб бездумно не прищепити шкідливі або упереджені цінності. Як ми можемо розробити етичний ШІ, який поважає людську гідність і сприяє загальному благу?

Системна інженерія цілей - відносно нова дисципліна, і поки що невідомо, як перенести людські цінності на цифровий комп'ютер. Деякі з них навряд чи будуть успішними, тоді як інші можуть виявитися корисними і потребують подальшого вивчення.

Існує сім типів методів ціннісного навантаження:

1. Явне представлення: Цей метод може бути ефективним як спосіб завантаження значень вітчизняності. Але він навряд чи буде успішним для включення більш складних значень.
2. Еволюційний відбір: Потужні пошукові алгоритми можуть знайти дизайн, який задовольняє формальним критеріям пошуку, але не нашим намірам. Це менш перспективно. 
3. Навчання з підкріпленням: Для вирішення "проблем навчання з підкріпленням" можна використовувати різні методи. Однак, як правило, вони передбачають створення системи, яка прагне максимізувати сигнал винагороди. 
4. Нарощування цінностей: Людські цінності здебільшого набуваються через досвід. Може бути важко відтворити складні шляхи, якими людина набуває цінностей, що призводить до того, що ШІ розвиває непередбачувані цілі. 
5. Мотиваційні риштування: Ще занадто рано визначати, наскільки складно буде мотивувати систему створювати високорівневі репрезентації, зрозумілі людині. Хоча це може здатися багатообіцяючим, ми повинні з обережністю ставитися до проблеми контролю, поки не досягнемо ШІ людського рівня.
6. Цінуйте навчання: Це потенційно корисний підхід. Одна з проблем полягає у визначенні точки відліку, яка відображає зовнішню інформацію про людські цінності.
7. Модуляція емуляції: Якщо машинний інтелект досягається за допомогою емуляції, можливі практичні модифікації його мотивацій, наприклад, через цифровий еквівалент наркотиків. Невідомо, чи це дозволить завантажувати значення з достатньою точністю. 

StoryShot #9: Що робити зі штучним інтелектом?

Ситуація, з якою ми зіткнулися зі стратегічною складністю, пов'язаною зі штучним інтелектом, є складною. Нас оточує невизначеність. Навіть якщо ми визначили деякі важливі фактори, ми не зовсім впевнені, як вони пов'язані між собою. Можливо, є й інші фактори, про які ми ще навіть не думали. Це може бути приголомшливо.

Тож що ми можемо зробити, коли опинилися в такій скруті? Ну, перший крок - визнати, що відчувати себе невпевненим і пригніченим - це нормально. Це складна проблема, і це нормально - відчувати себе трохи розгубленим. Нам потрібно визначити пріоритетність тих проблем, які є не лише важливими, але й нагальними. Це означає зосередитися на рішеннях, які потрібні до того, як станеться вибух розвідданих. Але ми також повинні бути обережними, щоб не працювати над проблемами, які можуть бути шкідливими, якщо їх вирішити. Наприклад, вирішення технічних проблем, пов'язаних зі штучним інтелектом, може прискорити його розвиток, не зробивши його безпечним для нас.

Інший фактор - еластичність. Ми хочемо зосередитися на проблемах, які є еластичними до наших зусиль, тобто їх можна вирішити набагато швидше або в більшому обсязі, доклавши лише трохи додаткових зусиль. Наприклад, заохочення більшої доброти у світі є важливою і нагальною проблемою. Вона також дуже позитивна, але не дуже еластична.

Щоб мінімізувати потенційну шкоду від революції машинного інтелекту, книга пропонує дві цілі:  

1. Стратегічний аналіз 
2. Розбудова потенціалу

Ці цілі відповідають усім нашим вимогам і мають додаткову перевагу - вони гнучкі. Існує також кілька інших корисних ініціатив, які ми можемо реалізувати. 

Думка про інтелектуальний вибух може бути жахливою. Ми ніби маленькі діти, що граються з бомбою, яка занадто потужна, щоб з нею можна було впоратися. Незважаючи на те, що це велика і страшна проблема, ми не можемо втрачати надію. Ми повинні використовувати всі наші людські ресурси, щоб знайти рішення.

Підсумковий звіт та огляд

Суперінтелект - це розвиток штучного інтелекту, що перевершує когнітивні здібності людини. Існує три шляхи до його досягнення:

1. Покращення людського пізнання
2. Створення ШІ з інтелектом, подібним до людського
3. Розробка системи колективного інтелекту.

Суперінтелектуальний ШІ може мати будь-який набір цінностей. Щоб запобігти шкоді, ми повинні розглянути конвергентні інструментальні цілі. Ми повинні діяти з обережністю у розробці суперінтелекту.

Щоб зберегти наші цінності, ми повинні розробити методи контролю над надрозумним ШІ. Включення етики та ціннісного навчання в системи штучного інтелекту має вирішальне значення. Так ми зможемо забезпечити їхню відповідність людським цінностям.

Наближаючись до постсуперінтелектуального світу, ми повинні підготуватися до змін і викликів, які чекають на нас попереду. Розвиток штучного інтелекту може призвести до скорочення робочих місць і безробіття. Але ми не можемо дозволити цим почуттям зупинити нас від того, щоб щось з цим робити. Ми повинні бути настільки компетентними, наскільки це можливо, і працювати разом, щоб знайти рішення. Важливо зберігати людяність у всьому цьому. Ми не можемо випустити з уваги те, що дійсно важливо - зменшення екзистенційного ризику і створення кращого майбутнього для всіх.

Приєднуйтесь до розмови про майбутнє штучного інтелекту та про те, як ми можемо створити безпечне та відповідальне середовище для інновацій. Поділіться тим, що ви дізналися з конспекту книги "Суперінтелект", у соціальних мережах і не забудьте позначити нас! Давайте формувати краще майбутнє разом.

Рейтинг

Ми оцінюємо Суперрозвідка 3.9/5. Як би ви оцінили книгу Ніка Бострома на основі цього резюме?

Інфографіка

Отримайте високоякісну версію інфографіки "Суперрозвідка у додатку StoryShots.

PDF, безкоштовна аудіокнига та анімована анотація до книги

Це була лише верхівка айсберга. Зануритися в деталі та підтримати Ніка Бострома, замовляйте тут або отримати аудіокнигу безкоштовно.

Вам сподобалося те, що ви дізналися тут? Поділіться, щоб показати свою небайдужість, і повідомте нам про це, зв'язавшись з нашою службою підтримки.

Новачок у StoryShots? Отримайте PDF, аудіокнигу та анімовану версію цього короткого огляду "Суперінтелекту" та сотні інших бестселерів у нашому безкоштовний топовий додаток. Apple, The Guardian, ООН та Google визнали його одним з найкращих у світі додатків для читання та навчання.

Анотації до книг, пов'язаних з темою

• Надздібності штучного інтелекту Кай-Фу Лі
• Співрозвідка Ітан Молік
• Нексус Юваль Ноа Харарі
• Алгоритми для життя Браяна Крістіана та Тома Гріффітса
• Life 3.0 Макс Тегмарк
• Homo Deus Юваль Ноа Харарі 
• 21 урок для 21 століття Юваль Ноа Харарі
• Створення другого мозку Тьяго Форте
• Чому країни зазнають поразки Дарон Ацемоглу та Джеймс А. Робінсон
• Як не помилитися Джодан Елленберг
• Ілон Маск Ешлі Венс

• Зберегти