정보란 무엇인가

이 그림은 구석기 시대 사람들이 그렸던 그림을 보여줌. 구석기 시대 인간에게 인지혁명이 일어남. 자신과 이 세상이 분리 되어있다는 감정을 느끼게 되는 것 인지혁명임. 그전까지는 자기가 배가 고프면 세상 모든 사람들이 배가 고픈 줄 알음. 구석기 시대를 거치면서 자신과 주변이 분리되어 있다는 것을 깨닫기 시작함.

돌을 갈아서 쓰는 것과 주워서 쓰는 것이랑 뭐가 그렇게 다르기에 시대를 구분할까?

구석기는 땅에 떨어져 있는 돌을 주워서 그대로 사용하는 것인데, 이런 식의 도구 사용은 동물들도 할 수 있다. 실제로 많은 동물들이 도구를 사용한다.

신석기 혁명은 근본적으로 인간과 동물을 구분시켜준다.

신석기 혁명이란 자연 상태에 있는 돌을 목적에 맞게 변화시켜서 사용한다는 개념이 있기 때문에 중요하다.

비로소 인간은 주변과 나를 분리시켰을 뿐만 아니라 주변을 변화시켜서 나를 이롭게 만들 수 있다는 개념까지 가지게 됨.

농사

의도적으로 무언가를 심어서 재배한다는 개념. 신석기 혁명은 농업과 함께 시작되었기 때문에 대단히 중요하다. 농사로 인해 지구가 갖고 있는 어떤 시간의 반복을 느끼게 된다.

시간의 반복은 하늘과 관련이 있다. 태양도 어떤 주기를 갖고, 달도 주기를 갖고 있음. 바로 천문학이 시작됨. 천문학적인 정보야 말로 농사를 짓는 사람들에게 가장 중요한 것 중 하나이다.

스톤 헨지

천문 관측대였다고 생각함.

농사의 결과로서 인간은 잉여산물을 얻게 됨. 먹고사는데 필요한 것 이상의 농산물을 얻게 됨. 잉여 산물을 몇 사람이 다 가져가고 그 사람들은 그 잉여 산물을 갖고 많은 권력을 갖고 다른 사람들을 착취하게 됨. 그래서 이와 같이 도시가 형성되고 도시 내에서 사람들은 계급이 생기게 된다. 잉여 산물이 생기게 되자, 기록의 필요성이 증대됨. 그래서 문자가 탄생함

쐐기 문자

메소포타미아 문명에서 발견됨. 처음에는 이것이 종교적인 것, 역사적인 내용인 줄 알았음.알고보니 내용은 다 회계문서였음.

즉, 회계에 대한 것이 문자로 기록해야 될 가장 중요한 최초의 정보였던 것임.

문자가 나온 뒤 정보의 성격은 크게 바뀌게 됨.

문자 정보가 나온 이후 인간의 문명에는 큰 변화가 일어나게 됨.

구술문화와 문자문화라는 책.

이 책을 쓴 월터 옹 이라는 인문학자의 말에 따르면, 문자문화가 나온 다음 인간의 문화는 근본적인 변화를 보인다고 함.

우리의 생각을 글로적은 것이 문자문화가 아님. 우리는 문자의 방식으로 세상을 보고 문자로 된 단어로 세상을 기억하고 문자로 된 틀로 이 세상을 본다는 것이다.

그래서 문자를 가지지 못한 구술문화의 특징을 보면 논리학같은 것이 존재할 수 없고 복잡한 추상적인 체계 같은 것을 만들 수 없음.

그리스 철학이 고도로 발전하게 된 데에는 문자가 지대한 역할을 함.

고대철학이 문자로 바뀌는 시기에 있었던 철학자가 바로 플라톤과 아리스토텔레스이다. 소크라테스는 문자를 남기길 거부함. 플라톤과 아리스토텔레스는 고도로 추상화된 범주라는 새로운 종류의 추상화 된 추상명사와 논리학을 만듦

문자가 있지 않다면 절대할 수 없는 것 중 하나가 수학이다.

가장 오래된 수학에 대한 문서, 파피루스. 아흐메스 파피루스라고 부름 기원전 1650년에 발견됨.

그래서 문자화된 수학은 유클리드 기하학 같은 고도의 논리학을 인간이 할 수 있게 만듦.

문자 문명과 관련해서, 인간의 언어와 관련된 SF영화 컨택트, 원래 원제목은 Arrival.

외계인과 지구인이 서로 대화를 하려는 그런 영화이다.

언어라는 것이 단순히 우리의 생각을 적는 것에 불과한 것이 아니라 그 체계가 우리의 사고방식 자체를 바꾼다.

외계인과 우리는 시간과 공간을 보는 틀 자체가 달라서 어려움이 있었음. 그래서 외계인의 문자를 깨우친 지구인도 과거와 미래를 다 보게 된다는 설정.

Sir James Augustus Henry Murray 옥스퍼드 사전 편찬자

Robert Cawdrey <알파펫순 표>

똑같은 단어, 문자를 놓고 지역과 사람에 따라 서로 다른 의미로 사용. 방언 및 사투리라고 할 수 있음. 즉 언어들을 통일하고 문자들의 단어에 정확한 정의를 줘야할 필요가 생김.

이와 같은 작업이 옥스퍼드 사전 1600년대 편찬. 사전이 만들어 졌을 때, 하나의 단어를 명확하게 정의하는 것이 아주 어렵다는 것을 알게 됨.

그 단어를 정의하려다 보면 새로운 단어가 나오게 되고 이 것을 따라가다 보면 처음에 정의하려 했던 단어로 돌아오게 된다고 함.

이것을 언어의 자의성이라고 함. 얼마나 우리의 언어가 불확실한 기반에 있는지 알게 됨.

Arithmetica Logarithmica - Henry Briggs

사전이 만들어진 시기에 또 중요했던 것은 숫자로 된 사전.

복잡한 곱하기를 간단하게 해주는 수학적 도구가 바로 로그 함수라는 것이다.

로그라는 함수가 있으면 곱하기를 더하기로 바꿔줄 수 있음.

단 변환 과정에서 어떤 표가 필요한데, 이 책이 바로 로그에 대한 표이다.

그러나 이 표의 숫자가 정확한 것이 매우 중요함.

영국 정부는 로그표를 정확히 만드는 사람에게 상금을 주겠다는 포고를 내리게 됨. 그만큼 쉬운 일이 아님.

여기서 찰스 베비지가 새로운 종류의 답을 내놓음.

인간이 계산을 하는 한 반드시 실수를 하기 마련. 틀리지 않는 방법은 인간이 하는 것이 아니라 기계가 계산을 하는 것.

이와 같이 톱니로 된 가상의 계산 기계를 만듦.

베비지가 살던 시대에는 그 아이디어를 기계로 구현할 만한 충분한 기술력이 없었음.

이 기계는 후대에 만들어짐.

베비지의 기계를 보고 에이다 러브레이스(Ada Lovelace)(1842)는 감명을 받음.

그리고 표를 하나 만듦. 저런 기계를 가지고 덧셈 뺄셈뿐 아니라 복잡한 작업을 시킬 수 있지 않을지 생각함.

그런 작업 지시서를 만듦. 이 작업지시서가 최초의 알고리즘이라고 생각함.

이렇게 인간은 기계가 인간의 지능을 대체하는 인공지능으로 갈 수 있는 첫 번째 발걸음을 떼게 됨.

여기서 문자, 숫자를 계산하는 기계라는 아이디어가 나왔다는 것 이것이 정보의 역사에서 가장 중요한 첫 번째 국면.

정보의 역사에서 가장 중요했던 지점은 바로 문자가 발명되고, 그 문자가 발전하는 과정에서 계산, 특히 수학적인 수식이 중요. 그 수식을 실제 계산하는 기계를 만들어 볼 수 없을까 하는 것이 문자의 정보의 발전에 중요한 지점이었다.

정보는 문자로 쓰여지는 것도 중요하지만 그것이 한 곳에 머물지 않고 다른 곳으로 이동하는 것도 중요함. 전달되지 않는 정보는 쓸모가 없다. 정보의 전달의 역사를 보면 아주 오랫동안 정보는 그냥 사람이 들고 전달을 했다. 편지로 써서 직접 전달을 했음. 소리의 전달 범위는 한계가 있기 때문. 그나마 가장 빠른 정보 전달 체계는 봉화라는 시스템.

빛의 속도로 정보를 전달할 수 있음. 하지만 이것이 릴레이를 통해서 전달이 되어야 하므로 많은 봉화들이 필요하고, 날씨에 영향을 받음. 게다가 전달할 수 있는 정보의 양이 제한되어 있음. 봉화 시스템이 아주 오랫동안 가장 빠른 정보 전달 시스템으로 유지가 됨. 그 역사는 고대 그리스까지 거슬러 올라감.

Claude Chappe(장 클라우데 샤프)(1793)

18세기 말에 새로운 정보 전달 시스템을 구축. 보는 것처럼 탑위에 막대기를 세워 놓음

기본적으로 봉화임. 봉화와 차이점이 있다면 막대기의 모양을 바꿔서 여러 가지 형태의 정보를 전달할 수 있다는 것이 다름.

그래서 보는 것처럼 모양 하나하나에 문자를 부여해서 다양한 정보를 전달할 수 있었음. 여기서 근본적으로 정보전달에 하나의 변화가 일어났다는 것을 알 수 있다. 봉화보다 훨씬 더 복잡한 정보를 보낼 수 있게 되었다는 것. 이 정보 시스템은 유럽에 급속도로 퍼지게 됨. 19세기 초에는 이것을 이용해서 당시의 금융업자가 떼돈을 벌었음. 금융, 증권에서 남보다 먼저 정보를 아는 것이 굉장히 중요하기 때문. 샤프의 전신시스템은 머지않아 사라짐.

1840년대, 전신기의 발전

정보전달의 역사에서 전신기가 나오는 순간 정보전달의 속도는 빛의 속도에 도달하게 됨. 오늘날 우리는 물리학 법칙에 의해서 빛보다 빠른 것이 없다는 것을 알고 있기 때문에 이미 1840년대에 정보전달 속도는 최고치에 도달함. 그래서 실시간으로 동시에 정보를 알게 됨. 그래서 전신기의 발전으로 시차를 직접 알게 됨.

샤프의 시스템과는 달리 눈으로 볼 수 없기 때문에 어떤 식으로 정보를 전달할지 약속이 필요했음. 새로운 정보체계 시스템이 만들어짐 바로 이 그림과 같음. 0과 1 이진법으로 정보를 전달할 수 있다는 것을 이 전신기와 함께 깨닫게 됨.

이 체계를 모스 부호라고 함. 점과 작대기 두 개로 된 시스템. 이렇게 이진법으로 세상에 존재하는 모든 정보를 다 나타낼 수 있다는 것을 1840년대에 깨닫게 됨. 이제 곧바로 컴퓨터가 만들어지게 됨.

전신기를 이용해서 전보를 보낼 때, 그 비용이 매우 비쌌음 그래서 문자를 압축해서 사용하는 경우가 있었는데 이 때문에 문제가 발생하기도 했음.

또한 문자에는 잉여가 50%정도 존재함.

군에서 A를 Alpha라고 하는 것은 다른 문자와의 헷갈림을 방지하기 위함. 문자의 정보전달에 있어서 잉여는 대단히 중요함. 실수를 막기 위한 것.

우리 주민등록번호 체계에도 잉여가 존재함. 맨 마지막 뒤에 두 자리는 있으나 마나한 정보이다. 그 정보는 앞의것 모두로부터 얻어지는 어떤 숫자이다. 이것을 패리트 비트 또는 체크비트라고 함. 이 비트는 실수를 막기 위해 넣는 일종의 잉여라고 할 수 있다.

사람도 정보전달 기계이다. 우리 몸은 DNA라는 곳에 정보를 저장해서 그 정보를 자손에게 보내고 그 자손은 그 정보를 이용해서 다시 자기 몸을 만든다. DNA에는 단백질을 만드는 정보가 들어있는데, 단백질을 만드는 정보는 전체 DNA에 10%도 되지 않는다. 나머지 부분을 정크DNA라고 부른다. 굉장히 많은 부분이 왜 있는지 모르는 부분들이다. DNA와 같은 중요한 정보는 우리가 전달하는 과정에서 실수가 생길 경우 심각한 문제가 일어날 수 있다.

중요한 정보를 전달할 때는 잉여를 줘야 함.

이것은 우리의 삶에도 중요한 의미를 준다. 하루의 삶이 한 치의 오차도 없이 컴팩트하게 되어 있다면 갑자기 지하철이 늦거나 약속이 깨지면 큰 일이 벌어질 것이다. 하지만 삶에 잉여가 있다면 어떤 사고에도 대처가 가능함. 집단에 잉여는 존재할 수 있음 그 잉여가 크지 않다면 그 집단의 안정성을 위해서 소중하다. 정보의 전달은 우리에게 이러한 중요한 인문학적 교훈을 줌.

정보의 과학에 대한 내용. 베비지는 계산하는 기계를 만들어 보자고 한 사람. 실제 그 아이디어가 20세기에 구현이 됨. 그 아이디어가 구현되기 위해서 정보의 가장 중요한 기본 단위를 알아야 하는데, 그것이 바로 0과 1이었다. 0과 1을 이용해서 모든 논리를 할 수 있다는 것을 불이 보임. 남은 일은 그 논리를 이용해서 실제 인간의 모든 행위를 처리하는 기계를 만들 수 있는지 의문. 그것을 만들 수 있다는 것을 보인 것이 튜링이었다.

튜링은 한 번에 하나씩 0과 1을 처리하는 기계가 인간이 하는 수학에서 하는 모든 것을 다 보일 수 있다는 것을 수학적으로 증명하고 기계를 만들었다.

컴퓨터라는 것은 정보를 입력받아서 정보를 출력하는 기계이다. 그 때 들어오고 나가는 정보는 항상 0과 1로 된 숫자의 나열이다.

그래서 0과 1을 처리하는 논리회로들이 필요하고, 이런 반도체 칩은 논리회로로 구성되어 있음. 논리회로를 많이 모으면 복잡한 일을 할 수 있고 더 많이 모으면 오늘날 CPU처럼 훨씬 복잡한 일을 할 수 있고 컴퓨터와 스마트폰과 같은 일을 할 수 있게 됨.

Jack Kilby는 이와 같이 집적회로를 만든 공로로 노벨상을 받기도 했음.

이처럼 베비지가 생각했던 아이디어, 계산을 기계가 하도록 해보자는 아이디어는 20세기에 와서 구현이 된다.

과연 정보란 무엇일까?

이에 대한 답은 클러드 섀넌(1948)

정보를 우리가 어떻게 정량화할 수 있을까?

마치 물체의 무게를 1kg하는 것처럼 정보의 크기를 잴 수 있는 기준이 있어야 한다는 의미.

너무나 당연한 얘기를 하는 경우 정보가 없는 것과 마찬가지이다. 어떤 정보의 가치는 그 문장이 일어날 확률의 역수라고 주장. 확률이 적을수록 정보가 많다는 뜻.

1/p이 정보의 양이라는 의미. 하지만 문제가 존재함. 정보의 양도 질량처럼 정보가 두 개 있으면 더하고 싶음.

그런데 정보가 확률이기 때문에 연속적으로 일어난 독립된 사건의 확률은 각각의 확률들의 곱으로 주어진다. 따라서 이런 것의 정보량은 역수를 취하게 되면 더하기로 되지 않음.

따라서 이와 같이 곱하기로 되어 있는 것을 더하기로 바꿔주는 어떤 함수가 있다면, 우리가 이 정보의 양도 더할 수 있을 텐데하고 생각함. 로그 함수를 도입해서 이 문제를 해결.

그래서 마지막 식은 로그 함수로 쓰여진 정보의 정의이다.

이 정보의 정의는 바로 볼츠만이 정의했던 엔트로피와 같은 형태이다.

그래서 우리가 이것을 정보 엔트로피라고 부른다.

예를 들어서 0과 1로 되어있는 정보의 가장 핵심적인 어떤 재료를 가지고 엔트로피를 다시 설명, 만약 계속 1만 나온다면 이러한 정보는 의미가 없다.

1이 나올 확률이 1이기 때문. 이런 것은 로그로 정의된 엔트로피로 계산하면 0이 나온다. 정보가 하나도 없다는 것이다.

하지만 0과 1이 계속 불규칙하게 50대 50으로 나온다면 이것은 엔트로피가 로그2가 나온다. 보통 우리가 로그를 잡을 때 기준을 무엇으로 할지가 중요한데, 정보에서는 기준이 비트라고하는 2가 기준이다 그래서 이것의 엔트로피는 log_2(2)이기 때문에 1이다. 이것을 1비트, 원비트라고 부른다.

정보 엔트로피는 전달하고자 하는 정보를 나타내기 위해서 필요한 최소의 비트 수를 이야기 함.

당시 섀넌은 벨 연구소에 속했음. 벨연구소는 정보를 정량화 해야하는 문제가 있었음. 벨이라는 회사는 그레이엄 벨이 만든 회사로 전화회사이다.

정보를 전달해주고 돈을 받는 회사이기 때문에 이동한 정보의 양을 어떻게 평가해야하는지 문제. 이런 문제를 풀기 위해 도입된 것이 엔트로피이다.

이 그래프는 소설책 천 권으로부터 추출해서 얻어진 데이터. 영어의 문장을 보면 영어 알파벳이 고르게 사용되지 않는다. 가장 많이 사용되는 알파벳은 e이고 가장 사용되지 않는 알파벳 중 하나는 z이다. 만약 영어 알파벳을 고르게 사용한다면 log26 ~ 4.7bit가 나온다. 영어를 보내기 위해 최소한 다섯 개 비트로 된 정보 기본 단위를 필요로 한다는 것이다.

하지만 실제로 영어 알파벳은 26개가 고르게 사용되지 않음. 이 분포를 넣어서 엔트로피를 계산해 보면 엔트로피는 2.3비트가 된다. 3비트면 충분한 것이다. 이전과 비교했을 때 2비트만큼 이득을 보는 것. 이것은 돈으로 엄청난 차이.

이런 이유 때문에 엔트로피를 처음 연구 했던 것이고, 지금도 정보를 이런 관점으로 연구하고 있고 이것을 정보과학, 정보공학이라고 한다.

정보 엔트로피의 형태가 볼츠만이 이야기한 엔트로피의 형태와 같은데 물리적으로 의미가 있을지 질문. 이에 대해 맥스웰의 도깨비 개념이 나옴

Maxwell's Demon(맥스웰의 도깨비)

열역학, 통계역학을 할 때, 박스 안에 들어있는 분자들의 속도를 다 알지 못하기 때문에 속도의 확률을 구한다고 했음. 확률을 쓴다는 얘기는 모른다는 얘기임.

하지만 만약에 우리가 박스 안에 들어있는 모든 분자들의 속도와 위치를 전부다 알고 있다면 확률을 쓸 필요가 없을 것임.

그런데 엔트로피는 확률로 정의됨. 도대체 우리는 열역학이나 통계역학을 몰라서 사용하는 것인가?, 왜 우리가 알고 모르는 것이 물리학을 하는데 영향을 주는 것인가 ? 하는 질문

맥스웰 도깨비는 안에 여러 종류의 속도를 갖는 기체 분자들이 있는데 빠른 분자가 오면 문을 열고 느린분자가 오면 문을 닫는다. 이것을 계속하면 한쪽에는 빠른 것만 모이고 느린 것만 모일 것. 빠른 것은 온도가 높고, 느린 것은 온도가 낮음. 온도의 차이가 생김.

이 도깨비의 존재를 모르는 사람이 이 시스템을 보면 자발적으로 온도 차이가 생기기 시작하는데, 이것은 열역학 제 2법칙 위배. 도깨비는 없어야 한다.

도깨비가 정말 있는지 없는지에 대해 수많은 논쟁이 있었음. 그 중 정보와 관련된 도깨비 이야기. 결론은 도깨비는 없다. 정보를 사용해서 도깨비처럼 보이는 것이 도깨비가 아니라는 것을 이야기하고자 함.

Szilard's engine(지라드 엔진)(1929)

이와 같은 엔진을 제안함. 이 엔진은 박스 안에 계속 움직이고 있는 분자가 하나 있음. 이 박스에 가운데에 하나의 벽을 넣음. 벽을 넣고 보니 오른쪽에 입자가 존재함. 이 입자는 계속 움직이면서 벽을 때림. 이 벽이 움직일 수 있다고 가정. 벽이 움직일 수 있다고 가정하면 벽은 계속해서 왼쪽으로 움직일 것임. 움직이는 벽에 물체를 달아주면 물체를 끌어올릴 수 있을 것임. 이렇게 일을 하게 되면 에너지가 보존되기 때문에 제 1법칙에 의해 입자의 온도가 낮아져야 함.

온도를 낮추고 싶지 않으면 온도가 일정한 열저장소를 붙여주면 온도가 바뀌지 않음.

이건 계속 작동해서 처음으로 돌아왔을 것임. 처음으로 돌아오고 나면 온도가 변하지 않음. 그렇다면 이것이 도깨비라는 의미.

왜냐하면, 카르노의 기관에서 우리는 카르노의 기관이 작동하기 위해서 언제나 높은 온도의 열저장소와 낮은 온도의 열저장소가 둘 다 필요하다고 했음. 높은 온도만 있으면 안되는 이유는 이 것이 반드시 엔트로피의 일부를 낮은 저장소에 버려야하기 때문. 엔트로피를 버릴 곳이 필요한데 지라드 엔진에서는 엔트로피를 버린 적이 없음. 열은 열 저장소로부터 안으로 들어오기만 했음.

저것이 도깨비가 되지 않는 방법이 하나 있는데 그것은 바로 정보 엔트로피를 이용하는 것이다. 엄밀하게 얘기하면 벽을 넣었을 때, 기체 분자가 어디 있는지 모른다. 어디 있는지 모르니까 양쪽 다 가능성이 있음. 이 때 경우의 수는 2가지 로그2이다. 일단 눈으로 보고 나면 어디있는지 알게되기 때문에 경우의 수는 하나이고 엔트로피는 제로가 된다.

이처럼 우리가 어디에 입자가 있는지를 아는, 지식을 얻게 되는 그 행위가 엔트로피를 바꾼다는 것이다. 즉 정보가 실제 엔트로피가 될 수 있다는 의미이다. 따라서 이 때 엔트로피를 바깥으로 버렸기 때문에 지라드 엔진은 작동할 수 있는 것이다.

얼핏보면 열역학 제 2법칙을 위배하는 것처럼 보이지만, 정보까지 엔트로피로 생각하면 비로소 제 2법칙이 깨지지 않고 잘 작동한다. 이처럼 정보는 물리학의 일부로 들어오게 됨. 정보 엔트로피는 실제 의미가 있는 물리적 엔트로피였던 것이다. 수학적으로 모양만 같은 것이 아니라 의미도 같았던 것이다.

유비쿼터스 - “여기저기, 도처에”라는 의미

생명현상에서도 가장 중요한 것이 정보라는 것을 인간이 깨달은 것은 1950년대이다. 우리는 그 정보전달이 물질로 이루어진다는 사실을 알고 있음. 그 정보전달 물질이 DNA이다. DNA는 원자로 되어 있음.

바로 이와 관련된 논문을 쓴 사람들이 왓슨과 크릭임.

이들은 DNA의 화학적 구조를 밝힘.

DNA는 이와 같이 4개의 문자로 되어 있음.(2개가 가장 효율적임)

생명은 최선으로 되어있지 않음. 이것이 진화라는 것의 특성이다. 진화는 가능한 가장 최적의 상태가 아니라 주어진 상황에서의 최선을 하는 것임. 그래서 4가지 문자를 사용해서 정보를 전달하게 되고 4가지 염기 모두 단순한 원자 구조로 되어 있다.

생명의 중심원리에서도 DNA가 가장 중요하다. DNA로부터 나오는 정보는 단백질을 만드는 정보이고 단백질이 바로 우리 몸에서 이뤄지는 모든 생화학 작용을 명령하는 그런 역할을 한다.

따라서 DNA에 들어있는 정보, 그것이 우리 몸을 이루는 가장 중요한 핵심이고 우리 몸의 모든 세포는 DNA의 정보를 모두 다 가지고 있음. 그런데 왜 우리 몸을 만드는 전체 정보를 왜 각각의 세포가 다가지고 있어야 하는지 의문.

그만큼 DNA가 중요하다는 의미.

리처드 도킨스는 “이기적 유전자”라는 책을 씀. 이 책에 따르면, 우리 같은 생명체는 우리가 생명의 주인이 아니라, 우리 몸의 목적은 유전자를 전달하기 위한 기계에 불과하다는 것. 이와 같이 유전자 중심주의까지 나올 수 있는, 즉 우리 생명의 핵심이 정보에 있다는 것을 극단적으로 보여주는 예.

인간의 의식조차도 따지고 보면 정보처리 기계에 불과하다.

인간의 의식을 만들어내는 이 기계는 앞에서 얘기한 튜링에 의한 방식과 다름. 0과 1을 사용하는데 이것은 신경세포라는 것인데 인간의 모든 몸에서 정보의 흐름은 전기신호로 되어있고 이것은 0과 1이다.

이 그림의 세포는 뉴런이라는 신경세포이고 이 신경세포가 많이 모인 것이 두뇌이다. 이 신경세포가 하는 일은 매우 단순함. 기다란 줄기가 외부로 나가는 신호를 보내는 것이다. 나머지 작은 가지들이 밖에서 들어오는 신호를 받게 됨. 밖에서 들어온 신호가 다 모여서 전기 신호가 어느 이상이 되면 threshold 임계점을 넘어서면, 신호를 내보내는 장치이다. 신호를 받다가 쏟아내는 것을 파이어링이라고 한다.

이 뉴런과 뉴런사이에 접합부위가 있는데 접합부위는 접합의 세기가 변할 수 있다.

접합의 세기가 강해지기 위해서는 많이 사용하면 된다.

예를들어 사과를 봤을 때 먹고싶다는 생각이 드는 과정을 들면, 사과를 먹어보았더니 맛이있었다 그렇다면 사과를 먹는다는 행위와 사과가 맛있다는 개념이 있는 곳의 연결부위가 강화됨. 이 연결부위가 강화되면 사과를 보기만 해도 전기신호가 이 연결부위가 강화된 곳을 타고 맛있다는 부위를 자극하여 보자마자 맛있다는 생각이 떠오르는 것임. 이것이 바로 기억이 작동하는 방식. 이것이 세상을 이해하고 생각하는 방식이기도 함. 이러한 연결부위를 시냅스라고 함. 이 시냅스의 결합 강도가 변화되는 것을 학습이라고 한다.

실제로 우리 두뇌는 아주 복잡한 구조를 이루고 있음. 이 구조를 그대로 모사해서 오른쪽과 같이 노드를 만들고, 노드 하나하나가 신경세포이다.

이 노드는 신경세포와 똑같이 작동을 한다. 신호가 들어와서 어느 임계점을 넘어가면 파이어링 하는 것임. 이 연결 되어있는 각각의 선들이 일종의 시냅스인데 이것의 연결강도를 계속 바꿀 수 있다. 이것을 가지고 인공신경망이라고 한다. 바로 이것이 인공지능이다. 사과를 자꾸 Input으로 보내서 맛있다는 결과가 나오도록 계속 연결부위의 세기를 바꾸는 것이다. 그래서 이것이 처음에는 작동안하겠지만 나중에는 사과라는 인풋에 대해서 맛있다는 반응을 하도록 연결부위가 만들어지면 학습이 끝난 것이다.

이와 같이 인간의 의식조차도 결국은 정보처리기계에 불과하다. 단, 정보처리방식은 컴퓨터의 방식과는 다르다.

오늘날에 정보처리는 대단히 중요함. 전문가가 만들어낸 브리타니카라는 사전보다 개인들이 모여 자발적으로 만들어낸 위키피디아라는 사전이 훨씬 더 막강하다. 정보화시대에는 과연 어떻게 정보를 다뤄야 하는가. 정보는 중앙집중적으로 다뤄서는 안 된다는 것을 보여주는 좋은 사례이다.

문제는 정보가 너무 많은 것이 문제이다. 어떤 정보가 올바른 정보인지 알지 못해서 문제.

이 상황을 비유적으로 나타낸 소설 - 바벨의 도서관(보로헤스)

바벨의 도서관에는 이 세상에 존재하는 모든 책이 다 있음. 앞으로 나올 가능성이 있는 모든 책이 다 있음. 여기에는 모든 것이 다 있다는 것이다. 결국 도서관에 있는 책이 0과 1로 바꿔서 생각해보면 0과 1로 되어있는 존재할 수 있는 모든 문자열을 다 가지고 있는 것이다. 이것은 완벽한 도서관이다. 하지만 또 한편으로 보면 아무 것도 없다고 할 수 있다. 아무런 문자를 적어도 이 도서관에는 있기 때문에 그것이 무슨 의미가 있을 것인가.

정보는 무자비하게 나열된 것이고 그럴 때 엔트로피가 가장 크다. 그 엔트로피는 물리적 엔트로피이기도 하다. 오늘날 우리는 끊임없이 정보를 늘려가고 있다.

지금은 정보화 시대이다. 21세기의 세상을 이해하는데 가장 중요한 키워드가 정보이다.

1) 정보의 탄생

정보의 정의는 아직도 무엇인지 알기 어렵다. 정보라는 역사에서 가장 중요한 지점은 문자가 탄생한 것이다. 인간은 다른 동물과 달리 자신의 생각을 문자라는 도구를 사용해서 나타내기 시작. 문자의 역사는 오천년밖에 되지 않았음. 문자 발명 이후, 인간의 사고는 큰 변화를 겪게 됨. 문자문명과 구술문명에 큰 차이가 있음. 역사적으로 복잡한 수의 표를 인간이 만들기에 너무 힘들어서 기계한테 시키면 좋을 것이라는 찰스 베비지의 아이디어에서 큰 변화가 오게 됨. 훗날 그 아이디어는 컴퓨터라는 형태로 기계로 실제로 만들어지게 됨

2) 정보의 전달

정보는 다른 사람에게 전달되지 않는다면 그 가치는 많이 떨어진다. 정보전달에 중요한 것은 속도이다. 정보전달 속도는 1850년대에 전기 기술에 의해 최고수준에 도달하게 됨. 모스부호가 정보 역사에서 큰 혁명. 0과 1 두 개의 문자로 모든 정보를 다 전달할 수 있다는 사실을 깨달은 것 뿐아니라 쓰게됨. 인간의 모든 언어를 0과 1로 나타낼 수 있다면, 인간의 행동과 논리체계도 0과 1로 표현할 수 있다는 것을 불이라는 사람이 불 대수학으로 확립. 0과 1 그리고 불대수학을 사용하여 기계를 만들 수 있다는 것을 보인 사람이 튜링 20세기 초에 보이게 됨. 앨런 튜링의 논문을 바탕으로 만들어진 기계가 컴퓨터(1950)이다. 반도체를 이용해서 5볼트 전기 전압을 이용해서 구현함.

3) 정보 엔트로피

정보를 정량화할 필요가 있음. 섀넌이 정의한 정보의 정량화된 형태를 정보 엔트로피 혹은 섀넌 엔트로피라고 부름. 섀넌은 정보가 확률과 관계있다고 생각했음. 확률이 아주 높은 사건은 정보가 거의 없다. 확률이 작을수록 가치가 크다는 점에서 정보 엔트로피를 정의. 정보엔트로피의 수학적 형태가 물리에서 나오는 볼츠만 엔트로피와 똑같았다. 볼츠만 엔트로피는 물리적 상황을 기술하고, 물리적인 경우의 수와 대응되는 것임. 지라드 엔진, 맥스웰 도깨비라는 예를들어 두 엔트로피가 같은 의미라는 것을 알게 됨. 정보를 이용하는 맥스웰 도깨비 같은 경우 우리가 무엇인가를 아는 것만으로 적절히 잘 이용해서 물리적인 일을 할 수 있다. 알고 모르는 것을 정보 엔트로피로 정량화할 수 있는데 이것은 물리적 엔트로피와 같기 때문에 알고 모르는 것만 가지고 일을해도 문제가 되지 않는 것을 확인 할 수 있음.

이렇게 엔트로피의 개념을 확장. 정보가 물리학에서도 중요한 의미를 갖게 됨.

4) 유비쿼터스 정보

오늘날은 정보화시대이다. 우리와 같은 생명자체도 사실은 정보를 처리하는 기계이다. 정보를 받아서 정보에 따라 피드백을 하고 거기에 맞게 행동을 하는 체계가 우리 생명이다. 도킨스의 이기적유전자는 우리 인간은 결국 유전자를 전달해 주는 소모품에 불과하고 가장 중요한 것은 유전자 즉 정보이다라고 까지 말함. 의식 역시 기계화 할 수 있다. 인공지능을 이야기하는 것임. 인간의 의식 역시 정보처리 기계이고 모두 물리적 과정이기 때문임. 신경세포, 시냅스, 그 과정을 그대로 모사한 것이 인공신경망, 즉 인공지능이다.