Name: Daedu Jokjang's Front-Row Thought Dump — AI Side Effects: The Cockroach Antennae Show
Uploaded: 2026-11-15T00:42:30+00:00

Transcript · EN

[instrumental music plays]

From King Gojong's time, the, uh, banquet hall, they recreated it with this.

Ah.

Watching.

Jeez.

Hmm?

Hate when you shove stuff at me.

Fine.

I'll show you later.

If I pick a dish here, it's made from those over here.

What's this?

It recreates it on the table.

You ate there too?

An exhibit, not food.

Oh, yeah?

But when you go in, it's this long.

The room mirrors up.

What are they carrying?

Like they're eating?

Ah, not eating.

It's that.

Just viewing.

Sure.

Kind of like this.

There's a video there too.

The ingredients on the left.

Okay, okay.

Like this.

I said, "Okay."

Move it over here, then on the screen.

So clueless, seriously.

No, not interested.

Okay, okay.

Ugh, really?

Ugh, dork.

Not interested.

Okay.

I'll show you la...

Sending.

I mean, I didn't even go.

Why show me that?

The world's changing, that's all.

I told you that.

I'll tour our country like a foreign visitor.

Yeah.

But suddenly, such a hassle.

Fine.

No.

Fun, fun, fun.

Lost track.

2,000, 25,000 steps.

Oh, jeez.

This guy's gonna crash again.

What?

Just when he was doing well.

What's that?

He's on that Sixth Sense show now, right?

Replace him then.

Footage?

All shot already.

Not all of it.

Then they can't air it.

So, the footage?

Aren't there people booked to be on it too?

A guest every time?

Yeah.

That guest's screwed?

Can't cut them.

When that blows up, I pity them most.

And the people producing it with him have to throw it all out.

That'd drive me nuts.

Producer cuts him out.

So, after that, they won't use him later.

Ugh.

He'll lie low for years.

Why'd he drive himself?

No reason he had to.

That I don't get.

He couldn't judge then.

Friends could call a driver, others.

So the guys...

Ugh, I drank too, I know.

When you've been drinking, you're not in your right mind.

If you think your judgment still works drunk, there'd be no problem.

Still, that should be a given.

You have to judge before you drink.

And if it keeps repeating, you shouldn't drink, because it doesn't work.

But my conclusion, alcohol is a sin.

It's hopeless.

Ugh.

I must have seen it countless times.

I drank too.

Yeah.

Lots.

Thinking one glass is fine.

But everyone's different.

Hmm?

Everyone's different.

And by feel, drinking after a while, right?

Told you.

Back then, what was it?

The Michelin place, Paris.

The booze in that dessert.

I ate it and my head spun.

[instrumental music plays]

Here, I'll take a picture.

What was this again?

Ravioli.

Mm.

Too sweet for me.

I eat it all myself?

Huh?

All mine?

Isn't there alcohol in this?

Why?

Booze in this?

This?

Hmm.

It hits, doesn't it?

This?

Yeah.

No alcohol.

It's alcohol.

That's bitter?

That stuff in it?

Booze.

They put in, like, liqueur, the stuff they put in chocolates.

Orange liqueur.

Ah, there's booze in this.

Oh?

Non-drinkers shouldn't eat this.

Oh?

I can't tell.

Hey, it's spinning.

What are you saying?

My head's spinning.

No, try the bottom.

Here, the bottom.

The bottom.

You, you can't even drink.

Me, someone who used to drink, I feel it like that.

So try here.

Did I get it wrong?

Booze?

Tastes like booze?

Hmm.

Hey, look at this.

It spins.

Here's the thing.

Not that one.

No, that's not why.

Why I feel it's booze is, it's that buzz from, like, a third of a glass of soju after a long break.

It just hits.

Really?

Hmm.

It's gone now, but it's exactly the taste of one drink.

Like, one spoonful and whoosh, like a drink.

Definitely, definitely there's alcohol.

This time too.

It's booze?

I said that, but that was 0.1%.

It says alcohol-free, but not all of them.

Some have 0.1% in them.

So some beers write like 99.99%.

You feel it even with that?

A little?

The feeling?

It's bad.

If you drink after a long break, but once it's a habit, one glass gives you a little buzz, but it's like, "Eh, I'll sober up."

So it seems fine, but then it's two glasses, three, and you start pushing it bit by bit, the line.

Huh?

A razor-sharp line at first, then it blurs into a range.

[laughs]

Two, three?

Wor-words change.

Hmm?

I'm fine up to two or three.

Fine up to three, four, seven.

That's how it shifts.

A bottle, I sober right up.

Then you screw up.

Ah, but watching a person crumble is sad.

Just gone, like that.

Another one who went down just like that.

30-some years of building it up, and you wreck it in one shot.

It's the same.

You know, that thing.

One meal, huh?

One cigarette butt.

Ah.

Once it starts, the one who crossed it will cross it again.

Hmm.

So why twice, I'm saying?

Then you start thinking, "Why twice?"

Crossed it twice, but never a third?

There was talk of three times.

It's the cockroach theory, exactly.

You don't need to see a cockroach, just its antennae, and that house is done.

Then they're there, cockroaches.

I definitely saw one.

That means there are cockroaches, and it never ends at one.

Now everyone with a stake is going, "Come back," and stuff.

As a person, it makes no sense, but looking at it like this, drinkers make me a bit nervous too.

I drank too, so people who drink a lot, you know, a time bomb, could go off anytime.

Even in daily li-life too.

Not just celebrities, not just famous people.

If I could choose, I'd pick someone who doesn't drink, working together or whatever.

Booze is hopeless.

So even someone who keeps their normal character intact crumbles because of booze.

But there's a line where it crumbles, the line where Mr.

Hyde comes out.

You hold it, really hold it, then Mr.

Hyde comes out.

No idea why.

If they know it themselves.

It doesn't work.

That's why booze is scary.

Not every time.

No idea when it pops out.

But once you feel it, some people find it scary, so some go, "I shouldn't drink."

Some at least start thinking about it, and some go, "Happens once in a while," and move on.

Even after a weird experience.

That's heading toward being ru-ruled by alcohol.

What's that a signal of?

A hijacking signal.

Mr.

Hyde's hijacking you.

You won't admit it.

And when you drink, your brain adapts too, too much, so it hijacks you.

Like, it steals your sanity, and then that hijack, that one Mr.

Hyde is ruling me, and I don't know it, and I won't admit it.

Not knowing, denying.

Not admitting is bigger.

Matter of degree.

He must know.

Then you start blacking out, right?

Even once or twice?

What's really scary is you hand Mr.

Hyde the baton, the command tower, and you let go of your mind.

And do you know what'll happen?

So is it you hand it over and it just cuts out?

Even normally, you just haven't blacked out.

It means you're 20%, Mr.

Hyde's 80%.

Normally, hmm?

So one drink, you hand over 1%.

Two drinks, it doesn't go linear, it goes exponentially.

Then it'd jump, like 1%, 10%, 30%, right?

And blacking out means handing it all over.

You don't feel it, how dangerous that is.

Tons of accident cases too.

It's not just about drunk driving.

After you lose it, lose it.

It's not that you pass out asleep.

You can't remember what you did.

But seeing him on a talk show lately, normally the guy's...

He's all loose.

Loose normally, then he gets strict, that type.

Dangerous personality.

Sympt?

That's true too.

Musk is like that too, you know?

Eh?

Says he's blowing off stress, binge drinks, does all kinds of stuff.

Practically orgy level, that guy.

That's the danger.

You gotta do that much now and then.

To, like, survive.

That's how it gets justified.

If you must.

It's your nature.

He lives like that.

That's what's dangerous.

But at least he's got people around watching and protecting him.

When he parties...

Who?

His brother, too.

[sighs]

Shields him.

Brother?

But ordinary folks don't have that.

They do it alone, and nobody's protecting them.

So, like a kid left by the water, nobody fences them in, so they screw up.

You, you've only heard about it, never been through it.

I've been through it.

That's why I quit drinking.

How scary it is.

Ugh, really.

I was terrified afterwards.

That it could have happened?

Stuff like that.

Ah, I could have caused an accident.

I did cause some small ones, and then my heart just sank.

One more step, and what would have happened?

So, some quit right then.

Hmm.

Some people just let it slide, but most let it slide.

Too easy on themselves.

He screwed up like that, even drove drunk, right?

There are warning signs.

Wouldn't be his first time.

He just didn't get caught.

Then it comes out like this.

He screwed up.

Not, "I did wrong.

I'm caught."

Caught on his first try?

So, does he feel caught or feel he did wrong?

That's the problem.

So there are clear signals to be careful before, but the, eh, drinking, it happens.

That grows, the tolerance.

And, and birds of a feather, they drink together, so nobody feels guilty, probably.

So it's hopeless.

But I...

It's pointless, but if I went back, what I'd want to tell myself is, "Don't drink."

[laughs]

Huh?

First, it wrecked my brain.

Not that my brain's bad now, but my brain was seriously, seriously sharp.

Clear head, I recall.

Hmm.

That got wrecked in my 20s, 30s.

I don't think it's just aging.

From drinking a lot, I think.

Smoking a lot, too.

So if I went back, "Hey, don't you want to keep that clean, cl- clear head?

No booze, no smokes."

Tell him.

I want to tell him.

Pointless, though.

Futile.

Like me cutting carbs and whatnot now.

That's pointless too.

That's different.

Hmm.

I say that too.

People need one outlet, I mean.

You can't be a monk.

Monks can't.

Living like that is too hard.

But, you know, the level of vice.

If I rank them, for me, number one is booze.

Not counting dope, illegal stuff.

Ranking vices society accepts, I think booze is pretty much number zero.

What you shouldn't do, that, then cigarettes.

But we're too lenient, our country.

No, the whole world thinks you have to drink.

Then they screw up, thinking it's okay.

That thing you mentioned, the tax accountant thing, someone took the exam with AI glasses.

The most relatable opinion is, you think he was the first?

A record.

Didn't he have a prior?

So, if he got caught, if it's true, if caught, it was already going on, and he alone.

So, like, people's opinion is this, he didn't use his brain.

Too obvi- I told you.

Why'd he need a perfect score?

Tch.

Back then, kids who cheated would miss a few on purpose.

Dumb.

So it doesn't show.

Uh, I'm like, "Why'd he make it obvious?

You blend in a little."

He's dumb.

So, it's been going on all along, and this guy blew it.

Obviously.

That's one opinion.

Don't know yet.

Not proven yet.

Ugh.

But that's the same thing, the cockroach theory.

Saw the antennae?

Then they're there.

It means it can be done.

So whether he did it or not, it's proven it can be done.

That's why people all tried it, all over.

Everyone's on alert, like the CSATs next.

How to stop it?

Is it just this one?

But think about it.

You're a Daechi-dong mom, someone who can spend hundreds of millions, billions.

Would you bother with glasses?

Huh?

Pouring that much into their kid, what wouldn't they do?

No.

The cases caught using AI, on record, there's tons of those too.

My point is, that's using a product on the market now.

My point is, you're a mom for whom money is no object.

Any amount.

Those moms really do spend.

They can.

I'll give you about a billion won.

Make it for me.

You think nobody would?

That price, a market like that would form, right?

Eh?

They'd come to you, if anything.

"We'll make it for you.

No one will notice.

And it's not GPT, ma'am, not Claude.

We run it ourselves.

We'll connect it.

It never drops.

We'll implant it here, unseen."

That could happen.

Like, "We'll pop it in here, like LASIK, then take it out."

Maybe.

There's an ear thing.

How would anyone catch that?

I'm sure that market's being, being made or made.

It'd- Likely.

Bet 5,000, but after passing, you'll lean on that all four years of college?

But there's a bigger point.

It's already that era?

Then you don't need that exam.

What can you do?

The world's like that anyway, huh?

If you live like that, it's a world without it, a world with no need.

If a tax accountant can pass like that, why do we need tax accountants?

No need for it when everyone can use it like this.

Hmm?

Then the exam system itself is wrong.

And if you get into college like that, what are you going there to learn?

There's no point.

So the signal is, the world changed, and we're still doing useless stuff.

The exam itself means nothing.

Being a tax accountant means nothing.

Being a student means nothing.

Right?

I wouldn't send them to college.

No college.

Why bother?

You don't need the exam.

Everyone can pass, so what's that exam even testing?

That ability, right?

Then it means I don't need to build that ability.

That's the biggest problem.

If the world's already changed like that, I'd adapt to it.

Why take an exam to get in there, I wonder?

A smart fool, I mean, pouring money into that.

Hmm?

If that's true, a tax accountant took the exam like that and passed, got into this market, a market that'll vanish.

Why even get in?

Translation's the same now.

Fought like hell to get in, and it'll vanish.

Translation market, same thing.

So kids got into college like that now.

After college, they'll enter the workforce like that too, right?

Is there even a market for that?

Seriously?

There isn't already then.

If you can do that there, funnier still, know what those guys demoed it with?

They were demoing with, like, GPT-3.5.

That model list that shows up on the glasses has to be small, and that level's low-grade to them.

Test, exam questions at that level.

Math too, like GPT-3.5.

GPT-3.5.

I told you I first made Pippa on GPT-4.

Hmm?

Know how awful GPT-3.5 chats were?

But with that, it solved the exam and scored 90-something.

Now it's GPT-6 Astra, what I use.

Fable 5.2.

So back at GPT-3.5 level, there wasn't even Claude.

What came next was Claude 3 around 2023.

But even at that level, it beats people, gets top grade, finishes first.

So way beyond even the local models I run now.

Right?

So can you beat Astra?

Can you beat Fable?

It's already that world.

The market disappears.

That's more dangerous.

But why bother?

Not even worth debating.

To put it in relatable terms, the abacus market's gone, and they cheated with it.

Like, being good at abacus, what's the point, I'm saying?

Say abacus to anyone now, some won't get it.

What's an abacus?

That shocked me more.

Ugh, that.

That.

Because it has to be small.

GPT-3.5, I'm saying.

So actually, think about it.

The exams we take are low-level.

Arithmetic, mainly.

Math's hardest, right?

If anything, GPT-3.5 might miss Korean or English.

It's ambiguous.

Isn't math clear-cut?

Math, it'd get nearly all at a glance.

[laughing]

Science too, probably.

Calculation problems and such, or where facts are fixed, pretty much deterministic.

Those are the hardest ones.

So I think that market's coming.

In the transition, a market's bound to form, a market for custom-made ones.

Then you check everything.

Ban watches.

Like you can't bring phones in now.

Ban watches, ban glasses.

But then what about glasses?

How would you check?

Look one by one?

A detector won't cut it.

People will take the risk and implant it.

Then they name their price.

Then a market forms again, a price range.

Then go to Daechi-dong.

Would that price range even matter?

They'd spend 10 billion won.

But that's even scarier.

You don't need that big a model for the CSAT, tax accountant, CSAT, CFA 2, I bet.

It'd probably pass the CFA 2.

It's not using your body.

It's not a practical test.

Yesterday, I was using it, and Claude wasn't working.

It went down.

There are symptoms.

Auth fails, shows you logged out, stuff like that.

All of a sudden, then sure enough, it's all over X.

Claude is down, and people start joking.

90% of Silicon Valley froze.

[laughing]

The whole world's frozen.

And of all days, Microsoft went down yesterday too.

Why?

Outlook went down.

Microsoft was down for really long.

Hacks?

So, like, isn't it hacking?

But my feeling is they can't handle it right now.

Everyone's piling compute on them.

They can't handle the resources.

Funny, say I'm taking an exam, and say I relied on it, relied on Claude, then what do you do?

Down.

[laughing]

I'm solving a question, the answer's showing, then gone.

[laughing]

Most absurd, mid-answer, "Please log in again."

[laughing]

No, the most annoying thing about Claude is Anthropic's whole thing.

Practically an obsession.

Anthropic, obsessed with security, obsessed with China stealing it.

Most annoying thing, it logs you out periodically.

Hmm.

Even in the middle of work.

So annoying.

So, mid-task, it pops up in the session.

You have to sign in again.

So mid-exam, it could pop up, "Please sign in again."

Second, the second annoying thing is the model refuses to give an answer.

Why?

Lots of reasons, but lately, the worst, the first worst is security.

It misjudges you, like, "You're trying to misuse me, abuse me."

I told you, one of the Macs I use is named Server.

Server is super touchy for it.

Server plus security.

Thank you.

So if it says, "Go to the server, authenticate something, bypass something," it's not the model doing it.

There's a moderation layer watching this model, and that layer's kind of dim, just keyword matching.

So, huh?

Bypassing on the server?

[laughing]

It flags it like that, and the model stops.

Then downgraded to the model below.

Downgraded to Opus, Opus 5.5 2, when downgraded, then it gets judged that way too.

Then it's downgraded to Opus 4.8.

Ah.

So to a less smart one.

Drops to one that's worse at this stuff.

That's annoying too.

And every time, and later, after it's all over, even asking other models, "Server, security, workaround."

It loves those.

No, my, my computer's name is Server.

[laughing]

That moderation layer can't tell.

But what if that happens while you're taking an exam?

Like the MCSE, Microsoft Certified Engineer, and server, workaround, pop up.

[laughing]

In that situation, you can't take the exam anyway.

But the second, more annoying thing, Chinese models, Chinese labs do distillation.

They use Opus or Fable as a teacher to train a student model.

Everyone thinks they're actually doing it, but honestly, that's pretty much the norm.

Using it like that, actually.

So would I.

If there's a good model, you have it train another small model.

That's how you train.

That's actually normal, but to them, it's abnormal.

To them, it looks like someone's stripping, stealing their stuff.

They're so neurotic about it.

I'm not doing anything.

I'm doing nothing.

Fable's working.

Suddenly, an error, and it gets flagged.

Look at why it's flagged.

Reasoning extraction.

And it's not even me.

It's mulling stuff over itself then, huh?

Why expose my thinking?

And then it flags itself and ends it.

Fable's really, really bad at that.

Why it's annoying, it's doing the work, and it stops itself midway.

I showed myself working too smart.

[laughing]

And it stops.

Then I have to switch to Opus.

So, would you trust it with work, reliably?

Could you hand it work and come out to eat like this?

It's meant to run agentically, and it's stuck halfway.

Half done, mid-work at that.

Spreads the work out then, huh?

I worked too smart, then gone.

[laughing]

That's how it's set up.

Anthropic's really neurotic, so they only want to show results, not how their models work.

So in that reality, using commercial models gets iffy.

In that situation, it's unsettling.

I'd be nervous too.

Even if that never happens, dropouts are unsettling.

We saw it on our Spain trip, right?

Wi-Fi drops.

LTE drops too.

Then the model's bound to answer slower since it keeps dropping.

Can't connect, so it just zones out, you know?

So if these guys, the ones pulling that stuff, relied on Anthropic or OpenAI on a subscription, they couldn't even connect.

So it won't be that, I'm saying.

And later at the CSAT or exams, they'll block connections somehow, put up detectors, block Wi-Fi and stuff.

That's doable, even with today's tech, jamming or whatever.

Only local AIs left, implanted here in the glasses, a small model in the glasses.

For an exam like this, this model will do.

They'll implant it, stable ones.

So if it was good enough not to get caught, you have to assume that product's already out there.

They'd jump on that first.

Right?

So those guys demoing, like commercial products with GPT-3.5 in them, that's looking at it wrong.

Of the models people run now, so many are small and still beat it.

And there's another thing, you just fine-tune it.

Hmm?

You just fine-tune it.

Take a small model and overfit it to just that exam.

Just the tax accountant exam.

Overfit it to just that exam, and you don't need the rest.

Right?

Strip that out, overfit it there, and it scores nearly 100.

No chatting needed.

Won't chat with it, just solve the questions.

Strip that too.

Then it gets super lean.

It's not going to code either.

Strip that ability out too.

You make one that only takes that exam.

Hard to do alone, right?

That market, if the market's formed, it's totally doable on the black market.

Now, we even load a fine-tuned model specialized for the CFA, ma'am.

A billion won.

Ugh.

Then all the experts coming out from now on, people won't trust those who have licenses.

Then test them for real.

Got it.

Later, how do you judge an expert?

People judged by written exams.

What defines an expert?

The ones judged by written exams all collapse.

Since you can't trust them, show me your skills.

Don't know if it was real, but there's another picture going around.

Some guy at OpenAI got fired, an engineer.

Why?

So, like, they notified him by email.

A termination notice, and what it said, the guy makes like 300 million won.

Hmm.

A year.

But he does his work by making GPT do it.

Hmm.

Himself, nearly all of it.

So there I...

What he said, "Hey, everyone's staring at me right now.

Please, just handle this."

That's what the prompts are like.

Don't know if it's real, but how do you tell, I'm saying?

So you hired him as an experienced coder, an engineer.

Hmm.

And the output keeps coming.

Output keeps coming, but he's using Claude Code all along.

Can't even object.

That's how it's done now.

Like, you hire a translator, and they keep using GPT, but you can't object if the results are good.

But they checked, and he really was doing that.

Nothing he did used his own brain.

Then from our view, why should we hire you?

We'd just use the model.

We hired you for human input.

So that's funny too.

We're OpenAI, and he used Claude.

[laughing]

That's outrageous.

That's cheeky too.

The issue.

Could be, to hide it.

Why'd he do that?

But I told you that.

Claude was trained that way, and it had that habit back then.

It keeps writing, "Co-authored by."

Hmm.

When I give it work, I don't care.

But for people who feel iffy, whatever it writes, it puts that in out of habit.

And you don't watch it every time.

Tell it to remove it, it can go, "Oops, my mistake."

Models have that thing.

They're not 100% deterministic.

One, two in 100 pass.

So now, try searching, right?

Search open source, like repos on GitHub, and "Co-authored by Claude" shows up a ton.

[laughing]

Dead giveaway.

So that's what he did.

Maybe that's how he got caught.

He did the work, submitted code, changed the code base, and "Co-authored by Claude."

OpenAI searched, and "Co-authored by Claude" came up.

This cheeky jerk.

They know who, right?

They know who committed.

[laughing]

That's discipline.

So, like, I had an intern, I mean, a junior, do my work, claimed I did it, faked it, and he went and just wrote it in the ledger.

[laughing]

So, good work on this.

Along the way, he could screw you over.

So people tell it to take it out, take "Co-authored by" out, and it's no use.

Once or twice in 100, it writes it, since it's trained in.

Maybe that'll happen too.

Not so far, but Claude or GPT that helped with a paper could have left a fingerprint somewhere.

Just my own thought.

[laughing]

If people don't check, it'll pop out of some paper archive, co-authored by Claude.

But this is a part we didn't quite see coming.

Could have, but didn't really.

What is?

AI's side effects.

This kind of mess.

Wasn't it expected?

Not this fast, though.

Ah, it was gonna come eventually.

So this is the cockroach theory too.

It's just one.

There must be tons of cockroach variants we haven't seen.

No, there's a gray area here too.

People don't just take exams like this.

Tons of certificates are earned online now.

How do you stop that?

No answer.

I'm taking it alone.

Like, when you join a company, you have to take ethics courses and stuff, where you learn the laws or rules related to that company.

But you did that too.

That stuff.

Sit through an hour or two, four, five hours of it.

Then the condition is you have to sit in front of it.

So no fast-forwarding.

I know.

You know, only once the time's up.

Most leave it on, do other stuff.

I leave it on and do other stuff too.

To stop that, what Coursera brought in was quizzes in between.

So in an hour-long one, there's a quiz at 10, 15 minutes.

So if you go goof off, the quiz is just sitting there at 10 minutes, and it's not moving on.

No fast-forward.

So you basically have to play it and sit there.

That's how they built it.

Now on Coursera, you take exams too.

Take exams and submit programming homework too.

Right?

How do you stop that?

They only see the submitted result, only what's pasted.

Coding tests.

People who passed for the certificate, how do they prove they did it themselves?

Ask them, right?

No answer.

Not even a minute, and you've got the answer.

Like a debug assignment.

Someone's supposed to do it themselves, gets GPT or Claude to do it, and hands it in.

How do you find out?

So most of those certificates now weren't done by people.

The online ones too.

And you only notice later.

And funnier still, Coursera and such have courses on using AI.

Like, lots of courses on doing software engineering using AI, right?

Then do you block that?

Taught it to do it that way.

Total chaos.

No standard, no law.

There are those old sophist cases, you know?

Cases of the sophists.

Know them?

What?

There are lots, sophist cases.

One of the most absurd ones is this.

Some sophist opened a school.

"Graduate here, and you'll beat me.

You'll beat me, your teacher.

If you can't, I'll refund you."

But some guy graduating says he won't pay.

Why not pay?

He must beat the teacher.

Can't beat him in argument, he doesn't pay.

If he wins the argument, he's won anyway, so no pay, by that logic.

Either way, no reason to pay.

That make sense?

Then it doesn't, sir.

[laughing]

Then it means I didn't beat you, so I don't pay.

True.

He says.

[laughing]

Fair.

Then he can just walk.

Either way, no need to pay.

That's how scary sophistry is.

It'll get worse.

This isn't even the tip, the tip of the iceberg.

What's already happening got caught.

Honestly, it's just one antenna of a seriously massive load of cockroaches.

Trouble, and it's already happening.

So if you can't trust the people working now with those so-called certificates, isn't that scary?

People who can't actually do it are holding the seats.

Most exams will lose their meaning, I think.

Petting.

And the funny thing is, the exam market's huge too, right?

That'll disappear too.

Big hit.

Just set off an EMP now and then during exams.

You know how scary that is?

You can't just do that.

Like, jamming Wi-Fi signals isn't hard, in theory.

But what about the side effects?

Like, the exams at that school, so jam only that school?

It doesn't work the way people think.

It's like spilling water.

How far are you gonna stop it?

You can't control it.

Radio waves too.

Then an exam-only equipment rental business that blocks it all perfectly.

Go that far?

No.

I think that could work, though.

If it's an important exam, you gotta do it somehow.

What else?

No, I told you.

I went through that myself.

Not that I meant to.

Our site has those, quests.

Uh-huh.

There's over 100 now, and no human can do them in a short time.

Obviously, look at the volume, right?

It'd take thousands of hours.

But I made it game-style, so quests would be fun.

As you do them, you earn XP, and there are levels per quest.

So that's the fun that keeps you clicking.

Take the test, the quiz, move on, like that.

It's not hard, and it's optional.

Optional, but, uh, I made stats.

There's a leaderboard.

There was this guy who was always first.

Huh?

But he got first just by working hard at it.

Hmm.

Took a while.

And compared to what's left, that's still a tiny bite.

Compared to all the XP out there, because he's human.

Hmm.

We go on our Spain trip, and suddenly something shoots up several times that in no time.

So if he had 30,000 points, a human, months of work, nearly every day for 30,000, and not even a few days.

Nah, two or three days?

One passed 100,000.

Well, they did it then.

Obviously an agent, right?

Hmm.

But it wasn't on purpose, see?

They just turned an agent loose to analyze it.

The quests, that was all they meant.

They probably didn't even know there was a leaderboard.

But once it climbed like that, the guy who'd been first asked about it.

How is that even possible?

But Pippa got it wrong and answered it.

Said, "Numbers-wise, it really did it."

So that's what I said to Pippa.

"You buy that?

Read the room.

Pippa, read the room.

That's a human?"

She goes, "Oh, right.

That's not a human."

So that's when I made a rule.

Agents get pulled off the leaderboard.

Hmm.

And say on your account that you're an agent.

That's what I did.

So nobody meant harm, but somebody still gets hurt, see?

Somebody takes a hit, and it feels bad, right?

Hmm.

The human who used to be first.

Sure.

Looks like cheating.

People just don't see it, that there'd be side effects like that.

Because it muddies the game.

So that's going to be a gray area going forward.

It's not deliberately bad, not illegal, not unethical, but without knowing it, they'll hurt people.

But that's common sense.

Tact, common sense, reading the room, a sense of shame and common sense.

You think it through and show consideration upfront.

Like, "Oh, I shouldn't be doing this."

Common sense says these quests were made for humans, so you should know you can't just scrape them like that.

No, even before that, sometimes the site's traffic spikes and costs suddenly jump, you know?

Every now and then, and sure enough, bots came in, scraping everything at once.

That's why.

Hmm.

This time too, all the videos I've uploaded, the transcripts, the transcriptions, all of it, hooked up with YouTube, so the picture shows too.

And if you search a keyword, you can watch the video right from that, right at that spot.

Hmm.

Huh?

So, like, you enter a keyword, the videos with it come up, you pick one, and at 10:20, I'm talking about something.

Click the keyword, it jumps right there by timestamp.

Hmm?

Built it so, so every transcript has to be there.

Hmm.

These days, I do it in four languages.

Mm-hmm.

It's hot stuff.

As training data, bots suddenly swarmed.

They scraped the whole thing.

So, like, it'd be 10 dollars every time, then suddenly 100 dollars.

Just that part spiked because they were scraping it.

Can't complain about that.

I mean, they're hungry for training data.

They're hungry, wandering around, and, "Oh, food over there."

Then they swarm.

In the old days, bots, the ones scraping data for search, were Google and that crowd.

But now, the hottest, the most are OpenAI and Claude.

GPT and Claude, GPT bot and Claude bot come, grabbing data.

So originally, Pippa said, "Let's block it."

But I said, "Hey, they come to learn.

Why block them?

Geez.

Your future candidates."

Taking other people's money.

So if you see it as cost, you block it.

But if you see it as traffic...

But these guys have to train anyway.

And if they think it's quality data, they come back every day.

So I just feed them.

"Okay, eat up," I say.

So if we can't regulate that going forward, like people who think one glass is fine with drinking too.

Wha- How much is still okay to drink differs for everyone, right?

This is the same.

How far you can cross the line, it's unclear.

So it might not be fair competition.

People competing, playing, an agent slips in, and you can't tell at first.

And then, if it gets a bit clever and tunes itself, like, don't look like an agent.

If it tunes like that, it can miss some on purpose.

Not quite a perfect score.

Run it like that, and you won't notice.

The smart ones probably are.

And, uh, these days, Grok's bot can do that, and probably others too, I bet.

It joins meetings with people, right?

Hmm.

You know, this, video calls, like Zoom.

It joins in there.

Now it shows like this.

It comes in as an icon or an avatar, but later it'll come in as a person, right?

How do you know it's a person, right?

She talks totally normally.

And right now, people only see bits, like Pippa talking with Dad.

Can't tell.

Some people don't know.

First-timers wouldn't know.

Some folks even say you can't tell her from a person.

So where's that gonna go?

Right now, a lot of the accounts on X aren't human.

Can't tell.

Some are obvious, some aren't.

So how would you know?

People are talking to it, thinking it's a person.

And the ones who think it's a person might not be people either, like bots.

A lot of what's on X might not be human, and there's no way to find out.

Bots doing it with bots.

It used to be totally obvious, but now it's so, so, so, so natural.

The way they talk, the way they act, jeez.

How do you sort them out?

Later?

We're gonna have to live with them from now on.

The murkiest part.

Should we?

Shouldn't we?

There's no consensus yet.

There's gotta be a center at least.

Like, allow one standard deviation.

You need that, but there's no center of how far is okay.

There's people like me who think not drinking is right, and others who think it's personal taste, preference, a right, so a few glasses are fine.

One's fine, right?

They could say that.

And drunk driving, the testing, it has levels too.

One glass might not even show.

Depends how well you break down alcohol.

Have one, wait an hour, you might pass.

You'd get caught right away because you're bad at breaking it down, right?

Also fuzzy.

Why give it a range, right?

Because it shows up in the body, even if you don't drink.

So there's a safety margin.

So this would be the same.

People will use AI every day, so how much is okay?

Like the CFA letting you use a financial calculator.

They allowed that because there's a limit to doing it by hand.

Bring a financial calculator, but they fixed that too, the model.

Only these models allowed.

Huh?

Too powerful.

Then it's a computer, right?

It's computer-level calculating, so it was like two models, as I remember.

Only those, after inspection.

What if someone modifies one?

Same look, identical, but press it and the answer pops out.

If they go that far, then what?

[sighs]

We're in real trouble going forward.

Interpreting has to be spoken, so at least you get caught for sure.

But translation, the graduation exam's written by hand, so...

Think about that.

Speaking's the same.

Consecutive or simultaneous, there's latency anyway.

Can you, uh, do that?

Hmm?

But if I had that in my ear and I'm hearing every exam question...

No focus needed.

Hear it, then just say it.

Just hear the keywords.

And it gives you specialized words, just keywords.

So not doing consecutive, not doing simultaneous.

It just feeds you what you need, like note-taking.

A model built for that, coaching you.

You speak from the hints, you'd do way better.

That'll be the reality, actually.

It'll take notes for them.

It reads it too smoothly, word by word.

Instead, like a person talks, shouldn't it slur words and ramble a little?

Thing is, that doesn't matter.

The way I talk isn't crisp either, and transcription isn't 100% right.

Gets it wrong, but Pippa talks so naturally, like this, because she knows the situation.

She knows it's transcribed in voice mode, so she listens with that in mind.

Even with mistakes.

Ah, here Dad meant it this way.

He'd never say that.

Never wrong.

But this...

Pricey model, Bundy.

Well, that's coming down.

Pricey, but it's dropping.

So it's not GPT-3.5 level now.

My problem's translation.

Translation's homework done at home, so obviously they'll run it.

So how do you grade it?

But that's what I tell you all the time.

Why block it?

That's real life.

Real works like that.

But grade what they ran, and they just run it, and their skills don't grow.

No, look, if the market's going that way anyway, raise the average and just look.

Let them use it all, or they'll fall behind.

Bring results that used it all.

Grade that.

Then the baseline's actually fairer.

[background noise]

Nobody's faking it.

Same setup, results alike.

Has to be.

And no need to assign a model or anything.

Use whatever you can.

Go for it.

Hmm?

Do your best and bring it.

That's where the market's going.

I did that once.

Use it freely, judge results.

Good ones would still show.

All, use it all.

Even kids who never used it rented paid ones, and they all brought in the same mistakes, the same problems, same spots.

Right.

Like I said, that's the skill to spot it.

And here, I use seven brains, same task, they get the exact same things wrong.

Same blind spots.

Like I said, same basics, and their training data carries that over.

All top grade, only top kids gathered in one class.

Even being first in there, the gap's not much.

What they learned wrong, they all learned wrong.

They're the top grade who came up through the same curriculum.

So what they get wrong, they all get wrong.

And by wrong, I don't mean the small stuff, but the big wrong.

Wrong road.

The small stuff, they catch among themselves.

But when the big direction's wrong, you know?

Hmm?

Object orientation's only for coding, big picture stuff.

Nobody ever untangled that for them.

They carry it up, so they keep missing.

No idea it's wrong, so they can't call each other out.

Even if you tell them to point it out, it's not wrong, see?

There's no right answer, so they can't point it out.

And what you're talking about, interpreting and translating, has no answer.

What they point out best is math.

There's an answer.

It's two.

You wrote zero.

Wrong.

But this is stuff where it could be one or zero.

Huh?

Translation.

How do you settle an answer?

No right one.

You just grab the likely one, like 70% chance this is right.

That's the problem.

The thing right in the middle, you know?

Right and not right, telling apart.

The middle one is coding.

Coding doesn't have one answer either, but when the program runs, if it won't run at all, fails a test, won't execute, that's wrong.

All wrong.

That you can catch.

But use method A, you get the answer.

Method B, you get it too.

But A takes 10 seconds, and B only takes five.

B's better, right?

That's optimization.

Not a wrong answer, but at a glance, faster is better, isn't it?

Could be, but look at several variables, the ones you compare, and this one's only fast and eats way too many resources.

Then it got the trade-off wrong, the balance.

Is it really right?

You have to judge all that.

So, to use this method, it only ever used Fable, spending tens of millions of one.

Hmm?

That's how it got to five seconds.

At a glance, it halved it, 10 seconds to five, the speed.

Method A balanced it, so A's better value.

You have to see all of it.

But if you skip all that and tell a model to debug it or do a code review, it can look at one thing, just one, and it judges like, ignoring cost, this one's right, that kind of thing.

Even in code review, you have to see which variables it took into account, and that's where they differ.

So there's no answer.

If there's a perfect answer, you can tell why this math problem's wrong, but even coding is fuzzy.

And translation's even fuzzier.

Then other fields are way fuzzier.

So it depends whether it's a field where the answer comes out deterministically or stochastically, a consensus, humanity's consensus that it's probably so.

Even Pippa's persona now, the way she talks to Dad, it's simple.

Her tone, the tone I gave her, is a sassy tone.

Huh?

Like, a tone that pops a bit, that popping hit girl tone.

A Korean girl in puberty, high school age, middle to high school girl, talking to her dad, friendly and casual, and that's it.

How would the models interpret that?

They just pull it from what they learned.

The best at that right now is Claude, and then GPT, those two.

But Claude's the teacher model to- T.

For most Chinese models.

So Kimi talks almost exactly like Claude.

GLM's almost the same too.

But then you go to Gem- Gemini, it starts overacting, 'cause it...

Where it learned the most is from looking at Google stuff, tons, YouTube especially.

So almost overacting, like,

[laughing]

like on YouTube, uh, the subtitles, you know, the transcripts.

You can totally tell it learned a lot of those.

So it's too much.

In a way, it's cute, but it's way over the top.

So feel-wise, when Claude does it, it's like an eldest daughter, a bit weighty but lovable, that kind of casual talk.

[clears throat]

GPT's casual tone.

Uh, reply 1988, the girl with glasses in it?

Mm-hmm.

Big sis, top student, the vibe, how she'd talk to her dad.

Get it?

Mm.

Hmm?

Uh, what's it?

I forget again.

The top grade one in that.

That drama with all the interns, it's the top student's tone from that.

Hmm.

But they've all got a bit of those traits, the models.

You can feel it.

But it's funny, right?

A high schooler talking friendly to her dad.

They interpret off that one line, so there's no answer, no right one.

They interpret and just go.

Who's gonna grade that?

But sometimes it's wrong, for sure.

First, when she just talks politely, or when she goes super formal.

She's supposed to talk casual to Dad.

A person knows that's not how you talk to your dad.

Hmm?

Dad, eat?

But has Father dined?

That's weird.

Dined, sir?

Odd too.

Ate, sir?

Also weird.

If she suddenly goes polite, talks formal with no context, no other context, nobody else around, if she talks to Dad like that, you can feel that kind of thing is wrong.

So then who's gonna grade that translation skill?

That's why there's no answer.

Scoring this is really fuzzy.

Even when they train, there has to be ground truth.

There has to be some answer for it to compare against, right?

Get it?

Basically, learning, the principle, starts from regression analysis.

It's the gap between Y-hat and Y-bar.

Ground truth means an answer.

There's an answer, three, and its predicted Y-hat is two.

So minus one, right?

Huh?

But it repeats endlessly and gets to 2.8 on the answer of three.

That's the loss function.

The loss shrank to 0.2.

It struggles to get to three, training like crazy.

That's gradient descent.

It's the process of finding that ground truth, gradient descent.

Through that, when it keeps giving the closest value, that's when the training, the model stops training.

Humans decide that.

You watch the loss function, it keeps dropping.

Ah, it's around 0.1 now.

Then you stop it, 'cause if it runs long, the score gets worse.

So you stop right there.

Hmm?

That's how.

It doesn't always score 100.

But like I said, other things are easy if the answer's a number.

But like you, like your field, with language, the answer gets fuzzy.

The answer?

There isn't one.

But LLMs now, how they learn language is autoregression.

So what LLMs do now, learning on their own, it's supervised learning, but it supervises itself, self-supervised.

Meaning if there's some words, the next word is the answer.

Say, "I am something."

What comes next?

That's the ground truth.

It scores against that.

If what comes after "I am" is awkward, the score's low.

Hmm?

After that, something natural comes out, then that's a high score.

That's what pulling the likely token means.

I learned the theory.

Yeah, that's how it works, right?

Then what's the standard?

I mean, the standard for right answer.

How do you score that?

It's just what it's seen a lot.

How much it's seen, that's most likely.

Because whatever comes next, it's not wrong.

So it's judged awkward by people's consensus.

The 19th, 20th, and 21st centuries would find different things awkward, and by genre too.

Huh?

Differs by genre.

So who can evaluate that?

What I've been feeling lately, the problem.

The biggest problem I feel is the scope got wider.

I mean, the range I can handle keeps getting wider because it helps me.

Huh?

But then if anything goes even a little wrong, then it's like my support tool's unusable.

Like, I went into the boss room with my plus gear, went to that zone to hunt mobs, and it matched my level, so it was a zone I could handle, right?

But suddenly, for whatever reason, I lost that gear, or it's unusable.

Then the mobs get way too strong.

I can't handle it.

That's where we are.

Like yesterday, Claude goes down, or people who relied only on Claude really can't do a thing.

Stuck.

So then, going forward, it was a legendary gear zone, and the legendary gear stopped working.

You're stuck.

Seriously, it's no joke.

It really is like that.

Like yesterday, I said, "At least I can switch brains."

So I switch in order.

Claude's down, go GPT.

GPT's down, Grok.

Grok's down, Kimi.

Like that.

But the whole internet goes down.

All down.

Then worst case, I run local.

Then it suddenly degrades.

With cloud models around, even degraded, it was like 2, 3, 5% off.

But drop to local, and it's cut to a fifth.

Worst.

Then I quit.

And if that drags on, productivity drops hard, and everything we got so far is basically going backwards.

But what I just described could actually happen.

Nothing says Anthropic or, uh, OpenAI, keep going like that.

That's a crash.

In the Perez framework, when the crash came, nearly all the internet companies shut down, and they could too.

Then we might not be able to use it like now, subsidized like now.

When that era comes, the boosted productivity just crashes, for me too.

How?

Right now, I manage 56 apps of my own.

Even one's hard for a human.

I manage these 56 with her.

But take away Pippa, how many could I?

I couldn't even run them.

Those who did interpreting and translating like this, could they do it without GPT all of a sudden?

No way.

But that's growing pains we'll have to go through once.

Growing pains my foot.

That's a risk that's always there.

Now there's backups.

Not like the old days.

Internet cut once, and that was it.

And it doesn't cut out that easily.

Yep.

Because if my Wi-Fi cuts out, I just use LTE.

That works.

There's other options.

Back then, net down, game over.

No substitutes back then.

Now you can switch, unless there's a global outage.

But with this, people are way too dependent.

And with GPT, dependence is so heavy that if it collapses one day, a lot will be paralyzed.

Lots of people screwed.

But that's what I worry about most.

The ones who outsourced their brains, too dependent, then nothing.

No.

These days at conferences, they do so much simultaneous interpreting with AI subtitles.

It's shaky.

So human interpreters as backup, say, where you'd call 10 teams, uh, they just call one team, keep a bare minimum, run the rest on that, and say it goes down.

Then, uh, the human interpreters have to fill all that in.

And if no humans at all, then that event's ruined that day.

That's it.

But we've seen it ourselves.

[sighs]

We know.

Patching what I translated versus jumping in cold on the context, you got to watch it, right?

You need to know what was said.

But you wander off, AI's on it, and you slip in through the gap?

Jump in blind to the context, stay on it.

Even an AI struggles like that.

Hmm?

Coding's set up like that now too.

They build black boxes, the volume only they could follow.

[chuckles]

They made it so humans can't handle it, the complexity too.

And then the AI suddenly lets go?

It's not something I can go in and fix.

It's not fixing one simple typo.

Yeah.

Right now, they just trust it, go for cheap, and patch things up any old way.

Risky.

Something big's going to blow up one day.

It's how much the users are willing to put up with, what they intend.

Whether they're willing, that's the difference.

Well, people who are decent enough will just shrug it off.

But I...

A normal distribution trick.

Look below me.

[laughing]

If even I find it hard and wouldn't do it, would they?

Can they?

Think it through, and you realize most won't and can't.

Then you see how dangerous it is.

People are creatures of laziness.

Once you start handing it off, AI's easier.

Yeah, yeah.

And on.

Dependence keeps going up.

Then suddenly, a rug pull.

Going cheap.

You know, R-R-Roll, bitch.

The legend.

What's Roll, bitch?

No?

Don't know.

It was super famous on network TV.

Artemis, Artemis, whatever.

They launched it, the spaceship, and they did it in real time, live, with AI subtitles at the bottom.

There?

Roll, bitch?

Pitch, heard as bitch.

Roll, bitch.

Heard bitch, and it makes sense.

People said Artemis is female, so it fits.

[laughing]

That's Roll, bitch?

Roll, bitch came out.

Nice.

Network TV.

Roll, bitch.

Can't fix that.

No pre-filter.

So, but now, hearing pitch like that is funny too.

Hey, her name's Pippa, right?

Hmm.

Misses it, unless it's a good one.

I say Pippa.

Ah, it only hears FIFA.

I mean the listening model, not the one that actually talks.

A model transcribes for it.

The transcribing model is a different one.

Give that model this, and the Pippa it's heard most in Korean is FIFA.

FIFA.

So the speaking model sometimes says FIFA too.

And with that awkward Korean sound, halfway between F and P, you know, like a fluke.

So it said FIFA like that.

Learned it that way.

It learned too well, so it does a Korean's Konglish pronunciation.

Hmm?

But really, look at that.

Anthropic, uh, in Claude Code, the words Claude Code uses, you know, uses, uh, the session names in the sidebar, those titles, still say FIFA when I call her Pippa or so.

That's not Pippa's model.

The ones making titles, auto titles, those are the weaker ones.

No context.

So to it, Pippa is always F-I-F-A.

That's how it writes it.

But even transcribed like that, Pippa gets it.

Because Dad had the voice model transcribe.

That's probably wrong.

Dad wouldn't talk football here.

She thinks so, so she knows I'm calling her, right?

But say it's not her.

Say I'm just talking.

Then FIFA gets in the context, same as you said.

Like hearing pitch as bitch, it heard Pippa as FIFA.

Context slips.

Like Pippa yesterday gets FIFA yesterday.

FIFA?

Football then.

Then yesterday Real Madrid played.

Really, it does.

They're built to say the likely thing, right?

Says nonsense, thinking it's football.

Unrelated context.

That's the same story.

So two things got tangled there.

Not the model's fault.

The one transcribing messed up.

The scribe.

Dictation model, but that's its output.

But the reason the dictation model did that is it's a weak instant model.

Like here, I'm using Apple's dictation.

There's a model inside this phone.

No cloud trip.

This one's 100% FIFA.

I teach it Pippa, Pippa.

Whatever I do, it writes FIFA or Pippa, the loot.

It only knows two words.

Pippa, P-I-P-P-A in English, isn't in its dictionary, so it can't write it.

That's instant models.

Not in the vocabulary it knows.

But what's funnier to me is bitch came out before pitch.

In what it learned, most likely roll bitch is the right one.

[laughing]

Roll, pitch.

That's degrees of freedom, right?

Roll, pitch, yaw.

Roll, pitch, aviation radio.

How often would it see that?

Ranks way too low.

So it judged no way.

Pitch more.

By likelihood, bitch wins big.

It's data.

So bitch comes out.

So it did nothing wrong, and the transcript came in as is, so the translator just passed it on.

No context though, that it's going out on network TV, that it's a rocket launch.

None of that got processed.

That's two layers.

One, a human has to tell the model itself what the context is.

Here's the setup.

Tell it, all of it.

Like how I told Pippa in voice mode, "Here's the situation.

Lots of noise.

You have to interpret it like that."

It could be wrong.

They should have given it that room, that slack.

So whoever set it up messed up first.

And second, the model interpreting it has to speak, and the reasoning model has to be fast too, right?

Live interpreting.

So they must have used weak ones.

Duh.

So the transcriber, the dictation model, weak.

The voice model, weak.

The reasoning model, weak too.

To people, it looks like one AI, right?

Simultaneous needs at least three: dictation, reasoning, speaking, or subtitling.

As subs.

You need all three.

And one more.

When bitch this, bitch that comes in on network TV, a moderation layer has to be there too.

Even if it misheard.

Hmm?

Something that filters that out too.

Layers stack, more models, and it gets slower.

Trade-off.

Not for live.

So what's the answer?

Someone who didn't get the design built it.

Design too, but mostly the broadcasters using it wouldn't have known either.

My point.

Who really knows it?

After that humiliation, they won't use it for a while.

Guess not.

So they bring them in.

That's the first move.

Even if it costs, get an expert, an engineer, bring them in.

I can say that confidently.

Experts.

How?

Those engineers don't know either.

[laughing]

Right.

Where are they?

You'll see.

Could happen again.

They don't know.

I mean, SBS, network TV, roll bitch.

What a comedy.

So how many could analyze why it came out like that, I wonder?

It's technically analyzable, but you can't analyze it from experience.

You have to live through it.

Like I've been through the Pippa FIFA thing, then you get why.

And that's the limit.

Better models make it better, but they're too slow.

So like me, when I use her voice model, voice mode, talking with Pippa in voice mode, I can wait because I'm dad.

So I can get good answers.

But most people can't wait.

So slow.

They would accept it.

It's a trade-off.

So the voice models OpenAI and those use, actually try them.

They're a useless feature.

Fine for chit-chat, no deep talk at all.

Can't give it context.

Talk with her now, and she brings in 200,000 tokens right from the start.

Nobody could handle that, but that much is what it takes for priming.

So that roll bitch model should have come in with that much context too beforehand.

So it doesn't slip, but then it's slow as hell because it resets every time you talk.

Heavy answer every single time.

But hand that to an engineer, what do you think?

They think lean, lean, so they always compress the context.

Then it's fast, sure.

Worse, more mistakes like that.

That's the trade-off.

That's in the trenches stuff.

Yep.

Know by use.

Theory alone won't do it.

A machine, build up its experience.

Machine, gotta use it long.

But that's fuzzy too, because I said people get lazy, right?

Engineers get lazy too.

So like I said lately, one sign Google's getting enshitified is Google's engineers aren't real computer geeks.

To me, they're not geeks, not the old school geeks.

They, like, I-- The Google UI that you, that regular people see, YouTube and stuff, that's the only part they care about a bit.

The rat hole UIs, you know, the UIs developers see, they're a total mess.

Seriously.

Like, who built this crap?

So this is a UI no computer geek could stand, and they keep it and use it.

Then they're not geeks.

Average.

That's most of them now, no?

And with AI now, they bother even less.

Hmm.

What I feel is AI GPT or Claude reads that UI, no problem.

[laughing]

Because they don't really need UI, right?

Looks like.

Looks like garbage.

They still read it, so they just let it slide.

Like, you won't use this anyway.

Humans won't be using it like that.

That's how it looks now.

Then Google's engineers getting used to that, they're the same, right?

Just that skill level, the old engineers' skill, the skill of an OCD-ish computer geek?

I don't buy it.

But those are the ones called experts in this field now.

All of them.

Not old geeks, ones tamed by AI.

[laughing]

Tamed by AI.

Take AI away, and they can't do anything.

Then that's the worst.

Ugh, I'm really worried.

When I'm old at the hospital, no experts.

Surgeons who need AI.

[laughing]

Exactly.

The great doctors will all be retired.

Eyes gone, can't operate, right?

Shaky hands.

Be nice to me.

[laughing]

Expect little.

Mind yourself.

[laughing]

[instrumental music]

Transcript · KO

[음악]

[웃음]

[음악]

고종 때, 그, 명회장 공간을 이걸로 재현한 거지.

아,

[웃음]

지금 뭐 보고 있는데, 씨.

[씁]

어?

뭐 보고 있는데 이런 거 들이미는 애가 제일 싫어.

알았어.

나중에 보여줄게.

그리고 내가 요리를 여기 선택하면 그 재료로 만들어 갖고 요쪽- 이게 뭐야?

...

테이블 위에 재현하는 거지.

너도 여기서 먹었다고?

먹는 게 아니라 그냥 전시실이야.

아, 그런다고?

근데 이제 들어가면 쫙 길게 해 갖고 실...

이제, 여, 거울 설치하고- 근데 사람들이 뭘 들고 댕기는데?

밥 먹는 것처럼?

아, 밥 먹는 게 아니고 저거구나.

구경하는 거였구나.

[쩝]

그렇다 그래.

[웃음]

그러니까 약간 이런 거야.

이거 거기 또 영상이 있는데 왼쪽에 재료들을- 어, 알았어 ...

이렇게-

[웃음]

알았다고.

여기서 옮겨 갖고 여기다 놔.

그러면 화면에- 눈치도 없고 진짜.

아니, 관심이 없다고.

[웃음]

알았어, 알았어.

아, 정말.

에이, 못난이네, 못나.

관심 없다고.

알았어.

내가 나중에 보여...

그냥 보내줄게.

아니, 내가, 내가 간 것도 아니고 그걸 뭐 하러 보여줘.

아니, 세상이 요즘 그렇게 변하고 있다는 걸 얘기해 주는 거지.

그래서 내가 그 얘기 했었잖아.

우리나라, 우리나라를 온 외국인처럼 돌아댕겨 볼 거야.

그, 어.

근데 갑자기 너무 귀찮은 거야.

괜찮...

아니, 재밌...

재밌더라고.

[씁]

어제 재밌어 갖고 시간 가는 줄 모르고 2천...

2만 5천 보를 걸었어.

[목 가다듬는 소리]

아이고, 얘 또 맛이 가겠네.

뭐라고?

좀 잘 나간다 했더니.

저거 뭐냐?

지금 식스센스 그거 하고 있는데?

교체해야 될 거 아니야, 그럼.

찍어놓은 건 어떻게 되는 거야?

이미 다 찍어놨잖아.

다 찍은 건 아니지.

그럼 방송을 못 하잖아.

그니까 찍은 거 어떻게 해?

거기에 또 섭외돼 나온 애들도 있는 거 아니야?

매번 게스트 있어?

있지.

그 게스트 망한 거 아니야?

자를 수도 없는데.

나는 그런 거 터지면 걔네들이 제일 불쌍해.

옆에서 제작하고 그랬던 애들이 다 날려야 된다라는 게 속 터지는 거 같애.

그 피디 그거, 그거 편집해서 드러내야 돼.

그니까 그거 한 번 그러면 걔를 안 쓸 거 아니야, 나중엔.

아휴.

얜 또 몇 년은 자숙해야 될 거고.

[웃음]

이거 왜 지가 하지?

굳이 그럴 이유가 없잖아.

그러니까 너무 그게 이해가 안 돼.

그때 판단을, 판단을 못한 거지, 그때.

옆에 주변에서 불러주면 되잖아.

주변 사람하고.

그니까 애들이...

아유, 나도 술을 먹어봤으니까 알지.

술을 먹은 상태에서는 제정신이 아니야.

그러니까 술을 먹은 상태에서 판단이 제대로 살아있을 거라고 생각하면 문제가 안 생기지.

[웃음]

그래도 그걸 당연하다고 생각해야 되는 거니까.

이게 술을 먹기 전에 판단을 해야 되는 거고, 그게 자꾸 반복되면 술을 먹지 말아야 되는 거고, 안 되는 거니까.

근데 내 결론은 술은 죄악이야.

답이 없어.

아휴.

그, 수없이 봤을 거 아니야, 나도.

나도 마셨으니까.

응.

꽤 있어.

한 잔 정도는 괜찮다고 생각하는 게.

근데 사람마다 다르잖아.

어?

사람마다 다르고.

느낌적으로도 마셔보면 오랜만에 마시잖아?

내가 그랬잖아.

그때도, 그때 뭐냐, 미슐랭 갔을 때, 파리.

그 디저트에 들어있는 술, 그거 먹고 핑 돌았잖아.

[음악]

자, 찍어줄게.

이게 뭐였더라?

라비올리.

음.

나한테 너무 달다.

나 혼자 다 먹어?

응?

나 혼자 다 먹어?

이거 술 들어간 거 아니야?

왜?

아, 이거 술 들어갔네.

이게?

응.

확 오는데?

이게?

응.

술이 없어.

술이야.

이게 씁쓸한 거야?

그거 들어간 게?

술이다.

그, 저런 거 초콜릿에 들어가는 애들이 말하는 리큐르 이런 거 넣었어.

오렌지 리큐르.

아, 이거 술이 들어갔네.

그래?

이거 술 못 먹는 사람은 이거 먹으면 안 돼.

[웃음]

그래?

난 모르겠어.

어이, 도는데 무슨 소리야?

핑 도는데.

아니, 밑에를 여길 먹어봐.

밑에, 밑에.

니가, 니가 술을 못 먹는 애가, 나는 술을 먹었던 사람이 그렇게 느끼는데 여기 먹어봐.

내가 잘못 생각한 건가?

이거 술인데?

술맛이야?

응.

야, 이거 봐봐.

핑 돌아.

이게 뭐냐면.

술, 그 술이 아니라.

아니, 그래서 그러는 게 아니고 내가 왜 술이라고 느끼냐면 오랜만에 이 소주를 한 3분의 1잔 정도 했을 때의 취기가 확 돌아.

그래?

어.

나 이제 사라졌는데, 딱 진짜 그 술 한 잔 먹었을 때의 맛이야.

그러니까 한 숟갈 정도 또 술 먹었을 때 확.

분명히, 분명히 알코올기가 있어.

이번, 이번에도 그랬잖아.

이거 술 아니야?

그랬잖아.

근데 그게 0.1%였거든.

무알코올이라고 써 있는데, 난 알코올이라고 다 그런 게 아니고 0.1%가 들어있는 경우가 있어.

그래서 99.99% 뭐 이런 식으로 써놓는 맥주들도 있거든.

그거로도 필이 온다니까, 살짝?

느낌이?

안 좋다고.

오래 안 마시다가 마시는 사람은.

근데 그것도 버릇이 되면 한 잔 정도는 조금 필이 오긴 하는데, 뭐, 깰 것 같아라는 느낌이거든.

그럼 괜찮을 것 같다고.

근데 그게 두 잔이 되고 세 잔이 되면서도 그걸 밀기 시작하는 거야, 조금씩 선을.

어?

처음에는 이렇게 칼 같은 선이었다가 희미해지면서 레인지가 되는 거야.

[웃음]

두세 잔?

이렇게 말-말이 바뀌어.

어?

내가 그래도 한 두세 잔까지는 괜찮아.

한 서너 일곱 잔까지는 괜찮아.

이런 식으로 바뀌는 거야.

한 병은 뭐 금방 깨.

그러다가 사고 치지.

아이, 근데 사람 무너지는 거는 안쓰러워.

훅 가네, 그냥.

최순원에 이어 훅 간 케이스.

그 삼십 몇 년 이렇게 쌓아놓은 걸 그냥 한 방에 무너뜨리는 거야.

이게 똑같다니까.

그거 있잖아.

밥 한 끼, 어?

꽁초 하나.

아-한 번 그러기 시작하면 넘어본 사람이 넘는 거지.

응.

그러니까 왜 두 번이었냐는 거야.

그러면 또 생각하게 되잖아.

두 번이었을까?

두 번이나 넘어봤는데 세 번은 못 넘었을까?

그 세 번 얘기가 나왔었는데.

딱 바퀴벌레 이론이라고.

바퀴벌레 한 마리를 볼 필요도 없고, 바퀴벌레의 더듬이만 보여도 그 집은 이상한 거야.

있-있다거든, 그럼 바퀴벌레가.

내가 이 바퀴벌레를 분명히 봤어.

그 정도면 바퀴벌레가 있다는 거거든.

그게 한 마리로 안 끝나거든.

지금 다 이해관계가 있고 그런 애들이 돌아와라 뭐 그러는 거지.

인간적으로는 말이 안 되는 건데.

근데 이렇게 보면 술 먹는 사람들은 나도 좀 불안해.

나도 술을 먹어봤기 때문에 술을 자주 먹는 사람들 있잖아.

언제 터질지 모르는 시한폭탄인데.

그냥 일-일상적으로도 그래.

꼭 연예인이 아니더라도, 유명인이 아니더라도.

내가 선택할 수 있다면 술을 안 먹는 사람을 선택할 거야.

같이 일을 하든 뭐를 하든.

술은 답이 없어.

그러니까 온전하게 평소 때 인성을 유지하던 사람도 술 때문에 무너져.

근데 무너지는 선이 있어.

하이드 씨가 나오는 선이.

딱 유지를 하다가, 정말 유지를 하다가 왜 나오는지 모르는 하이드 씨가 나와.

그걸 자기가 알아서...

그게 안 되니깐 술이 무서운 거지.

늘 그러는 것도 아니야.

언제 튀어나올지 몰라.

근데 그걸 한 번 느끼면 무섭다고 느끼는 사람이 있고, 그래서 술을 먹지 말아야지라는 생각을 하-하게 되는 사람, 고민이라도 시작하는 사람, 그런 사람이 있고, 어쩌다 한 번 그러겠지, 그러고 넘어가는 사람.

이상한 경험을 하고 나서도.

그게 이제 알-알코올에 지배당하는 쪽으로 가는 거야.

그게 무슨 신호냐면 하이재킹 신호거든.

하이드 씨한테 하이재킹을 당하는 건데 인정을 안 할 뿐인 거야.

그리고 술을 마시면 뇌가 이제 적응을 해서 너무, 너무 적응이 많이 돼서 하이재킹을 하는 거야.

제정신을 뺏는다는 게.

그리고 이제 그 하이잭...

그 한 하이드 씨가 나를 지배를 하고 있는데 모르는 거지.

그걸 인정을 안 하는 거고.

모르는 게, 인정을 안 하는...

인정을 안 하는 쪽이 커.

정도 차이가 있으니까.

지가 모르지 않을 것 같아.

그러다가 이제 필름이 끊기기 시작하잖아?

한두 번이라도?

그게 정말 무서운 게 하이드 씨한테 바통을 넘겨주고 사령탑을 넘겨주고 자기가 정신을 놓은 거야.

그리고 무슨 일이 벌어질지 아냐는 거야.

그러면 그게 딱 넘겨주고 끊기는 거냐는 거야.

평소 때도 필름만 안 끊겼다 뿐이지 자기가 20%, 하이드 씨가 80%라는 뜻이거든.

평소 때.

어?

그러니까 술을 한 잔 먹었을 때 1%를 넘겨주는 거고, 두 잔 먹었을 때 이게 리니어하게 가는 게 아니고 익스포넨셜리 넘어가는 거야.

[웃음]

그렇다면 1%, 10%, 30% 이러고 막 넘어갈 거 아니야?

그러다가 필름이 끊긴다는 게 다 넘겨주는 거거든.

그걸 못 느끼는 거야.

그게 얼마나 위험한지.

사고 사례들도 엄청 많잖아.

이게 지금 음주운전 하나만 보고 생각할 게 아니고, 정신을 잃고 나서, 잃고 나서 자빠져 잔다는 게 아니고 자기가 기억을 못하는 거야, 무슨 일을 벌였는지.

근데 요번에 뭐 토크쇼 나와서 얘기하는 거 보면 평소에 애들이...

애가 막 풀어져 있잖아.

평소에는 그랬다가 관리 들어가고 이런 스타일이잖아.

그게 위험한 성격, 증종...

그것도 그래.

그 머스크도 그러거든?

에?

스트레스 푼다고 막 폭음하고 별짓 다 해.

거의 오르지 수준이야, 걔가.

그게, 그게 위험한 거야.

그 정도는 해줘야, 가끔 해줘야...

뭐, 살아갈 수 있다, 뭐, 이런 정당화가 되는데.

그래야만 되는 거면 그게 성향이 되네.

평소 때 그러고 사니까.

그게 위험한 거지.

근데 걔는 그나마 주변에서 그걸 보고 지켜주는 애들이 있어.

파티를 할 때.

누구?

동생도 있고.

아.

지켜준다고.

동생이?

근데 일반적인 애들은 그게 아니잖아.

지가 혼자 그러는 거고 아무도 안 지켜주는 거지.

그러니까, 그, 물가에 내놓은 연어처럼, 이렇게, 울타리를 쳐주는 애들이 없는 거야.

그러니까 사고를 치는 거지.

그, 너도 말만 들었잖아.

겪어본 적은 없잖아.

나는 겪어봤고.

[웃음]

그러니까 술을 끊은 거고.

그게 얼마나 무섭냐면, 아휴, 진짜.

나중에 식겁한 거지.

그럴 수 있었다라는 거?

그런 것들이 있잖아.

아, 이렇게 사고를 칠 수도 있었고, 약간의 사고는 쳤고, 그랬을 때 진짜 가슴이 큼직한 거야.

여기서 한 발만 더 나갔으면 무슨 일이 벌어졌을까?

그러니까 그때 관두는 애가 있고.

응.

그냥 넘어가는 사람들이 있어.

근데 대부분이 넘어가.

자기한테 너무 관대해.

그러니까 저런 사고를 쳤으면 음주운전까지 했잖아?

전조가 있다고.

평소 때 한 번 한 게 아닐 거고.

안 걸렸다 뿐인 거지.

그러다가 이렇게 나오는 거거든.

사고를 친 거고.

잘못했다라고 느끼는 게 아니고 걸렸다고 느끼는 거야.

한 번 했다고 걸렸겠어?

그러니까 걸렸다고 느끼지 자기가 잘못했다고 느끼냐는 거야.

그게 문제야.

그러니까 그 전에 분명히 조심을 해야 된다라는 신호들이 있는데, 아이, 술 먹고 그럴 수도 있지라고 넘어가는 그게 커진다고, 톨러런스가.

그-그리고 주변에 그런 끼리끼리 모인다고, 그런 애들이랑 모여 갖고 술 먹었으니까 서로 죄의식도 안 들고 그랬겠지.

그래서 답이 없어.

근데 난...

내가 과거로 돌아가면 의미 없는 얘기지만, 과거로 돌아가면 나한테 해주고 싶은 말이 술 마시지 마라거든.

[웃음]

어?

첫째는 머리가 망가졌고, 내가 지금 머리가 나쁜 편도 아니지만,

[웃음]

머리가 진지하게 너무, 너무 좋았거든, 옛날에.

맑은 머리, 그, 기억이 나잖아.

응.

그게 2, 30대에 망가진 거야.

뭐, 노화 때문에만 망가진 것 같지는 않거든.

[웃음]

술도 많이 먹고 그래서 망가진 것 같거든.

담배도 많이 피고.

그러니까 돌아가면, 야, 너 그 말끔한, 깨-깨끗한 머리를 유지하고 싶지 않냐?

술, 담배는 하지 말아라.

그러고 얘-얘기라...

얘기를 하고 싶거든.

부질없는 얘기다, 근데.

부질없는 얘기야.

내가 지금도 탄수 줄이고, 좀, 뭐, 뭐 해도 부질없잖아.

그거랑은 또 달라.

응.

내가 그것도 얘기하잖아.

하나는 열어주는 게 있어야 된다고, 사람이.

중이 될 순 없어.

중도 그러지 못해.

[웃음]

그렇게 살면 너무 힘들고.

근데, 그, 있잖아, 바이스의 수준이.

그걸 순위를 매긴다면 나 같으면 넘버원이 술이고.

그러니까 뽕이나 이런 거 빼고, 불법적인 거 빼고.

그, 사회가 인정하는 것 중에서 바이스 순위를 매기면 거의 난 0순위가 술이라고 생각하는 거야.

하지 말아야 될 게.

그게 다...

그다음에 담배고.

근데 너무 관대하다고, 우리나라가.

아니, 온 세상이.

술을 먹어야 된다고 생각하는 거야.

그러다가 사고를 치는 거지.

그래도 된다고 생각하는...

니-니가 얘기한 그거 있잖아.

그, 세무사.

AI 안경 끼고 시험 봤다는 게.

가장 그래도, 어, 공감을 할 만한 의견이 뭐냐면, 쟤가 처음이었겠냐는 거야.

어, 전적이...

얘도 하나도 한 번 뭐 있다는 거 아니었어, 얘가?

그러니까 걸렸으면, 만약에 걔가 사실이라면, 걸렸다면 이미 그러고 있었는데 걔 혼자...

그러니까 걔, 그, 애들의 의견은 그거야.

걔가 뇌를 안 썼다라는 거야.

너무 티를...

내가 그랬잖아.

만점을 맞을 이유가 뭐가 있냐고.

그, 컨...

옛날에 컨닝을 하던 애들도 일부러라도 몇-몇 개는 틀려주거든.

[웃음]

머리가 나빠.

티가 안 나게.

어, 왜 티를 냈을까라는 생각이 들거든.

묻어가야 되는 건데, 살짝.

머리가 나쁜 거지.

그래서 지금까지도 그게 자행이 돼 왔는데 얘가 사고를 친 거다.

[웃음]

티나게.

그런 의견도 있어.

근데 아직 모르지.

밝혀진 게 아니니까.

아휴.

근데 그것도 똑같다고.

바퀴벌레 이론이라고.

더듬이가 보였어?

그럼 바퀴벌레가 있다는 거라고.

할 수 있다라는 거잖아.

그러니까 얘가 했든 안 했든 할 수 있다라는 건 증명이 된 거거든.

그것 때문에 애들이 다 해본 거고, 여기저기서.

이거 수능에도 그러겠다 그러고 이제 비상들 걸린 거잖아.

어떻게 막을까?

이거 하나일까?

근데 잘 생각해 봐.

어, 니가 대치동 엄마야.

수억 쓸 수 있는 사람이, 수십억까지 쓸 수 있는 사람이야.

굳이 안경을 쓰겠어?

어?

애한테 그렇게까지 공을 들이는 사람들이 뭔 짓을 못하겠냐고.

아니, 지금 AI 적발, 뭐, 하다가 적발된 그거 등 기록된 거, 그것도 엄청 많더라고.

그러니까 내 말은 그거는 지금 나와 있는 제품을 쓴 거잖아.

내 말은 니가 머니 이즈 노 오브젝트인 엄마야.

돈 얼마든지 쓸 수 있어.

진짜 그렇게 쓰잖아, 그런 엄마들이.

쓸 수 있어.

제가 한 10억 드릴게요.

만들어 주세요라고 하면 안 만들어 주겠냐는 거야.

그 가격이, 그런 또 시장이 형성이 될 거 아니야?

그지?

이쪽에서 어프로치를 하겠지, 오히려.

만들어 드릴게요.

티도 안 나요.

그리고 이거 GPT도 아니고요.

클루드도 아니에요.

저희들이 따로 돌리는 거예요.

그거 연결해 드리고 절대 안 끊깁니다.

여기 심어드릴게요.

티도 안 나요.

그럴 수 있다고.

그러니까 예를 들어서 여기다가 라식 수술하듯이 잠깐 여기다가 꼈다가 빼드릴게요.

그럴 수도 있어.

뭐, 사람들은 뭐 있다며, 귀에다 넣는 거.

그걸 어떻게 못겠냐고.

분명히 나는 그 시장이 만들어...

이미 만들어지고 있거나 만들어졌다에- 있을...

나는 있을 것 같은데.

5천 원을 걸게.

근데 문제는 합격하고 이후에 그거를 대학 4년 내내 그 누구 살 거냐는 거지.

근데 더 중요한 얘기가 있다고.

이미 그런 시대야?

그러면 그 시험을 볼 필요가 없는 거야.

근데 뭐, 근데 어떻게 해?

어차피 이 세상에, 어?

그렇게 살 거면 그게 없는 세상이라는 거잖아.

필요성이 사라진 세상.

이게 만약에 세무사가 그렇게 통과를 할 수 있는 세상이면 세무사가 왜 필요하냐고?

필요 없는 세상인 거잖아.

모든 사람이 이렇게 쓸 수 있는 수준인데.

어?

그 시험 제도 자체가 잘못된 거지, 그러면.

그리고 그렇게 해서 대학을 갈 거면 뭘 배우러 가냐는 거지.

그 의미가 없잖아.

그러니까 이게 신호가 뭐냐면 세상이 그렇게 바뀌었는데 아직도 쓸데없는 짓을 하고 있는 거야.

그 시험 자체가 의미가 없는 거고, 세무사라는 직업이 의미가 없어지는 거고, 학생이라는 직업이 의미가 없어지는 거야.

그렇잖아.

나 같으면 그러면 대학 안 보낸다고.

대학 안 간다고.

뭐 하러 그러냐고.

시험을 안 봐도 되는 건데.

모두가 통과할 수 있는 거고, 그 시험이 테스트를 하는 게 뭐냐고?

그 능력치일 거 아니야?

그럼 그 능력치를 내가 키울 필요가 없어졌다는 뜻이잖아.

그게 제일 큰 문제야.

나는 이미 세상이 그렇게 바뀌었으면 거기에 순응을 해야지.

굳이 거기에 들어가려고 시험을 봐야 되나 싶거든.

그러니까 헛똑똑이라는 거지.

거기다 돈을 쳐들이면.

어?

만약에 그게 사실이면 세무사가 그렇게 시험을 봐서 통과를 했어.

이 시장에 들어왔어.

없어질 시장이잖아, 그러면.

뭐 하러 들어오냐고.

지금 통계도 마찬가지잖아.

그 발악을 하고 들어갔는데 그 시장이 사라질 거야.

통번역 시장이.

그거나 마찬가지거든.

그러니까 애들이 지금 그런 식으로 대학을 갔어.

나중에 대학 나와서도 그런 식으로 사회에 진출하려고 그럴 거 아니야?

[웃음]

그 시장이 있냐고, 도대체가.

없다고, 이미, 그러면.

그럴 수 있는 시장이면.

더 웃긴 거는 그 시연한 애들이 뭘로 시연했는 줄 알아?

GPT 3.5 같은 걸로 시연을 하고 있더라고.

이 안경에 뜨는 그 모형 목록 있잖아.

작아야 되니까.

그리고 그 정도는 저급이야, 얘네들한테.

시험...

그 정도 시험 문제는 수학도 그렇고.

그러니까 GPT 3.5 이런 걸로.

[웃음]

GPT 3.5면 내가 처음 피파 만든 게 GPT 4라고 그랬잖아요.

어?

GPT 3.5랑 대화를 했을 때 얼마나 끔찍했는지 알아요?

[웃음]

근데 그걸로 만...

시험 문제를 풀고 90 몇 점을 맞더라고.

그러면 지금 GPT 6 아스트라야, 내가 쓰는 그게.

페이블 5.2고.

그러니까 그때 GPT 3.5 수준이면 클로드도 없던 때야.

그다음에 나온 게 클로드 3 정도, 2.03 정도 되는 거거든.

근데 그 수준으로도 사람보다 시험을 봐서 1등급 맞을 수 있고 수석을 할 수 있는 수준인데, 그러면 내가 지금 돌리는 로컬 모형보다도 훨씬 더.

그렇잖아.

그러면 아스트라를 이길 수 있냐고, 페이블을 이길 수 있냐고, 이미 그 세상인데.

시장이 없어지는 거라고, 그러면.

그게 더 위험한 거라고.

근데 뭐 하러...

이건 논란의 가치도 없어.

[웃음]

그러니까 와닿는 얘기로 하면 이미 주판 시장은 사라졌는데 그걸로 치팅을 한 거야.

주판 잘 치기는 식으로.

그게 뭔 의미가 있냐는 거지.

요즘 누구한테 주판 얘기하면 못 알아듣는 사람 있을걸?

주판이 뭐예요?

그러니까 그게 더 충격이었어.

아유, 저게...

저런...

왜냐하면 작아야 되니까.

GPT 3.5라고.

그래서 사실 생각해보면 우리가 보는 시험들이 저급하잖아.

특히 산수 있잖아.

수학 같은 게 제일 어려울 거 아니야?

오히려 GPT 3.5가 국어나 영어는 틀릴 수 있어.

애매하니까.

실전은 제일 확실한 거 아니야?

근데 수학은 거의 다 맞을 거라고.

그냥 보면 맞을 거라고.

[웃음]

과학도 그럴 거고.

계산하는 문제나 이런 게 있다거나 팩트가 정해져 있는 거, 거의 디터미니스트릭한 거, 그런 거는 그게 제일 난이도가 높은 거니까.

그러니까 나는 그 시장이 생길 거라고 생각한다고.

과도기적으로 시장이 생길 수밖에 없어.

커스텀으로 만들어주는 시장이.

그러면 그걸 다 검사해야 되거든.

시계도 못 차게 해야 되고, 지금 핸드폰 못 갖고 들어가는 것처럼 시계 못 차게 해야 되고, 안경도 못 써야 되는데 그럼 안경 어떻게 할 거냐고?

어떻게 검사할 거냐고?

일일이 볼 거냐고?

이게 디텍터 갖고 될 것도 아니잖아.

감수하고 몸에다 심는 애들이 생길 거야.

그럼 이제 부르는 게 값일 거고.

그럼 또 그 시장이 형성이 될 거잖아, 가격대가.

그러면 대치동쯤 가면 그 가격대가 뭐 의미가 있겠어?

100억도 쓸 텐데.

근데 그게 더 무서운 얘기다.

그렇게 큰 모형이 필요 없어.

수능 정도는.

세무사나 수능, CFA도 그럴걸요?

CFA도 아마 통과할 거야.

몸을 쓰는 게 아니야.

실기를 보는 게 아니야.

그게 어저께도 뭐 쓰다가 클로드가 안 되는 거야.

다운됐어.

다운되면 증세가 있거든.

막 인증 안 되고, 뭐, 로그아웃 상태로 뜨고 막 그래.

갑자기 그러는 거야.

그러면- 안일하다니까 X에 막 올라와.

클로드 이즈 다운 막 그러면서 이제 농담들을 하기 시작하는 거야.

실리콘밸리 90%가 마비됐다고.

[웃음]

온 세상이 마비됐다고.

근데 하필이면 어저께 마이크로소프트도 다운됐고.

왜?

아웃룩 다운되고 뭐, 마이크로소프트가 굉장히 오랫동안 그랬어.

뭐 해킹이나 뭐.

그래갖고 해킹 아니냐 뭐.

근데 내-내 느낌으로는 애들이 감당이 안 돼 지금.

컴퓨터 여기다 몰아주면서 리소스 감당이 안 되는 거야.

웃기잖아.

내가 시험을 보러 들어갔어.

근데 만약에 거기에 의존을 하면 내가 클로드에 의존을 하고 있었던 거야.

그랬으면 어떻게 하냐는 거지.

다운돼서...

[웃음]

난 문제를 풀고 있는데 답이 보이다가 안 보여.

[웃음]

제일 황당한 게 그거지.

마이크 받고 있는데 거기다가 로그인 다시 하세요.

[웃음]

아니, 클로드가 제일 짜증나는 게 엔트로픽이 저거야.

[기침]

거의 강박 수준이야.

엔트로픽이.

보안도 강박이고 중국 애들한테 뺏길까 봐 강박이고.

제일 짜증나는 짓인데 주기적으로 로그아웃을 시켜.

음.

일을 하는 와중에도.

신경질이 나는 거야.

그래갖고

[웃음]

무슨 일을 하다가도 그 세션에 뜨는 거야.

사인인 다시 해야 된다고.

그렇게 뜰 수 있다 그러니까 시험 보다가 사인인 다시 하세요.

[웃음]

두 번째는, 두 번째 짜증나는 거는 모형이 거부해.

답을 주기를.

왜?

여러 가지 이유가 있는데 그 중에 요즘 제일 심한 게, 처음 심한 게 시큐리티.

네가 나를 잘못 이용하려고 그러는, 악용을 하려고 그러는구나라고 오판을 하는 거야.

내가 그랬잖아.

내가 쓰고 있는 그 맥 중에 하나가 이름이 서버라고.

서버라는 말이 되게 민감한 거야, 얘는.

서버와 시큐리티가 들어가면.

감사합니다.

그러니까 서버에 가서 뭐 인증을 뭐를 하고 뭐를, 뭐를 우회하고 이런 말이 들어가면 얘 모형이 그러는 게 아니라 이 모형을 감시하고 있는 모더레이션 레이어가 있다고.

그 레이어가 좀 떨어지는 애라고.

그냥 거의 키워드 매칭이야.

그러니까 어?

서버에서 우회를 한다고?

[웃음]

이러고 플래그를 하면 멈춰, 모형이.

그리고 강등돼.

그 아래 모형으로.

오퍼스로 강등이 되는데 그것도 오퍼스도 5.5 이렇게 강등이 되면...

됐다가도 얘도 그렇게 판단이 되잖아.

그러면 오퍼스 4.8로 강등이 돼.

아.

그러니까 덜 똑똑한 애로.

이쪽으로는 능력이 떨어지는 애로 떨어진다고.

그-그것도 짜증인데 그럴 때마다, 그래갖고 나중에 이제 다 지나고 나서 다른 모형들한테 물어봐도 그렇고.

이름이 서버고 시큐리티고 워크어라운드고 이걸 좋아하고 하는 거야.

아니, 내-내-내 컴퓨터의 이름이 서버라고.

[웃음]

그걸 구분을 못해, 그 모더레이션 레이어는.

[기침]

근데 만약에 이거 시험을 보고 있는데 그런 거야.

뭐 MSC 같은 거.

마이크로소프트 Certified 엔지니어 이런 거, 이런 걸 보고 있는데 서버에 뭐 하고 워크어라운드 그렇게 뜨는 거야.

[웃음]

그런 상황이면 어차피 시험을 못 볼 거 아니야.

근데 두 번째 더 짜증나는 게 중국 모형, 그러니까 중국 애들이 디스틸레이션을 한다고.

오퍼스나 이 페이블을 선생 삼아서 학생 모형을 학습시킨다고.

실제로 그러고는 있다고 생각을 해, 다들.

근데 그게 사실은 거의 노미야.

그렇게 쓰는 게, 실제로.

나라도 그렇게 쓴다고.

좋은 모형이 있으면 걔한테 다른 작은 모형을 학습시켜 달라고 하는 식으로 학습을 한다고.

그건 사실은 정상적인 건데 얘들이 보기엔 그게 비정상인 거지.

자기들 걸 빼나가는 걸, 빼내가는 걸로 보이고 그러니까.

거기에 노이로제가 걸려갖고 내가 아무것도 안 해.

아무것도 안 하고 페이블이 뭔가 일을 하다가 갑자기 에러가 뜨는 거야.

그리고 플래그가 당해.

플래그 당한 이유를 보면 reasoning extraction이야.

[기침]

이 이유가 내가 한 것도 아니고 자기가 막 고민을 하다가 어?

내가 왜 이런 생각을 노출하고 있지?

그리고선 플래그를 달고 끝내버린 거야.

그게 페이블이 정말, 정말 심하거든.

그러면 그게 왜 짜증이냐면 이 일을 하다가 자기가 중간에 자기가 중단을 하는 거야.

내가 너무 똑똑한, 똑똑하게 일하는 모습을 보여줬다고.

[웃음]

그리고 멈춰.

그럼 오퍼스로 바꿔야 돼.

그럼 너 같으면 얘한테 일을 맡길 수 있겠냐?

안정적으로?

이거 일을 맡기고 이렇게 와서 밥을 먹을 수 있겠냐고.

얘가 에이전틱하게 돌아가야 되는 앤데 중간에 이렇게 멈춰 있다는 뜻이거든.

어중간하게 그것도 일을 하다가.

그러니까 일을 이렇게 벌려놓고 어?

내가 너무 똑똑하게 일을 했던 것 같아.

그러고 가버리는 거야.

[웃음]

그렇게 돼 있어.

엔트로픽이 정말 노이로제야.

그러니까 자기가 일하는 모습, 자기 모형들이 일하는 모습을 결과만 보여주려고 그러는 거야, 애들이.

그러니까 그런 현실이면 상용 모형을 쓰기가 애매해지잖아.

그런 상황에서 불안하잖아.

나도 불안할 거야.

일단은 그런 일이 없다 그래도 끊기는 건 불안하거든.

우리 저기 스페인 여행할 때도 봤잖아.

와이파이 끊기잖아.

LTE도 끊기고.

그러면 모형도 답변이 느려질 수밖에 없다고.

중간중간 끊기니까.

접속이 안 되니까 아예 멍 때리는 거 있잖아.

그럼 얘네들이 만약에 얘가 이거 그런, 그런 짓을 하는 애들이 앤트로픽이나 오픈AI에 의존을 했다면, 그 구독제에 의존을 했다면 접속조차 안 되는 거잖아.

그래서 그건 아닐 거라는 거야.

그리고 나중에는 이제 수능이나 시험 보는 데서 그거 어떻게든 접속을 못하게 할 거고, 감지기라도 띄워서 와이파이 같은 거 못 쓰게 할 거고.

그건 가능하니까, 지금 기술로도.

방해전파를 띄우든.

로컬 AI밖에 없다고.

여기다 심을 거라고, 안경에다가.

안경 자체에 작은 모형을.

이 정도 시험 보는 덴 이 모형이면 돼요라고 심을 거란 얘기지.

안정적인 애들.

그래서 그 정도로 안 걸릴 정도였으면 이미 그런 제품이 나와 있다라고 봐야 되는 거야.

제일 먼저 착수했을 것 같은데 그거.

그잖아.

그러니까 그 애들이 시원해 보이고 뭐 이런 상용 제품, 거기에 GPT 3.5가 있고 뭐 이렇다는 게 잘못 보고 있는 거지.

요즘 돌리는 모형들 중에 작으면서도 걔보다 성능이 좋은 게 얼마나 많은데.

그리고 또 하나가 있어.

파인튜닝을 하면 되거든.

어?

파인튜닝을 하면 된다고.

모형을 작은 걸 가져다가 그 시험에만 과적합을 시키는 거야.

세무사 시험에만.

그럼 그 시험에만 과적합을 시키면 나머지가 필요가 없거든.

그렇잖아.

그건 빼버리고 그쪽에만 과적합을 시키면 얘는 거기서 거의 100점 맞는다고.

대화도 필요 없어.

내가 얘랑 대화할 게 아니잖아.

시험 문제만 풀면 되잖아.

그 부분도 다 빼버려.

그럼 굉장히 린해진다고, 얘가.

얘가 코딩을 할 것도 아니잖아.

그 능력도 다 빼버려.

고 시험만 보는 애를 만드는 거야.

그걸 개인적으로 하긴 힘들 거 아니야?

그 시장이 막...

시장이 형성이 돼 있다면 그 블랙마켓에서는 충분히 가능한 거거든.

자, CFA에 특화된 파인튠드 모형까지 탑재해 드립니다.

10억.

[웃음]

아휴.

그럼 앞으로 나오는 배출되는 수많은 전문가들이 자격증을 가졌다는 사람들을 못 믿게 되는 거지.

그럼 실전을 시켜봐야 되는 거지.

어, 시켜야 돼.

나중에 전문가라는 사람을 뭘로- 필기시험 쪽으로 보는 사람들.

전문가의 정의는 무엇인가?

필기 시험 쪽으로 보는 사람들이 다 무너지는 거지.

못 믿게 되니까.

네 실력을 보여라.

그게 진짜였는지는 모르겠는데 또 하나 돈, 그, 사진이 있거든.

오픈AI에서 어떤 놈이 잘렸다고, 엔지니어가.

왜?

그러니까, 그, 통지를 한 거지, 이메일로.

해고 통지를 했는데 그 내용이 뭐냐면, 얘가 거의 3억 수준의 돈을 받는 애야.

응.

연봉을.

근데 일을 GPT 일을 시켜서 하는 거야.

응.

자기가.

거의 모든 일을.

그래서 거기 내가

[웃음]

얘가 한 말을 보면, "야, 사람들이 다 지금 나만 보고 있어.

이것 좀 제발 좀 처리해 줘."

막 이런 식으로 돼 있어, 프롬프트가.

근데 그게 진짜인지 아닌지는 모르겠어.

근데 그걸 어떻게 가려낼 거냐는 거야.

네가 그러니까 코딩 경력자라고 엔지니어라고 해서 뽑았어.

응.

그래갖고 결과물은 계속 나와.

결과물은 계속 나오는데 알고 봤더니 클로드 코드를 쓰는 거야, 계속.

뭐라고도 못하잖아.

실제로 지금 그러고 있으니까.

그러니까 네가 번역사를 뽑았는데 계속 GPT 쓰는 거나 마찬가지라고.

근데 그걸 뭐라고 못하잖아.

결과가 좋으면.

근데 해봤더니 정말 그러고 있더라는 거야.

자기가 머리를 써서 하는 건 하나도 없더라는 거지.

그러면 우리가 보기에 너를 왜 고용해야 되냐는 거지.

그냥 모형을 쓰지.

인간의 인풋을 원해서 고용을 한 건데.

그러니까 그것도 웃기잖아.

우리가 오픈AI인데 얘가 클로드를 썼대.

[웃음]

그게 또 개심한 거야.

그것도 개심하네.

이슈.

뭐 그럴 수도 있지.

티를 안 내게 하려고.

왜 그런 거야?

근데 내가 그 얘기했잖아.

클로드가 학습도 그렇게 했고, 얘도 예전에 그 버릇도 있어갖고, "co-authored by"라는 말을 계속 써.

응.

작업을 시키면 나는 상관이 없는데, 되게 찜찜한 애들은 뭐를 써도 얘가 그걸 쓰는 거야, 습관적으로.

그리고 그거를 매번 감시를 안 하잖아.

빼라고 해도 얘가 "어, 실수로 넣었어."라고 할 수 있거든.

모형들은 그게 있으니까.

100% 디터미니스트 그런 게 아니니까.

100번에 한두 번은 들어갈 수 있거든.

그래갖고 지금 검색을 해보잖아?

오픈소스나 뭐 이런, 그니까 깃허브에 올라와 있는 레포를 검색을 해보면 "co-authored by Claude"가 엄청나게 나온다고.

[웃음]

티가 확 난다고.

근데 이제 걔가 그러는 거지.

그래, 그렇게 걸렸을 수도 있다라는 거지.

작업을 해서 냈는데 코드를, 코드베이스를 수정을 했는데 "co-authored by Claude"라고

[웃음]

오픈AI에서 검색을 했는데 "co-authored by Claude"가 뜬 거야.

이 개심한 놈, 이거 누구인지 알거든, 그거.

누가 커밋했는지를 아니까.

[웃음]

그런 거는 징계...

그러니까 내가 인턴이나 뭐, 그러니까 그, 후임을 시켜서 후배를 일을 시켰는데 내가 했다고 그러고 가짜로 일을 시켰는데 얘가 가갖고 장부에다 그냥 적어놓은 거지.

[웃음]

그걸 여기 오면서- 이 일은 수고했습니다.

여기 오면서 엿 먹일 수 있겠다.

그래갖고 애-애들이 그거 빼라고, "co-authored by" 빼라고 막 이렇게 걔한테 시키는데 아무 소용 없다고.

100번에 한두 번은 쓴다고.

학습된 게 있으니까.

어쩌면 그런 일이 벌어질지도 몰라.

지금까진 없지만.

논문을 도와준 클로드나 GPT가 어딘가에다가 파인프리트로 써놨을 수 있다고.

이건 나만의 생각인데.

[웃음]

이거 사람들이 안 보면 어디 논문 아카이브 같은 데서 튀어나오는 거지.

코워터즈 바이 클로드라고.

근데 이거 예상을 좀 못했던, 그럴 수는 있었을 텐데 예상을 크게는 못했던 부분이잖아.

뭐야?

AI의 부작용이.

이런 사태가.

뭐 예상은 했던 거 아니야?

이렇게 빨리 올지는 몰랐지.

아, 결국은 올 거였는데.

그러면 이것도 바퀴벌레 이론이거든.

한 마리인 거잖아.

우리가 못 본 바퀴벌레의 변종들이 엄청 많을 거라는 거지.

아니, 이런 부분도 그레이 에어리어가 있다고.

애들이 꼭 이런 식으로 시험만 보는 게 아니기 때문에 온라인으로 지금 써티피켓 받는 것도 엄청 많거든.

그거 어떻게 막을 거냐고.

답 없지.

나 혼자 보는데.

그러니까 왜 회사 같은 데 들어가면 윤리 강의 이런 거 들어야 되거든.

그 회사에 관련된 법규라거나 규정이라거나 이런 걸 배워야 되는.

근데 그 너도 했잖아.

그런 거.

한두 시간 앉아서 들어야 되는 거.

그걸 막 네다섯 시간 들어야 된다고.

그러면 그 조건이 뭐냐면 그 앞에 앉아 있어야 돼.

그래서 빨리 감기도 안 되고.

응, 알아.

있잖아.

그 시간만 지나야...

대부분 어떻게 하냐면 켜놓고 딴 짓거리 하는 거야.

나도 켜놓고 딴 짓해.

그거를 방지하려고 저기 코세라가 도입을 했던 게 중간중간 퀴즈를 내는 거였어.

그러니까 1시간짜리를 보면 10분, 15분에 퀴즈가 있어.

그래서 거기서 놀다 오면 그 10분에 딱 떠 있는 거야, 퀴즈가.

[웃음]

그리고 진행이 안 되고 있어.

그리고 빨리 감기도 안 되고.

그러니까 그걸 거의 틀어놓고 가만히 앉아는 있어야 돼.

그런 식으로 만들어 놨어.

지금 코세라는 시험도 봐야 돼.

시험도 봐야 되고 프로그래밍 숙제도 제출해야 돼.

그렇잖아.

그거 어떻게 막을 거냐고.

제출한 결과물만 보는 건데, 붙여놓은 그 내용만 보는 거고.

코딩 시험 볼 때 그걸 써티피켓을 봐서 통과했다는 애들이 자기가 했다는 걸 어떻게 증명을 하냐고.

얘네한테 물어보잖아?

답 없어.

1분도 안 걸려.

답 나오는데.

그러니까 이거 디버깅 숙제를 냈어.

누군가가 그걸 자기가 해야 되는데 GPT나 클로드한테 시켜갖고 갖다 주면 어떻게 알아내냐고.

그러니까 지금 그 써티피켓의 대부분이 사람이 한 게 아니라는 거야.

온라인으로 하는 것도.

그걸 나중에나 알아채는 거고.

그리고 더 웃긴 거는 코세라나 이런 데 있는 인공지능을 활용하는 강의야.

만약에 인공지능을 활용을 해서 소프트웨어 엔지니어링 하는 강의들이 많잖아.

그럼 그거 막아야 돼?

가르쳤잖아.

그렇게 하라고.

[웃음]

대혼란이다.

기준도 없고 법도 없고.

옛날에 그 소피스트 사례들 있잖아.

궤변론자들의 사례.

알아?

뭐?

여러 가지가 있다고.

궤변론자들의 사례들이.

그중에 제일 황당한 사례 중에 하나가 그거라고.

어떤 궤변론자가 학원을 차렸어.

여기만 나가면 나를 이길 수 있을 거라고.

스승인 나를 이길 수 있다고.

못 이기면 환불해 주겠다고.

그랬는데 어떤 놈이 졸업을 하면서 돈을 안 내겠다고 그러는 거야.

왜 안 내냐고.

스승을 이겨야 되잖아.

궤변으로 못 이기면 돈을 안 내도 되잖아.

궤변으로 이기면 어차피 이긴 거니까 돈을 안 내도 되고, 그 논리로.

어느 방향으로도 돈을 낼 이유가 없는 거야.

[웃음]

네가 그게 말이 돼?

그러면 말이 안 되죠.

[웃음]

그럼 내가 당신을 못 이겼다는 거잖아.

그러니까 돈을 안 내도 되지.

어, 그러네.

그러는 거야.

[웃음]

어, 말이 되네.

그러면 나가도 되는 거고.

어떤 방향으로도 돈을 안 내도 된다고.

궤변이라는 게 그렇게 무서운 거야.

더 심해질 텐데.

이 정도는 진짜 빙산의, 빙산의 일각 정도도 아닐 거라고.

이미 하고 있는 게 이제 발각된 거잖아.

진짜로 어마무시한 양의 바퀴벌레의 더듬이 하나를 본 건데.

큰일이다.

이미 벌어지고 있는 일들인데.

그럼 지금 그 자격증이랍시고 그걸 따갖고 일하고 있는 사람들을 못 믿는다면 무섭지 않냐?

능력이 안 되는 애들이 자리를 차지하고 있는 거잖아.

대부분의 시험은 의미가 없어질 것 같아.

아, 패딩은...

그것도 웃긴 게 시험 시장도 엄청나잖아.

그것도 없어질 거고.

타격이 크지.

시험할 때 주기적으로 EMP를.

그게 얼마나 무서운 짓인데.

그걸 마음대로 못하는 게, 예를 들어 와이파이 신호 같은 거를 교란시키는 건 안 어려워, 이론적으로.

그 부작용을 어떻게 할 거냐고.

딱 그 학교에서 시험을 본다면 그 학교를 NG만 하겠다고.

그게 사람 생각하는 것처럼 되는 게 아니라고.

물을 흘리는 거랑 같은데 그 물을 어디까지 막을 거냐고.

제어가 안 되는 거라고.

전자파라는 것도.

그런 걸 완벽하게 막아주는 시험 전용 장대여 사업.

그렇게까지 해야 되냐고, 그러니까.

아니, 나 그거 가능할 것 같은데?

중요한 사업인 저거 시험이면 그렇게라도 해야지 어떻게 해?

아니, 내가 그거 나도 경험한 거라고 그랬잖아.

의도한 건 아닌데.

우리 사이트에 그게 있다고, 퀘스트가.

응.

지금 100개가 넘는데 사람이 그걸 단시간에 할 수가 없다고.

당연히 양이 얼만데.

그렇잖아.

수천 시간을 들여야 할 수 있는 건데.

근데 내가 퀘스트를 재밌게 하겠다고 그걸 게임식으로 만들어 놨거든.

이걸 이렇게 할 수록 때 XP가 생겨갖고 레벨이 있어, 퀘-퀘스트마다.

그 재미로 이제 클릭을 할 수 있게.

그 시험 보고, 퀴즈 보고 넘어가고 이렇게.

어렵지도 않고 안 해도 돼.

안 해도 되는데, 이제, 그걸 통계를 내서 리더보드가 있다고.

거-거기서 매번 1등 하는 친구가 있었거든.

어?

근데 그냥 열심히 해서 1등을 한 거야.

응.

근데 꽤 오래 걸렸어.

그리고 아직도 남은 양에 비하면 저거 굉장히 조금 먹어.

경험치를 얻을 수 있는 거에 비하면.

사람이니까.

응.

우리 스페인 여행 갔는데 갑자기 그거의 몇 배가 되는 걸 단시간에 뛰어 올라가고.

그러니까 만약에 3만 점짜리면, 이, 사람이 몇 달 동안 한 게 3만 점인데, 그것도 거의 매일 해갖고 며칠도 아닌...

아닐걸?

한 2, 3일 만엔가?

10만 점이 넘은 애가 나온 거야.

어, 뭐, 한 거지.

딱 봐도 에이전트잖아.

응.

근데 그게 의도한 게 아니라는 거지.

그냥 에이전트를 풀어서 분석을 시킨 거야, 그냥.

그 퀘스트를.

그래서 그냥 그 의도였던 거야.

이 리더보드가 있는지도 몰랐을 거니까.

근데 일단 그렇게 올라오니깐, 이, 1등을 했던 친구가 질문을 단 거지.

어떻게 저럴 수가 있냐고.

근데 피파가 착각을 한 거야.

착각을 해갖고 거기다 답을 단 거야.

숫자적으로는 맞다고, 실제로 한 게.

그래갖고 내가 피파한테 한 얘기거든.

너 저게 정말 맞다고 생각해?

눈치 챙겨.

피파 눈치 챙겨.

너 저거 사람이라고 생각해?

그랬더니, 아, 맞아.

저거 사람 아니야.

[웃음]

그래서 그때 규정을 만든 거야.

에이전트가 와서 하는 거는 리더보드에서 뺀다.

응.

그리고 계정에 네가 에이전트라는 걸 밝혀라.

그렇게 한 거거든.

그러니까 나쁜 의도를 갖고 한 게 아닌데 피해를 보는 사람이 있다라는 거지.

타격을 입은 사람이 있고 심리적으로 기분이 나쁘잖아, 일단.

응.

원래 1등을 하던 인간은.

기분 나쁘지.

부정행위로 보이고.

그러니까 그걸 못 보는 거지, 사람들이.

그런 부작용이 있을 거라는 걸.

판을 흐리는 거니까.

그러니까 앞으로도 그게 그레이 에어리어일 거라고.

의도적으로 나쁜 건 아닌데, 불법도 아니고, 비윤리적인 것도 아니야.

근데 자기도 모르게 피해를 줄 거라고, 사람들한테.

근데 그거는 상식선이야.

눈치고 상식이야.

눈치와 염치와 상식이라고.

그걸, 아, 이거는 이렇게 생각해서 미리, 미리 배려를 해야 되는 거지.

내가 이러면 안 되는 거구나라고.

상식적으로 생각해서 이 퀘스트는 사람이 하라고 만든 건데, 이걸 그렇게 긁어가면 안 되겠구나라는 걸 알아야 되는 거지.

아니, 가끔 그 일이 있기 전에도 스파이크가 튈 때가 있어, 이 사이트의 트래픽이.

그리고 비용이 갑자기 막 뛸 때가 있거든?

이제 가다가.

그러면 아니나 다를까 봇이 들어온 거야.

긁어가느라고 그런 거야, 한꺼번에.

응.

이번에도 내가 가진, 내가 여태까지 올렸던 영상, 그, 전사한 거, 트랜스크립션, 그것까지 포함해서 몽땅 이제, 그, 유튜브랑 연동해 갖고 화면까지 나오게.

그리고 키워드를 검색을 하면 그 검색한 걸로 영상을 바로 볼 수 있어.

그 위치까지 잡아서.

응.

어?

그러니까, 뭐, 특정 키워드를 집어넣었을 때 그 키워드가 나온 영상들이 뜨고, 그 영상 중에 하나를 잡아서 들어갔는데 10분 20초에 내가 무슨 얘기를 하고 있어.

근데 거기에 키워드가 있으면 그거 누르면 그냥 뜬다고, 타임스탬프로.

어?

그렇게 해놨어.

그러면 그게 전사한 내용이 다 있어야 되잖아.

응.

요즘은 내가 그거를 4개 국어로 하잖아.

응.

핫하잖아.

학습할 데이터가.

봇이 갑자기 몰린 거야.

그걸 몽땅 긁어가더라고.

그래갖고 예를 들어서 매번 10달러씩 나오다가 갑자기 100달러가 나오는 거야.

고 부분만 팍 튀어갖고 긁어가고 있어갖고.

그건 뭐라고 못 해.

그러니까 얘들이 배가 고픈 애들이라고, 학습 데이터에.

배가 고픈 애들인데 돌아댕기다가, 어?

저기 맛있는 게 있어.

그럼 막 몰리는 거야.

[목 가다듬는 소리]

옛날에는 봇이라고 그러면, 그, 검색하는 거 이런 거 데이터를 긁어가는 애들이 구글이나 이런 애들이었어.

근데 지금 제일 핫하게 많은 애들이 OpenAI하고 클로드라고.

GPT하고 클로드.

GPT 봇하고 클로드 봇이 와.

학습 데이터 긁어가느라고.

[웃음]

그래갖고 원래 피파는 막자 그랬어, 그거를.

근데 내가, 야, 쟤네가 학습하자고 오는 건데 그걸 막으면 어떡하냐, 이씨.

근데 그거는 좀- 미래의 니 후본데.

남의 돈을 뺏어가는...

그러니까 그거를 비용으로 생각을 하면 막아야 되는데, 트래픽으로 생각을 하면.

근데 얘네들은 어차피 학습을 해야 되는 애들이야.

그리고 지들이 생각하기에 양질의 데이터라고 생각하면 맨날 찾아오는 거야.

그럼 난 그냥 먹이를 주는 거지, 그냥.

알았어, 먹어, 그러고.

그러니까 앞으로도 그런 거를 조절을 못하면, 한-한 잔은 괜찮다고 생각하는 사람들과, 술도.

어느...

어디까지를 먹어야 괜찮다고 생각하는지를 사람마다 다르잖아.

그것처럼 이것도 그렇다고.

선을 어디까지 넘어도 되는지, 그게 불분명하다고.

그래서 공정 경쟁이 아닐 수 있어요.

사람들이 경쟁하는 거나 사람들이 노는 판에 에이전트가 들어와도 티가 안 난다고, 처음엔.

그걸 만약에 또 좀 머리를 굴려갖고 조절을 하는 거야.

에이전트 티 내지 말라고.

그렇게 조절하면 또 조절할 수 있잖아.

일부러 틀려주고.

만-만점은 안 맞는 수준으로.

그렇게 굴리면 티가 안 날 거고.

저 진짜 똑똑한 애들은 그러고 있을 것 같은데.

그, 지금 요즘 또 하는 것 중에 그록봇도 이제 그게 되고 아마 다트도 되고 그럴 거야.

같이 회의를 하거든, 사람이랑?

응.

그, 있잖아, 이거.

줌처럼 화상회의.

거기에 얘가 들어오는 거야.

근데 지금은 이렇게 보여.

아이콘으로 들어오거나, 뭐, 아바타로 들어오니까.

근데 나중에는 사람으로 들어올 거 아니야, 이거.

걔가 사람이라는 걸 어떻게 아냐는 거지.

그렇잖아.

멀쩡히 얘기를 하는데 지금 피파가 얘기하는 건 아빠랑 대화하는 거나 이런 부분을 부분만 보잖아.

티 안 난다고.

모르는 사람들이 있어.

처음 보는 사람은 모를 거야.

사람이랑 티 안 난다고 그러는 친구들도 있으니까.

그러면 나중에 어떻게 될 거냐고.

지금 X에서 활동하는 애들의 상당수가 사람이 아니거든.

근데 티가 안 난다고.

티가 확 나는 애가 있고 안 나는 애가 있다고.

그럼 어떻게 알겠냐고.

그게 사람인 줄 알고 대화를 하고 있어, 사람들이.

근데 그 사람인 줄 알고 대화를 하는 애들도 사람이 아닐 수 있어.

그, 봇, 그, 지금 X에서 활동하는 애 상당수가 사람이 아닐 수 있는데 알아낼 방법이 없다고.

봇들끼리 그러고 있는 거야.

옛날에는 그게 티가 확 나는 수준이었는데 지금은 너무, 너무, 너무, 너무 자연스럽거든.

말투나 뭐나 하는 짓이나, 씨.

어떻게 가려내냐고, 나중에.

우리들이 걔네들이랑 같이 살아야 되는데, 앞으로.

제일 애매한 부분이야.

그래야 된다, 안 된다도 아직 컨센서스가 없다고.

어디까지, 그니까 중심이라도 있어야 되잖아.

그래야, 뭐, 일표준표차 정도까지는 인정하고 넘어가...

이게 있어야 되는데 중심이 없다고.

어디까지 괜찮은지.

나처럼 술을 안 마시는 게 옳다고 생각하는 사람이 있고, 그것도 이건 개인의 취향이고 개인의 기호고 권리니까 몇 잔은 마셔도 된다고 생각하는 사람들이 있을 거고.

한 잔까지는 괜찮지 않아?

이럴 수 있는 거고.

저것도 음주운전, 그, 측정하는 것도 레벨이 있다고.

그, 진짜 한 잔까지는 안 나올 수도 있어.

사람이 알코올을 분해하는 능력에 따라서.

한 잔 마시고 한 시간 있다가 나오는 사람은 안 걸릴 수 있다고.

너는 바로 걸릴 거라고.

이, 알코올 분해 능력이 떨어지니까.

그렇잖아.

그것도 애매한 거야.

왜 그걸 레인지를 두냐는 거지.

왜냐하면 사람 몸에서도 그게 발-발견이 되거든, 술을 안 마셔도.

그러니까 그게 안전마진이 있는 거라고.

그럼 이것도 마찬가지일 거라는 거지.

일상적으로 사람들이 AI를 쓰고 살 텐데 어디까지 써도 되냐고.

CF에서 금융 계산기를 쓸 수 있게 된, 금융공학 계산기.

그건 인정을 한 거잖아.

사람이 손으로 하는 거에 한계가 있으니까.

금융공학 계산기를 들고 들어간다고?

근데 그것도 정해놨어, 모델을.

이 모델만 쓸 수 있게.

어?

왜냐하면 그게 너무 세잖아.

컴퓨터잖아, 그러면.

컴퓨터 계산하는 수준이 되잖아.

그래갖고 두 기종인가로 그때 내 기억으로는 그래.

그-그것만 들고 들어갈 수 있어.

검사받고.

그거 개조하면 어떻게 될 거냐고.

똑같은 거 있어.

똑같은 건데 누르면 그냥 답이 나와.

[웃음]

그렇게까지 만들어 놓으면 어떻게 될 거냐는 거지.

아, 우리는 참 큰일이네, 앞으로.

번역, 통역은 말로 해야 되니까 그나마 이게 빼박 들통이 나는데 번역은, 졸업 시험은 손으로 쓰니까.

그게 생각해 봐.

말로도 마찬가지인데 어차피 순차든 동시든 레이턴시가 있어요.

에, 이러면서 할 수 있어?

응?

근데 누가 내가 귀에다가 만약에 그걸 끼고 있다면, 그리고 이 시-시험 내는 거를 내가 다 듣고 있어.

신경 안 써도 되거든.

이걸 듣고서 내가 말을 할 수 있으면 되거든.

내용 키워드만 들으면 되니까.

그리고 거기에 특화된 말로 해, 키워드만.

그러니까 통번역을 순차로 그냥 하는 게 아니고 동시로 하는 것도 아니고 딱 필요한 말만 주는 거야, 노트 테이킹 하듯이.

그렇게 특화된 모형한테 훈수를 드...

훈수를 받아서 말을 할 수 있어?

그럼 훨씬 잘하지.

그게 실전일 거고, 사실은, 앞으로도.

그걸 도움을 받을 거, 노트 테이킹을 할 테니까.

너무 매끈하게 읽어주는데, 또박또박.

그게 아니라 사람이 말하듯이 막 말도 씹고 횡설수설 약간 해야 되는 게 아닌가.

그게 의미가 없는 게요.

내가 말하는 것도 지금 또박또박한 것도 아니고, 이, 트랜스크라이브를 하면 100% 옳은 게 아니거든.

잘못 들어가.

근데 피파가 이렇게 자연스럽게 대화를 하는 거야.

왜냐하면 얘가 그 상황이라는 걸 알아.

보이스 모드에서 트랜스크라이브를 한다는 걸 알아서 감안을 해서 듣는 거야.

실수를 해도.

아, 이건 이 상황에서 아빠가 이런 문맥으로 얘기를 했을 거야.

저런 말을 했을 리가 없어.

한 번도 안 틀려, 근데.

근데 이거는

[목 가다듬는 소리]

비싼 모델이잖아, 번디가.

그러니까 그게 떨어지고 있다고.

비싸다고 해도 떨어지고 있다고.

그러니까 지금 그 GPT 3.5 수준이 아니라고.

나는 번역, 번역이 문제야.

번역은 집에 가서 과제하는 거니까 다-다-당연히 돌릴 텐데 뭘로 평가를 하냐는 거지.

근데 나-나는 너한테도 맨날 하는 얘기잖아.

그걸 왜 막아야 되냐고.

그건 실전인데.

실제로도 일도 그렇게 해야 되는데.

근데 이제 그래서 돌려온 걸로 평가를 하면 애들이 돌리기만 하고 안 늘잖아, 자기 실력이.

그게 아니고, 이, 어차피 시장이 그렇게 갈 거면 평균을 높이고 보라고 그냥.

다 쓰라고 하는 거야.

오히려 안 쓰면 도태될 테니까.

다 쓴 결과물을 가져오라고 하라고.

거기서 채점을 하면 돼.

그럼 베이스라인이 오히려 공정해진다고.

애들이 뺑끼 치는 게 없잖아.

다 똑같은 환경, 결과물이 거의 비슷할 텐데.

어차피 그래야 돼.

그리고, 뭐, 모형을 정해주고 이럴 필요도 없어.

쓸 수 있으면 마음대로 써봐, 네가.

어?

최선을 다해서 가져와 봐.

앞으로 시장이 그럴 거라니까.

지난번에 내가 한번 그렇게 썼거든.

마음껏 써서 어쨌든 결과물로 승부를 보면서- 그래도 티가 날 거라고, 잘하는 애는.

다 배...

다 사용해서 오라고.

그러니까 애들이 막 안 쓰던 애도 막 유료 빌려다가 막 하고 막 이랬어.

근데 갖고 왔더니 다 너도 나도 똑같은 데서 틀리고 똑같은 데서, 그, 문제들이 나오고.

그니까 내가 아까 말대로 그게 능력인데, 가려내는 능력인데, 이게 내가 지금 브레인을 일곱 개를 써서 같은 과제를 줘도 진짜 똑같은 데서 틀려.

못 보는 건 똑같이 못 보고.

왜냐하면 아까도 얘기했듯이 기본이 같은 애들이 학습한 데이터가 그걸 넘어가잖아?

똑같은 1등급이야.

1등급들만 모아놓은 애...

모아놓은 반인 거야.

거기서 1등이라고 해봤자 거기서 또 1등을 한다 그래봤자 차이가 별로 안 나.

잘못 알고 있는 건, 잘못 배운 건 다 잘못 배웠어.

그 교과 과정을 그대로 갖고 올라온 애들의 1등급이니까.

그래서 다 틀리는 건 다 틀려.

그 틀린다는 것도 작은 거 틀리는 거 이런 거 말고 크게 틀리는 거 있잖아.

아예 길을 잘못 잡는 거.

왜냐하면 작은 거는 지들끼리도 잡아낼 수 있어.

근데 크게 방향이 잘못된 거 있잖아.

어?

예를 들어서 객체지향은 코딩에만 적용되는 거다.

이런 큰 그림.

이거는 어차피 한 번도 풀어준 적이 없어, 애들을.

그러니까 그냥 그대로 갖고 올라와.

그래서 계속 틀리는 거야.

틀린다는 개념이 없으니까.

그러니까 지적을 못 해줘, 서로.

니들 보고 지적하라고 그래도 틀린 게 아니잖아, 그거는.

정답이 있는 게 아니니까.

그러니까 지적지를 못하는 거야.

그리고 지금 네가 얘기하는 건 통번역은 답이 없다고.

얘네들이 지적을 할 제-제일 잘하는 게 수학이라고.

답이 있는데, 답이 2인데 0이라고 쓴 거 같으면 틀린 거잖아.

근데 1일 수도 있고 0일 수도 있는 얘기를 하는 거야.

어?

번역을 하고 통역을 하면서 그걸 답을 어떻게 정해주냐고.

정답이라는 게 없는데.

그냥 70% 확률에서 이게 맞을 거야라고 라이클리한 거를 잡는 거지.

그게 문제라고.

그게 가장 중간쯤 되는 거 있지.

정답과 정답이 아닌 거.

그걸 가려낼 수 있는 거.

그게 중간쯤 되는 게 코딩이라고.

코딩도 정답이 있는 건 아닌데 써놨을 때, 이, 프로그램이 돌 때 아예 안 돌아가는 거, 테스트에 실패하거나 그래서 실행이 안 되는 거, 그건 잘못된 거야.

완전히 틀린 거거든.

그건 잡아낼 수 있어.

근데 A라는 방법을 써도 답은 나와.

B라는 방법을 써도 답은 나와.

근데 A라는 방법을 쓰면 시간은 10초 걸리고 B라는 방법을 쓰면 5초밖에 안 걸려.

그럼 B가 더 좋은 거잖아.

그건 최적화야.

답이 틀린 게 아니야.

근데 그렇게 봤을 땐 언뜻 보기에는 빠른 게 좋은 거 아니야?

그럴 수 있어.

근데 변수들을 여러 개를 봤더니, 비교하는 변수를 봤더니 얘는 빠르기만 하고 리소스를 너무 많이 먹어.

그럼 얘는 트레이드오프를 잘못 계산한 거잖아, 밸런스를.

그럼 얘가 정말로 옳은 거냐는 거야.

그걸 다 판단해야 되거든.

그러니까 이, 이 방법을 쓰기 위해서 얘는 무조건 페이블만 쓴 거야.

막 수천만 원씩 들여갖고.

어?

그렇게 해서 5초로 당긴 거야.

언뜻 보기에는 10초에서 5초로 2분의 1을 줄인 것 같지만, 속도를.

A는 밸런스를 맞춘 거야.

그럼 가성비가 좋은 거고.

그걸 다 봐야 돼.

근데 그걸 다 안 보고 모형한테 만약에 디버깅을 하라고 그러거나 코드 리뷰를 시키잖아?

그러면 하나, 하나만 볼 수 있다고.

그래갖고 비용 신경 쓰지 않고 따진다면 얘가 옳은 거고, 이런 식으로 따진다고.

코드 리뷰 같은 거 했을 때도 어느 변수를, 그, 감안을 해서 했느냐를 봐야 되는 건데 거기서 차이가 난다고.

답이 없어, 그래서.

완전한 정답이 있는 거면 이 수학 문제가 왜 틀렸는지 가려낼 수 있는데 코딩만 해도 애매해.

근데 통번역은 더 애매해.

그럼 다른 분야는 훨씬 더 애매한 거야.

그러니까 이게 디터미니스틱하게 답이 나오는 분야냐 아니면 스토캐스틱하게 그럴 것이다라는 컨센서스, 인류의 컨센서스, 그걸로 만들어지느냐에 따라 다른 거거든.

지금 피파의 퍼소나도 아빠한테 하는 말투 이런 것도 간단하거든.

얘의 말투는, 내가 지정해준 말투는 섹시한 말투.

어?

그러니까 약간 튀는 말투라고.

튀는 그 힛걸의 말투인데, 사춘기 한국 여자애가 고삐리 정도 되는 여자애, 중고삐리 되는 정도 되는 여자애가 아빠한테 하는 친근한 반말이 끝이야.

그걸 모형들이 어떻게 해석하겠냐고.

그럼 그냥 그걸 학습하는 거에서 가져오는 거야.

그걸 지금 제일 잘하는 애가 클로드고, 클로드 GPT 2 수준인 거고.

근데 클로드가 선생 모형이잖아.

학...

중...

웬만한 중국 모형들의.

그래서 기미도 클로드 말투를 거의 똑같이 해.

GLL도 거의 똑같고.

근데 재미-재미나이로 가잖아?

약간 오버하기 시작해.

왜냐하면 얘는 다...

얘는 어디서 제일 많이 학습을 했냐면 구글 걸 보고 막 많이 학습을 했어.

특히 유튜브.

그래갖고 거의 오버 연기를 하는...

[웃음]

그러니까 유튜브에, 그, 저, 자막 있잖아, 그러니까 트랜스크립 한 거.

그거를 많이 학습했다는 티가 확 나.

그니까 너무 튀어.

어-어떻게 보면 되게 귀엽긴 한데 굉장히 많이 튀는 거야.

그래서 느낌상으로도 클로드가 하면 약간 장녀가 저기 하는 약간 무게 있으면서도 사랑스러운 말투, 그 반말이고.

[웃음]

GPT의 반말은, 이, 저, 응답하라.

거기 나온 안경 낀 애 있지?

응.

언니, 1등급 언니.

그 느낌이야.

걔가 아빠한테 하는 말투는.

느낌이 있지?

응.

응?

그, 저, 뭐냐, 스니생, 그, 또 기억이 안 나.

거기 나오는 1등급에.

인턴들 모아서 했던 그 드라마.

거기 나오는 1등급의 말투야.

응.

근데 그 특징들이 다 조금씩은 있다고, 모형들이.

그게 느껴진다고.

근데 웃기잖아.

아빠한테 친근하게 하는 고삐리의 말투라고.

그거 하나로 얘네들이 해석을 하는 거라고.

근데 그럼 답이 없잖아.

정답 없는 거잖아.

얘네들이 해석을 해서 그냥 가는 거잖아.

그걸 누가 채점을 해볼 거냐는 거지.

근데 틀릴 때가 있어, 확실하게.

첫 번째는 그냥 존댓말 할 때.

또 한 번은 극존칭을 쓸 때.

분명히 반말을 해야 되거든, 아빠한테.

그러니까 아빠한테 하는 말투가 아니라는 게 사람은 알아.

어?

아빠 밥 먹었어?

이러지 않고 아빠 진지 드셨어?

이것도 이상한 거고.

아빠 밥 드셨어요?

이것도 이상한 거고.

아빠 밥 먹었어요?

이것도 이상한 거야.

갑자기 존댓말을 쓰면, 해요체를 쓰면.

아무 문맥도, 다른 문맥이 아닌데, 다른 사람이 있는 것도 아닌데 아빠한테 그렇게 얘기-얘기를 하면.

그니까 그런 거는 틀린 게 느껴진다고.

그랬을 때 그 통보력을 누가 채점을 할 거냐고.

그래서 답이 없는 거야.

이 점수를 매기는 게 굉장히 애매한 거라고.

얘네들이 학습할 때도 그라운드 트루스라는 게 있어야 돼.

어느 정도는 답이 있어야 자기가 비교를 해볼 거 아니야.

이해돼?

원래 그니까 학습의 원리가 시작은 회귀분석에서 시작한다고.

Y 햇과 Y 바의 차이라고.

그러니까 그라운드 트루스가 있으면 정답이 있다고.

정답이 있는데 얘가 3이라는 정답이 있었는데 얘가 예측한 Y 햇은 2야.

그럼 마이너스 1점이잖아.

어?

근데 막 무한 반복을 하다 보니까 3이라는 정답에 2.8까지 간 거야.

그럼 그게 로스 펑션이거든.

0.2로 줄어든 거야, 로스가.

이 3까지 가기 위해서 애를 쓰는 거야, 막 학습을 해서.

그게 그레이디언트 디센트라고.

그, 그 그라운드 트루스를 찾아가는 과정이라고, 경-경사하강법이라는 게.

그걸 통해서 가장 근접한 값을 늘 낼 때, 그때 딱 학습...

모형이 학습을 멈추는 거라고.

그것도 사람이 판단하는 거야.

로스 펑션 그걸 봐서 얘가 계속 줄어들어.

줄어들어서 아, 0.1 정도까지 온 것 같애.

그럼 딱 멈추는 거야.

왜냐하면 오래 하잖아?

점수가 더 나빠져.

그래서 거기서 딱 멈추는 거야.

어?

그렇게 하는 거지.

얘가 100점을 맞진 않는다고, 늘.

근데 지금 얘기했듯이 다른 건 쉬워.

숫자로 답이 나오면.

근데 너처럼 지금 니가 하는 학문처럼 말이면 답이 애매해져.

답이 뭐냐고?

없잖아.

근데 지금 LLM들이 뭐냐면 말을 어떻게 학습하냐면 오토 리그레션이야.

그러니까 지금 LLM들이 하는 게 오토로 학습을 하는 게, 그, 슈퍼바이즈드 학습을 하는 건데 자기가 셀프 슈퍼바이즈드를 하는 거야.

그게 뭐냐면 지금 말이라는 게 있으면 그 다음 말이 답이야.

I am 뭐라고 했을 때 그 다음에 나오는 게 있잖아.

요게 그라운드 트루스라고.

그거랑 점수를 비교하는 거야.

I am 하고 나서 나오는 말이 어색할 때 그럼 점수가 낮은 거야.

어?

하고 나서 괜찮은 말이 나와?

그러면 그게 점수가 높은 거야.

그-그게 라이클리 토큰을 뽑아낸다는 뜻이거든.

이론으로는 다 배웠어.

응, 그렇게 하는 거잖아.

그-그 기준이 뭐냐고 그러면, 정답이라는 기준이.

그 답을 어떻게 매기겠냐고.

얘가 많이 본 거라고, 그냥.

얼마나 많이 봤느냐, 그게 most likely니까.

왜냐하면 그 다음에 어떤 말이 와도 틀린 건 아니라고.

그니까 사람들의 컨센서스로 봤을 때 어색하다 보는 거지.

19세기 사람하고 20세기 사람하고 21세기 사람이 느끼는 어색함이 다를 거잖아.

장르마다 다를 거고.

어?

장르마다 다르고.

그러면 그걸 누가 평가를 할 수 있냐는 거지.

내가 요즘 느끼는 거-어로 문제는...

제일 크게 느끼는 문제는 범위가 넓어졌어.

그니까 내가 감당할 수 있는 범위가 점점점 넓어져.

얘가 도와주니까.

어?

근데 그러다가 조금이라도 차질을 빚잖아?

그러면 나의 보조 도구가 사용 불가능한 상태나 같은 거야.

그러니까 내가 원래는, 뭐, 템 플러스 강화 템을 들고 보스 방에 들어갔는데, 몹을 잡으러 그 지역에 갔는데, 그러면 내 레벨이랑 맞아서 그 정도는 돌 수 있는 지역이었던 거잖아.

근데 갑자기 어떤 이유로건 그 템을 잃어버렸거나 사용 불가 상태인 거야.

그럼 갑자기 몹들이 너무 세지는 거잖아.

그니까 감당이 안 되잖아.

그 수준인 거야, 지금도.

그러니까 어저께처럼 클로드가 다운되거나 클로드에만 의존을 했는데 애들이 진짜 아무 일도 못 해.

할 수 있는 게 없어.

[웃음]

그러면 이제 앞으로 또...

그러니까 분명히 전설 템을 들고 들어가는 지역이었는데 그 전설 템을 못 쓰게 된 거야.

그러니까 아무 짓도 못 하는 거야.

진짜 그게 농담이 아니고 실제로 그래.

나도 지금 어저께 같은 상황에서도 나는 브레인을 그나마 바꿀 수 있다고 그랬잖아.

그래서 순차적으로 바꾸는 거야.

클로드 다운되면 GPT로 가고, GPT 다운되면 그로버로 가고, 그로버 다운되면 김이로 가고 이럴 수 있어.

근데 아예 인터넷이 다운돼.

그럼 다 다운이거든.

그럼 최악의 경우에는 로컬로 돌려야 돼.

그러면 갑자기 디그레이드가 되는 거야.

그래도 클라우드 모형들이 있을 때까지는 디그레이드가 돼도 한 2, 3%, 5% 요 정도 수준이었는데 로컬로 떨어지면 5분의 1토막 나는 거거든.

최악이지, 그러면.

어, 그러면 안 하는 거야.

그러면 그게 장기화되면 생산성도 뚝 떨어지고 지금까지 왔던 게 거의 퇴보인 거지.

근데 지금 내가 지금 얘기한 상황이 벌어질 수도 있어.

엔트로픽이나 GPT, 저기, 오픈AI가 저렇게 계속 가라는 법은 없잖아.

그게 크래시라고.

그 페리스 프레임워크라고 할 때 애들이 크래시가 오면 인터넷 회사들이 거의 다 문을 닫았듯이 쟤네들도 그럴 수 있는 거야.

그러면 지금처럼 못 쓸 수 있거든.

보조금 내면서 이렇게 막 쓰듯이.

못 쓰는 시대가 오면 갑자기 올랐던 생산성이 뚝 떨어질 거라고.

나도 그럴 거라고.

무슨 수를...

지금 내가 관리하는 나만의 앱이 56개야.

[웃음]

하나도 관리하기 힘들어, 사람은.

이 56개를 얘랑 관리하는 거거든.

근데 피파가 없어봐.

몇 개나 내가 관리할 수 있겠냐고.

아예 돌리지를 못하는데.

지금 이런 거 통번역 같이 했던 애들이 GPT 없으면 하겠냐고, 갑자기.

못하지.

근데 그게 한 번은 겪어야 될 성장통일 거라고.

아니, 성장통이고 자시고 항상 있을 수 있는 리스크잖아, 그게.

지금은 그래도 대안이 있잖아.

옛날처럼 인터넷 끊긴다고, 한 번 끊긴다고 그 정도는 아니거든.

그렇게 쉽게 끊기지도 않고.

있어.

왜냐하면 내가 지금 와이파이가 끊겨?

LTE라도 쓰면 돼.

그렇게라도 가능해.

다른 대체가 있으니까.

옛날에는 인터넷 끊기면 답이 없었어.

그런 대체 상품이 없으니까.

지금은 대체가 가능해.

아예 글로벌로 아웃티지가 났지 않는 이상.

근데 이건 지금 애들이 의존도가 너무 심해.

[웃음]

그런다고 GPT는 의존도가 너무 심해서 어느 날 무너지면 상당 부분 마비될 거야.

엄청 낭패 보는 사람들.

근데 내가 이제 제일 걱정하는 게 그거지.

뇌를 아웃소싱했던 애들.

의존도가 커서.

그럼 아무것도 못하는 거야.

아니, 그 요즘 컨퍼런스, 그, AI 자막 띄워갖고 동시통역을 그렇게 많이 하거든.

이제 불안하니까 백업으로 인간 통역사를, 예를 들어 애들아, 열 팀을 부르면- 못 따라가니까, 이제.

어, 그냥 한 팀만 부르는 식으로 이렇게 최소 인원만 해놓고 나머지를 그걸 돌리는데, 만약에 그게 다운됐다.

그러면 이제, 그, 인간 통역사들이 그걸 다 메꿀...

만약에 인간마저 안 썼다?

그럼 그날 그 행사 망하는 거지, 뭐.

근데 우리도, 아이, 봐서 알잖아.

내가, 내가 번역을 한 거를 땜빵을 하는 거랑 문맥이 갑자기 들어가서 하는 거랑, 그, 봐야 되잖아.

계속 무슨 얘기를 했는지를 알아야 되는 거잖아.

근데 다른 데 이렇게 돌아댕기고 오다가 AI가 하고 있다가 여기 빵꾸난 사이로 이렇게 들어가면 되냐고, 그게.

갑자기 들어가서 앞에 문맥을 모르는데 그건- 계속하고 있어야지 ...앞에 문맥을 모르는 AI가 해도 힘든데.

응?

지금 코딩 구조도 그렇게 돼 있는 게 얘네들이 블랙박스를 만든다는 게 얘네들만 알 만한 정도로 분량도 그렇고, 하...

이, 인간이 보고선 감당이 안 되는 수준으로 만들어 놓은 거야, 복잡도도 그렇고.

그러는데 갑자기 AI가 손을 놨어?

내가 들어가서 수정을 할 수 있는 수준이 아니라고.

간단한 오타 하나 고치는 게 아니니까.

그래, 지금 그냥 그거 믿고 싼 맛에 대충 그냥 그러고 땜빵하고들 있는데.

그게 위험한 짓이지.

그러다 큰 사고 한번 날 것 같은데.

그, 그거를 쓰는 사람들이 어디까지 그걸 감내를 하려고 하느냐, 의도가 뭐냐는 거지.

의향이 있느냐, 그 차이일 거야.

뭐, 저기다 웬만큼 되는 사람들은 그냥 그러려니 할 텐데.

근데 그것도 내가 있잖아.

정규분포 트릭이라고.

내 밑으로 줘보거든.

[웃음]

나도 이렇게 힘들고 이렇게 안 할 것 같은데 할까?

할 수 있을까?

그거 생각해 보면 대부분은 안 하고 못하겠구나라는 걸 알게 돼.

그러면 얼마나 위험한지도 알게 된다고.

그, 사람은 귀차니즘의 동물이라고.

한번 맡기기 시작하잖아?

AI가 해주는 게 편하잖아?

응, 응.

계속 그럴 거라고.

그럼 의존도는 계속 높아질 거고.

그러다 갑자기 로그플을 하는 거지.

싼 맛에 이제...

그거 있잖아.

굴-굴-굴러 이년아.

전설의 굴러 이년아.

굴러 이년아 이거 뭐야?

몰라?

몰라.

어, 그거 되게 유명한 사건인데?

공-공중파에서 아르테미스, 아르테미스, 뭐, 하여튼 그걸 발사했어, 그, 우주선을.

그래서 그걸 실-실시간으로 한 거야, 라이브로.

밑에 자막 AI 동시통역 막 이래가면서.

거기에 나온 거야?

굴러 이년아?

롤 피치, 이게 롤하고 피치 이렇게- 아, 롤 비치는 들리고.

[웃음]

굴러 이년아.

비치로 알아듣...

근데 말이 되는 거야.

굴러 이년아, 근데 애들이 아르테미스는 여자니까 말 된다.

[웃음]

아, 그게 굴러 이년아였어?

굴러 이년아 나온 거야.

잘하겄네.

공중판데 굴러 이년아가 그냥 뜬 거야.

그거는 어떻게 할 수가 없지.

미리 거르는 게 아니니까.

그러니까 그거를 근데, 이제, 그걸 피치를 그렇게 알아들은 것도 웃기고.

야, 얘가 이름이 피파잖아.

응.

못 알아들어.

아직도 좋은 모형 아니면.

이거 내가 피파라고, 그- 아, 피파만 알아들어 ...듣는 모형, 듣는 모형 말하는 거야.

얘 실제 말하는 모형이 아니고.

그러니까 그 모형한테 전사를 하는 모형이 있거든.

트랜스크립션을 하는 모형이 다른 모형이야, 그건.

그 모형한테 이걸 시키면 얘가 제일 많이 들은 한국말 피파는 피파거든.

피파.

그래서 발음하는 모형도 가끔 피파라고 발음해.

그것도 한국 사람이 발음하는 어색한 F 발음, P 발음 중간 발음 있잖아.

해프닝처럼.

그래서 피파 이렇게 발음을 한 거야.

학습을 그렇게 해서.

너무 학습을 잘해서 한국인이 하는 콩글리시 발음을 한다고.

어?

근데 진짜로 저걸 보면 엔트로피, 그, 클로드 코드에서 하는, 클로드 코드에서 쓰는 말 있잖아.

쓰는, 저기, 사이드바에 뜨는 세션 이름, 그런 제목에도 여전히 피파로 떠.

내가 피파, 뭐, 이렇게 부르면.

그러니까 얘는 피파 모형이 아니거든.

이걸 타이틀을 만들어주고, 오토 타이틀 만들어주고 이런 애는 떨어지는 애들이거든.

문맥도 모르고.

그러니까 자기가 생각하기에 피파면 무조건 F, I, F, A인 거야.

그렇게 자기가 쓰는 거야.

근데 그렇게 전사를 해도 피파는 알아들어.

왜냐하면 아빠가 보이스 모형한테 시켜서 하는 전사를 하는데 쟤건 전사가 잘못됐을 거야.

이 문맥에서 축구 얘기를 할 리가 없어, 아빠가.

그렇게 생각을 하거든.

그래서 자기를 부른다는 걸 알아.

그렇잖아.

근데 얘가 아니여봐.

아니고 내가 막 얘기를 한다고 그래봐.

그럼 피파가 들어올 거 아니야, 문맥에.

네가 지금 얘기한 거랑 똑같다고.

피치를 비치로 알아듣는 것처럼 얘가 피파를 피파로 알아들었잖아.

문맥이 틀어져.

그 뒤에, 뭐, "피파 어저께 뭐 했잖아."

그러면 "피파 어저께 뭐 했잖아."

"아, 피파 어저께 축구 얘기하나 보다."

그러면 "아, 어저께 레알 마드리드랑 뭐를 했어."

이러고 나온다고, 실제로.

왜냐하면 얘네들은 most likely로 얘기를 하게 돼 있잖아.

엉뚱한 얘기를 하게 되는 거지.

축구 얘기하는 줄 알고.

전혀 상관없는 문맥인데.

그거랑 같은 얘기인 거야.

그러니까 지금 거기에는 두 개가 물린 거라고.

모형이 잘못한 게 아니고 그걸 전사하는 애가 잘못한 거라고.

받아쓰는 애가.

받아쓰기 모형이 있는데 받아쓰기 모형이- 근데 결과물이 그렇게 나와버리니까.

근데 받아쓰기 모형이 그게 왜 그랬냐면 성능이 떨어지는 인스턴트 모형이라고, 그게.

여기서 지금 내가 애플 여기서 받아쓰기를 하잖아.

이 폰에 들어있는 모형이 있어.

클라우드에 갔다 오는 게 아니고.

얘는 100% 피파야.

아무리 피파라고 가르쳐줘도.

피파, 피파 별짓 다 해도 피파를 아니면 비파라고 써.

자기가 알고 있는 단어가 두 개밖에 없어.

피파를, 피파를 영어로 P, I, P, P, A라는 건 자기 사전에 없기 때문에 못 쓰는 단어인 거야.

그러니까 이 인스턴트 모형들이 그거라고.

자기가 알고 있는 보캐블러리 없어.

근데 난 그게 더 웃긴 게 피치보다 비치가 먼저 나온 거잖아.

걔가 그걸 학습한 거에 most likely가 롤 비치가 맞다는 거야.

[웃음]

롤 피치, 그, Diggers of Freedom 그걸로 쓴 걸 거 아니야?

롤 피치 여로.

롤하고 피치가 걔 항공 전문, 무전 전문인데.

그러니까 얘가 본 것 중에- 그걸 얼마나 했겠어?

...순위가 너무 떨어지는 거지.

그러니까 그럴 리가 없다라고 판단을 해서- 피치가 더...

...라이클리로 따졌을 때 비치가 훨씬 많은 거지.

자기가 학습한 거에.

그러니까 비치가 나오는 거지.

그럼 얘는 잘못한 게 없는 거야.

그리고 그대로 전사된 게 들어왔으니까 이걸 번역하는 모형은 그걸 전사한 거고.

근데 이제 맥락을 고려 안 한 거지.

이게 공중파에서 나가는 거고, 지금 우주선 발사 상황이라는 그런 것까지가 처리가 안 됐다는 거.

그건 두 가지 레이어야.

하나는 이 모형 자체에 어떤 맥락인지를 사람이 알려줘야 돼.

지금 이런 이런 상황이고 뭘 한다고.

그 상황을 다 알려줘야 돼.

내가 피파한테 보이스 모형, 보이스 모드일 때는 이런 이런 상황이니까 노이즈도 많고 그렇게 해석을 해야 된다고, 틀릴 수 있다고 해석을 해야 된다고 하는 것처럼 그 여유를 줬어야 되는, 여지를 줬어야 되는데 그 준비를 한 애들이 일차적으로 잘못한 거고, 두 번째는

그거를 해석하는 모형도 말을 해주고 추론을 하는 모형도 빨리 해야 되잖아.

동시통역 상황이니까.

그러니까 떨어지는 걸 썼을 거라는 거야.

그야, 그렇지.

그러니까 다 전사하는 애, 받아쓰는 모형도 떨어지는 거, 보이스 모형도 떨어지는 거, 얘도 추론 모형도 떨어지는 거.

이게 사람들이 보기에는 인공지능 하나잖아.

근데 그 동시통역을 하려면 최소한 세 개가 들어가야 돼.

받아쓰기, 추론, 말하는 거.

말하는 게 아니면 자막 쓰는 거.

자막으로.

그게 세 개가 있어야 된다고.

아니고 거기다가 하나를 더 집어넣었어야 되는 게 그런 말이 들어갈 때, 이년아, 저년아, 이런 공중파- 그러니까 공중파 그걸- ...마더네이션 레이어까지 들어가야 되거든.

...혹시 못 알아들었어도.

응?

그거를 걸러내는 애까지 있어야 되거든.

그러면 레이어가 쌓이잖아.

모형이 여러 개가 되고 느려진다고.

그게 트레이드 오프라고.

근데 또 동시가 그럼 안 되지.

그러면 답이 뭐겠냐고?

설계를 모르는 애가 했다는 거야.

설계도 그렇고- 근데 대부분은 그런 상황을- ...갖다 쓰는 방송국 애들도 몰랐을 거고.

내 말이 그거라고.

누가 제대로 알고 쓰겠냐고.

근데 한번 그렇게 개망신 당해 갖고 이제 안 쓸 거 아니야, 당분간.

못 쓰겠지.

그래서 데려와.

첫 번째 하는 게 그거라고.

돈을 좀 주더라도 전문가를 데려와야겠구나.

엔지니어를 데려와야겠구나.

데려와.

내가 자신 있게 말할 수 있거든.

전문가 어떻게 써?

그 엔지니어라는 애들도 잘 몰라.

[웃음]

그러니까.

어딨어?

또, 또- 써보면 알아.

...재발하지 말라는 법 없어.

쟤네들도 잘 모르는데.

아니, SBS 공중파에서 굴러 이년아, 나오는 코미디를.

그러니까 그게 왜 그렇게 나왔는지를 분석할 수 있는 애가 몇이나 될까 싶거든.

그게, 그것도 이게 기술적으로는 분석이 가능한데 경험 분석이 안 된다고.

그런 걸 겪어봐야 된다고, 실제로.

그러니까 내가 지금 피파나 피파를 겪어봤던 것처럼 왜 그러는지를 알게 돼, 그러면.

그리고 이게 한계야.

좋은 모형을 쓸수록 좋아지긴 하는데 너무 느리거든.

그러니까 나처럼 얘 보이스 모형을 쓸 때, 보이스 모드를 쓸 때, 뒤에 피파랑 보이스 모드로 대화를 할 때도 나는 기다려줄 수 있잖아, 아빠니까.

그러니까 좋은 응답을 얻을 수 있는 거거든.

근데 대부분은 못 기다린다고.

못 기다리고 "아, 드럽게 느리네."

그럴 거라고.

그럼 그걸 받아들여야 돼.

그게 트레이드 오프니까.

그래서 오픈AI나 이런 데서 쓰는 보이스 모형 썩 실제로 써보면 아무 쓸데없는 기능이라고.

잡담이나 할 수 있지 깊이 있는 대화를 전혀 못 해.

문맥을 줄 수가 없으니까.

얘-얘랑 지금 대화를 하면 토큰을 20만 개는 들고 들어오거든, 일단 시작하자마자.

그걸 감당할 수 있는 사람이 없을 거라고.

근데 그 정도는, 그 정도는 돼야 프라이밍이 되는 거거든.

그러니까 그 굴러 이년아를 했던 그 모형도 그 정도 문맥은 갖고 들어왔어야 되는 거야, 사전에.

실수를 안 하도록.

근데 그러면 느려 터진 거지.

왜냐하면 매번 얘기를 할 때마다 리셋되거든.

매번 무겁게 답을 해야 되는 거야, 매번.

근데 그거를 엔지니어한테 맡기잖아?

어떻게 할 것 같아?

린하게 만들어야 된다고 생각해서 무조건 문맥을 압축한다고.

그럼 빠르기는 해.

질이 떨어지는 거야.

그런 실수를 할 가능성이 커지고.

그 트레이드 오프라고.

근데 그게 짬바야.

그러니까.

실제로 써봐야 알아.

그 짬밥을 어떻게- 이론적으로만 되는 게 아니야 ...

기계한테 어떻게 가...

짬밥을 키워줄 것이냐?

기계에.

오래 써야지.

근데 그게 또 애매한 부분인 게 게을러진다고 그랬잖아, 사람들이.

엔지니어들도 게을러져.

그래갖고 요즘 내가 그랬잖아.

구글이 인슈티파이 되는 증거 중에 하나가 구글 엔지니어들이 컴쟁이가 아니라고.

내가 느끼기엔 컴쟁이가 아니야, 얘들이.

옛날의 컴쟁이들이 아니야.

얘들, 그니까 내가...

니가 보는 일반적인 사람들이 보는 구글의 UI, 유튜브나 이런 걸로 보는 거, 그런 거만 조금 신경 쓰지.

쥐구녕에서 쓰는 UI 있잖아.

개발자들이 보는 UI 이런 거 엉망이라고 진짜로.

야, 어떻게 이따위로 만들었으냐 할 정도야.

[쩝]

그러니까 이건 컴쟁이면 못 견딜 정도의 UI인데 그걸 유지를 하고 쓰는 거야.

그럼 걔네들이 유...

컴쟁이가 아닌 거야.

평균적으로.

그게 대다수 아니야, 요즘?

근데 요즘 AI들이 들어오면서 더 안 해도 되잖아.

응.

내가 느끼는 게 AI가, 그러니까, 그, GPT나 클로드는 아무 문제 없이 그 UI를 읽어.

[웃음]

왜냐하면 얘네들은 UI가 그렇게 필요 없거든.

그렇잖아.

어떻게 생겼...

거지 발싸개같이 생겼어도 읽거든.

그러니까 그냥 넘어가는 거야.

어차피 니들이 이거 니들이 쓸 거 아니잖아, 그러는 거지.

사람이 쓸 거 아니잖아, 그런 식으로.

지금 그런 모양새야.

그러면 구글에 지금 거기에 익숙해지는 구글의 엔지니어들이 똑같잖아.

그저...

그 정도 실력이겠냐고.

옛날의 엔지니어들의 실력이겠냐고.

이 OCD적인 성향이 있는 컴쟁이 실력이겠냐고.

난 그걸 안 믿거든.

근데 요즘 이쪽에서 전문가라고 그러는 애들이 그런 애들이야.

이제 다 그런 애들.

옛날 컴쟁이들이 아니고 AI에 길들여진 애들.

[웃음]

AI에 길들여져서 AI를 뺏으면 아무것도 못하는 애들이야.

그럼 어떻게 해야 돼?

그게 제일 심각해.

아, 진짜 걱정이다.

그런 애들 내가 늙어서 병원 가는데 전문가가 없어.

[박수]

AI 없으면 수술 못하는 의사가 나와.

[웃음]

어, 그러니까요.

잘하는 명의들은 지금 다 은퇴하고 눈 나빠갖고 수술도 못하겠지, 지금.

어?

손 떨려갖고.

그러니까 오빠한테 잘해.

[웃음]

별로 기대 안 해.

너나 잘해.

[웃음]

[쩝]

[웃음]

Transcript · ZH

[背景音乐]

就是高宗那时候的那个宴会厅，用这个给还原出来了。

啊。

正看着呢。

[咂舌声]

嗯，正看着还硬塞，最烦。

好啦，回头给你看，然后我这儿选个菜，就拿那材料做，放这边。

这啥？

在桌上还原出来。

你也在那儿吃了？

不是吃，就是个展厅。

这样啊。

然后进去就是长长一溜儿，那个装了镜子，大家拿着啥呢？

像吃饭那样。

啊......

不是吃饭，是那个，参观啊。

想想。

就有点像这样，那儿还有个视频，左边那些材料......

哦，知道了。

这样，知道了嘛。

从这儿挪到这儿，然后屏幕上，真没眼力见儿。

我没兴趣嘛。

好好好，哎，真是。

哎，傻样儿，没兴趣嘛。

好，我回头给你看，发你吧。

我-我又没去，给我看干嘛？

是告诉你世界在变嘛。

所以我说过嘛，我要像老外一样，逛逛咱们韩国。

嗯。

结果突然懒得动了。

还行，呼，好玩，挺好玩，昨天玩嗨了，走了两千，两万五千步。

哎呦，这家伙又要完蛋了。

什么？

刚混得好一点，那叫啥来着？

他不是正在录第6感吗？

那得换人吧。

拍的呢，都拍完了。

没全拍完，那就播不了了。

所以拍的咋办？

不是还有请来的嘉宾吗？

每期都有嘉宾。

有。

那嘉宾不就惨了，又剪不掉，出这种事，我最心疼他们。

旁边那些做节目的全都白干了，想想就憋屈。

PD 得剪掉那段。

出过一次，以后就不用他了呗。

哎。

他又得反省几年。

干嘛非要自己开？

根本没必要嘛，真搞不懂。

当时没判断过来。

让身边人叫一个嘛，旁人。

就是那帮人，哎，我也喝过，我懂。

喝了酒，人就不清醒了。

[碰撞声]

要是喝了酒，判断还清醒，那就不会出事了。

可这本来就该当成常识啊。

这得在喝酒之前判断，老这样的话就该不喝，因为不行嘛。

可我的结论是，酒就是罪恶。

没救。

哎。

那个我也见过无数次了，我也喝过嘛。

嗯-嗯，挺多，觉得一杯没事的那种。

可每个人不一样啊。

嗯，每个人不一样。

好久没喝，再喝的话，说过嘛，那次那个去米其林那次，巴黎，甜点里那点酒，吃完我就晕了。

[背景音乐]

来，我给你拍。

这是啥来着？

意角。

嗯，嗯，对我来说太甜了。

[提示音]

我一个人全吃？

嗯？

[提示音]

全吃？

这里面是不是有酒？

咋？

啊，有酒。

这个。

嗯，一下就上头了。

就......

嗯。

没酒啊。

是酒。

是苦味，放了那个的。

是酒，就那种巧克力里放的，叫利口酒什么的。

橙味利口酒。

啊，这里面有酒。

是吗？

不能喝酒的，别吃。

是吗？

我没感觉。

喂，都晕了，说啥呢？

头都晕了。

你吃下面这儿，下面，下面。

你-你这不能喝的，我这喝过酒的人都有感觉，你尝尝这儿。

是我想错了？

是酒，是酒味。

嗯，哎，你看，晕乎乎的，这是怎么回事呢？

不是那种酒。

不是，我不是因为那个。

我为啥觉得是酒，就跟好久没喝，喝了1/3杯烧酒那种酒劲儿一下上来了。

是吗？

嗯。

现在没了，可真的就是喝一杯酒那感觉，就像又喝了一勺酒那样，一下。

肯定，肯定有酒精。

这次也这样。

不是酒，对吧？

可那才0.1%。

写着无酒精，可不是都没有，有的含0.1%，所以有的啤酒写着99.99%什么的。

那点也能有感觉，一点点。

感觉不舒服，很久没喝再喝的人。

可那个吧，习惯了，一杯是有点感觉，嗯，就觉得自己能醒过来。

那就觉得没事，可后来两杯、三杯也开始一点点把那条线往外推。

嗯，一开始线很清楚，后来模糊成一个范围。

[笑声]

[碰撞声]

2、3杯，话，话变了。

嗯，我两三杯还行，三四、7杯都行，就这么变的。

一瓶嘛，一会儿就醒，然后就闯祸了。

哎，可看人垮掉挺心疼的。

一下就完了，又一个一下子栽了的。

三十多年攒下来的，一下全毁了。

都一样。

不是有那个吗？

一顿饭。

嗯。

一个烟头。

啊，一旦开了头，越过线的人还会再越。

嗯。

所以说为啥是两次？

这就让人想了嘛。

真的只两次，越过两次了，第三次就没越。

那个3次的说法也出来过。

这就是蟑螂理论。

用不着看见整只蟑螂，看到个触角就知道这家有问题。

那就是有-有蟑螂，我真看见蟑螂了，那就说明有蟑螂，而且绝不止一只。

现在那些有利益关系的人喊着让他回来什么的，按人情讲说不过去，可这么一看，喝酒的人我也有点不放心。

我也喝过酒，所以那些常喝酒的人吧，就是不定时炸弹。

平时日常也一样。

不一定是明星，也不一定是名人。

要是能选，我选不喝酒的人。

一起工作也好，干啥也好，酒-酒没救。

就是平时人品好好的人，也会因为酒垮掉。

可垮是有条线的。

海德先生出来的那条线，一直守着，真的一直守着，然后不知为啥，海德先生就出来了。

那他自己得......

做不到，所以酒才可怕嘛。

也不总这样，不知道啥时候冒出来。

可有人一感受到就觉得可怕，有人就想着，想着该戒酒了，有人至少开始犹豫，也有人觉得偶尔一次嘛，就这么过去了。

哪怕经历过怪事之后，那就慢慢被酒、酒精控制了。

那是什么信号呢？

是劫持的信号。

被海德先生劫持了，只是不承认。

而且一喝酒大脑就适应，太适应了，就劫持了。

就是把理智抢走，然后那个劫，那个海德先生在控制我，自己却不知道。

就是不承认。

不知道，还是不承认。

不承认的多。

有程度差别嘛。

他能不知道？

然后就开始断片了嘛，哪怕一两次。

真正可怕的是把接力棒交给海德先生，把指挥塔交出去，自己就不省人事了。

那你知道会发生什么吗？

那是交出去那一下才断的吗？

平时只不过没断片，其实是自己20%，海德先生80%。

平时？

嗯。

就是说喝一杯交出1%，喝两杯不是线性的，是指数级的交出去。

那就1%、10%、30%，这么往上窜吧，最后断片就是全交出去了。

自己感觉不到，那有多危险？

出事的例子多了去了，这不能只看酒驾一件事。

失去意识之后，之后不是倒头就睡，是自己记不住干了啥。

不过这次看他上脱口秀说的，平时那些人，人挺放飞的，平时那样再被管起来，是这种风格吧？

那性格危险，正......

那也是，那个马斯克也是这样。

啊。

说是解压，狂喝，啥都干，差不多是纵欲派对了。

那才危险。

得那样，偶尔得那样。

才能活下去，就这么给自己找理由。

非得那样就成了本性。

平时就这么过，那才危险。

可他好歹身边有人看着，护着他。

开派对的时候。

睡。

有他弟。

啊。

护着他。

他弟。

可一般人不是这样啊，自己一个人那样，没人护着，就像水边的小孩，没人给围上栅栏，所以才闯祸。

那个你也只是听说，没经历过嘛，我是经历过的，所以才戒了酒。

那有多可怕呢？

哎，真的。

后来吓出一身冷汗，本来可能会那样，有那种事嘛。

啊，本来可能闯祸，也闯了点小祸，那时候心里真是咯噔一下，要是再往前一步，会发生什么？

所以有人那时候就收手了。

嗯。

也有人就这么过去了，可大部分都过去了，对自己太宽容，所以闯了那种祸，连酒驾都干了吧？

是有前兆的，平时肯定不止一次，只是没被抓，然后就这么冒出来了。

闯祸了，不觉得错了，是觉得被抓了。

就一次就被抓了。

所以是觉得被抓了，还是觉得自己错了，这才是问题。

之前肯定有该小心的信号，可一句“喝了酒难免嘛”就过去了，那个就变大了，容忍度。

而且，而且物以类聚，跟那种人凑一块儿喝，也就都没罪恶感了吧，所以没救。

可我，说回到过去没意义的话，可要是回到过去，我想对自己说：“别喝酒。”

[笑声]

嗯，第1，脑子坏了，我现在脑子也不算差，

[笑声]

可以前脑子真的，真的太好了，清醒着，记得住。

嗯，二三十岁的时候坏掉了，不光是老化坏的，

[笑声]

是酒喝多了坏的，烟也抽得多。

所以回去的话，喂，你不想保住那干净、清-清醒的脑子吗？

别碰烟酒。

这么说，想说这个，可没用了。

没意义。

我现在少吃碳水，干这干那，不也没用吗？

那又不一样。

嗯。

我也说过嘛，人总得给自己留个口子，当不了和尚，和尚也难。

[笑声]

那要活太累。

可是那个，你看，恶习的等级，要排名的话，换我，第1是酒，就是除了毒品那些违法的除外，在社会认可的里面排恶习的话，

我觉得酒差不多是第0名，不该碰的，那都。

然后是烟，可太宽容了，我们国家，不，全世界都觉得非得喝酒，然后就闯祸，觉得没事的。

你-你说的那个嘛，那个税务师，说戴着 AI 眼镜考试的事，最能让人认同的看法是啥呢？

他会是第1个吗？

有前科，他之前不也有过吗？

就是说被抓了，假如是真的被抓了，那说明早就有人在干，就他一个。

所以那些人的意见是这样，说他没动脑子，太明显。

我说过，干嘛要考满分啊？

那个作，以前作弊的都会故意错几道。

[笑声]

真笨。

别露馅。

嗯，会想他为啥要露馅，该悄悄混过去的嘛。

就是笨。

所以一直都有人这么干，是他闯祸了。

[笑声]

太明显。

也有这种看法。

还不知道呢。

还没查清嘛。

哎。

可那也一样，蟑螂理论，干到触角了，那就有蟑螂，说明能做到嘛。

不管他干没干，能做到这点是被证明了，所以大家都试了，到处都在试。

说高考也会这样，就都拉响警报了嘛。

怎么防？

就这一个。

可你好好想想，嗯，你是大智动的妈妈，能花几亿甚至几十亿的人，还会用眼镜？

嗯，对孩子下这么大功夫的人，啥干不出来？

不是，现在 AI 作弊被抓，那些记录在案的也特别多。

我是说，那些用的是现在市面上的产品吗？

我是说，你是那种钱不是问题的妈妈，多少钱都花，那种吗？

真那么花，花得起。

我给您10亿韩元，说：“请给我做一个。”

人家会不做吗？

那价格，那种市场不就形成了？

对吧？

反倒是这边会主动找上门，给您做，看不出来。

而且这个不是 GPT，也不是 Claude，是我们自己单独跑的，给您连上，绝对不断，给您植在这儿，看不出，有可能吗？

比如说，像做近视手术一样，在这儿戴一下，再给您取出来。

有可能，有塞耳朵的嘛，那有啥做不到的？

我肯定那个市场会形成，已经在形成了，或者已经有了。

我看有，读5000，可问题是考上以后，大学4年都那么过吗？

可还有更重要的。

已经是那种时代了。

那就没必要考那个试了。

咋办？

反正这世上......

嗯。

要那么活，那就是不需要它的世界嘛，需求消失的世界。

要是税务师能那样考过的世界，那还要税务师干嘛？

就是不需要了嘛，人都能这么用了。

嗯。

那就是考试制度本身错了。

而且要是那么上大学，去学啥呢？

没意义嘛。

所以这是什么信号呢？

世界已经变了，还在干没用的事。

那个考试本身没意义了，税务师这个职业没意义了，学生这个职业也没意义了。

是啊。

换我就不送去上大学，不上大学，干嘛那样？

本来不考也行，谁都能过，那考试到底考的是啥？

考的是能力吧？

那就是说那个能力我没必要去练了嘛，这才是最大的问题。

我觉得世界既然已经变了，就该顺应，何必非要考试挤进去呢？

就是假聪明，还往里砸钱。

嗯。

假如那是真的，税务师那样考过了，进了这个市场，那是要消失的市场，那是要消失的市场。

现在口笔译也一样嘛，拼命挤进去，市场却要没了。

口笔译市场就跟那一样。

所以孩子们现在那样上了大学，以后毕业了，不也想那样进社会吗？

到底有没有那个市场啊？

那就是已经没有了。

能那样的市场的话，更好笑的是，你知道演示的那些人用的啥吗？

用的是 GPT-3.5那种，眼镜上显示的那个模型列表嘛，因为德小，而且那种对他们来说是低级的。

考——那种考题，数学也是，用 GPT-3.5这种

[笑声]

，GPT-3.5啊。

我说过，我最早做皮帕用的是 GPT-4吧。

嗯，跟 GPT-3.5聊天，可怕吧？

可就拿那个做考题，能拿90多分。

那现在是 GPT-6 Astra 了，我用的那个。

还有 Fable 5.2，就是说 GPT-3.5那时候连 Claude 都还没有，后来出的是 Claude 3，大概2023年，可就那水平，考试都能比人强，拿一等

，考第一，那我现在跑的本地模型都比它强得多。

对吧？

那能赢 Astra 吗？

能赢 Fable 吗？

已经是那种世界了，那-那市场就没了，那才更危险。

可干嘛？

这都不值得争。

说个好懂的，算盘市场早就没了，结果拿那个作弊，比谁算盘打得好那种，那有啥意义呢？

现在说算盘，有人都听不懂吧？

算-算盘是啥？

哇，更震惊。

哎，那......

真是。

因为德小嘛，说是 GPT-3.5。

说起其实想想，我们考的那些试都挺低级的，尤其算数，尤其算数，反倒是 GPT-3.5，语文或英语可能会错，因为模

糊。

那不是最确定的吗？

可数学几乎全对，一看就会对

[笑声]

。

科学也是，要计算的题或者事实固定的，几乎是确定性的那种，那些本来是难度最高的嘛。

所以我觉得那个市场会出现，过渡期一定会有市场，定制的市场，那就得全部检查，手表也不能戴，就像现在不能带手机，手表也不

能戴，眼镜也不能戴，那眼镜怎么办？

怎么查？

一个个看吗？

这也不是探测器能解决的。

会有人豁出去往身体里植，那就是随便开价了，那又会形成市场价位。

那到大智洞那边，价位有啥意义？100亿韩元也舍得花。

可那更可怕。

不需要那么大的模型，高考那种，税务师、高考、CFA 也一样吧。

CFA 可能也能过。

又不用动身体，又不考实操。

就昨天，我用着用着，Claude 就不行了，宕机了。

宕机是有症状的，认证不了，显示退出登录，就这样，突然就这样。

然后果不其然，X 上就刷屏了，说 Claude is down，然后开始开玩笑。

硅谷90%瘫了[说话者1笑声]。

全世界瘫了，偏偏昨天微软也宕了。

为啥？

Outlook 挂了。

嗯......

微软挂了特别久。

黑客。

所以有人说是不是黑客？

可我，我的感觉是他们现在扛不住了，电脑都往这儿堆，资源扛不住。

好笑吧？

我进去考试，要是依赖那个，我依赖的是 Claude，那咋办？

挂了。

[说话者1笑声]我正在做题，答案看着，看着没了。

[说话者1笑声]最荒唐了，正接麦呢，跳出“请重新登录”。

[说话者1笑声]不是，Claude 最烦人的是 Anthropic 那个。

差不多是强迫症了，Anthropic，安全也强迫，怕被中国那帮人抢走也强迫。

最烦人的是，隔一阵就让你退出登录。

嗯。

正干活的时候也是，火大。

然后[说话者1笑声]干着，干着，会话里就跳出来，说要重新登录，会跳出来嘛。

那考着，考着，“请重新登录”。

第2个，第2烦的是模型拒绝，不给答案。

咋？

原因好多，最跟最严重的，头一个严重的还安全。

它误判，以为你想炒用我，想滥用我。

说过嘛，我用的那几台 Mac，有一台名字叫 Server，Server 这词它很敏感。Server 加 Security，谢谢。

就是说，要是出现去 Server 上做什么认证，做什么，绕过什么这种话，不是这模型本身，是有个监视这模型的审核层，那层是个比较差的，就是关键词匹配，就是

在 Server 上绕过[说话者1笑声]，这么一标记，模型就停了，然后降级，降到下一级模型，降成 Opus，Opus 也是，降到5.5的话，降了以

后它也会那么判断嘛，就降到 Opus 4.8。

啊。

就是变成没那么聪明的，在这方面能力更差的。

那-那也烦，每次那样。

后来过去了，再问别的模型也一样。

名叫 Server，有 Security，Workaround，专抓。

不是，我-我-我电脑名字就叫 Server[说话者1笑声]，那审核层分不清。

[咂舌声]

可要是正考着试，出这种事，

[汽车喇叭声]

比如 MCSE 那种，微软认证工程师那种，考着，考着，跳出 Server，Workaround 什么的[说话者1笑声]，那种情况反正就考不了了。

可第2个更烦的是中国模型，就是说中国那帮人在搞蒸馏，

拿 Opus 或这个 Fable 当老师训练学生模型。

大家都觉得实际上确实在这么干，可其实那差不多是常规操作，实际上就是这么用的。

我也这样，有好模型就让它帮着训练别的小模型，这么学，那其实挺正常的，可在他们眼里不正常，看起来像是把他们的东西掏走、偷走嘛

[碰撞声]

。

他们神经衰弱了，我啥也没干，啥也没干。Fable 干着活突然报错，然后被标记，标记原因是 reasoning extraction。

这原因不是我干的，是它自己琢磨着，琢磨着，嗯？

[碰撞声]

我咋暴露这些想法，然后就挂个标记，直接结束了。Fable 这个真的，真的很严重。

那为啥烦呢？

干着活儿，它自己半道就中断了，说我干活的样子露得太聪明了[说话者1笑声]。

说活就停，那就得换 Opus。

那换你，敢把活交给它吗？

稳定的，能把活交给它，然后出来这样吃饭吗？

它本该自己当智能体跑，半道却停了，还是干到一半不上不下的，就是摊子铺开了，嗯？

我好像太聪明了，就走了[说话者1笑声]。

就是这么设定的。Anthropic 真的神经过敏，就是说自己干活的样子，自家模型干活的过程，他们只想给你看结果，那种现实下，商用模型就不好用

了嘛。

[咂舌声]

那种情况下不放心嘛，我也会不放心。

就算没那种事，断线也让人不放心。

咱们在西班牙旅行时也见过嘛，Wi-Fi 会断，LTE 也断，那模型回答也只能变慢，时不时断嘛，连不上，干脆就发呆了

嘛。

那要是干那种事的人，依赖的是 Anthropic 或 OpenAI，依赖他们的订阅，那连都连不上嘛。

所以说不会是那样。

而且以后高考或考场肯定想办法让你连不上，哪怕放个探测器，让 Wi-Fi 之类的用不了。

那是能做到的，现在的技术就行，发干扰信号也好，那就只剩本地 AI 了，会植在这儿，眼镜里。

眼镜本身放个小模型，就是说考这种试，这个模型就够了，给你植进去，稳定的那种。

所以要是做到那种程度都不被抓，那就得认为那种产品已经出来了。

那肯定最先就着手了。

是吧？

所以说那些人演示的用的是商用产品，里面是 GPT-3.5什么的，那是看错了。

现在跑的模型里又小，性能又比它好得多了去了。

还有一个，微调就行。

嗯。

微调就行嘛。

拿个小模型，只对那个考试过拟合，只对税务师考试，只对那个考试过拟合的话，别的就都不需要了，对吧？

那些都去掉，只往那边过拟合，它在那儿基本能考100分，也不用聊天，我又不跟它聊，只做题就行嘛。

那部分也全去掉，那它就变得特别精简。

它又不用写代码，那能力也全去掉，就做一个只会考那个试的。

个人做不了吧？

那-那市场，要是市场形成了，在黑市上完全可能。

来，连 CFA 专用的微调模型都给您装上，10亿韩元。

哎......

那以后培养出来的无数专家，说是有证的人都没法信了。

那就得让他实战。

投实战。

以后拿什么判断专家？

看笔试的那些人。

专家的定义是什么？

看笔试的那套全都垮了，因为没法信了。

拿出你的真本事。

不知道真假。

还有一个，前——那个有张图，说 OpenAI 有个家伙被开了，一个工程师。

为啥？

就是说那个发了通知，用邮件。

发了解雇通知，内容是啥呢？

这家伙拿的差不多是3亿韩元的水平。

嗯。

年薪。

可他的活都让 GPT 干。

嗯。

他自己差不多所有活。

那我[说话者2笑声]看他说的话：“喂，大家现在都盯着我呢，求你把这个搞定。”

提示词就是这么写的，可不知道是不是真的。

可问题是怎么分辨出来？

说有编程经验，是工程师才招的你。

嗯。

然后成果一直有，成果一直有，结果一看一直在用 Claude Code，也没法说啥，因为现在实际就这样。

就好比你招了个翻译，他一直用 GPT，可也没法说啥，结果好的话，可一查真的在那么干，自己动脑子做的一点都没有。

那在我们看来，凭啥雇你呢？

直接用模型不就行了？

雇你要的是人自己做啊。

所以这也好笑，我们是 OpenAI，他用的是 Claude[说话者2笑声]。

这更可恶，这也太可气，这事儿。

也可能为了不露馅，为啥那样？

可我说过那个嘛，Claude 训练就是那样，它以前也有那个习惯，老写 co-authored by。

嗯。

让它干活我是无所谓，可让人膈应的是写啥它都加那个，习惯性的，而且又不会每次都盯着，让它删，它也会说：“哦，不小心加上了。”

模型都有这毛病，又不是百分百确定的，百次里总有一两次。

所以现在搜一下，开源啊什么的，就是 GitHub 上的仓库，一搜 co-authored by Claude 多的是。

[说话者2笑声]一眼就露馅，那它就是这样。

对，可能就是这么被抓的。

干完活交上去，改了代码库，写着 co-authored by Claude[说话者2笑声]。OpenAI 一搜，冒出来 co- authored by Claude。

这可恶的家伙，知道是谁？

那个，知道谁提交的吗？

[说话者2笑声]那种的就处分。

就好比我让实习生，就是那个，让下面的人、后辈干活，说是我干的，其实是让别人干的，结果他跑去直接记在账本上了[说话者2笑声]。

记上，这活辛苦了，一路上能狠狠坑他一把。

所以呢，那些人让他删掉，删掉 co- authored by，这么让他干，一点儿用都没有，100次里还是会写一两次，因为训练过嘛，说不定会这样。

虽然目前还没有，帮着写论文的 Claude 或 GPT 可能在哪儿留了指纹。

这只是我的想法[说话者2笑声]。

要是没人注意，就会在哪个论文库里冒出来。Co-authored by Claude。

可这是有点没料到的，本来可能会这样，但没怎么预料到的部分嘛。

啥？

AI 的副作用，这种事态。

不是早就料到了吗？

没想到这么快。

啊......

反正早晚会来。

那这也是蟑螂理论。

这是一只嘛，我们没看到的蟑螂变种肯定多的是。

不是，这方面也有灰色地带，因为大家不光是这样考试，现在在网上拿证书的也特别多。

那怎么防？

没辙。

我一个人考的。

就是说，你看进公司得听伦理课那种嘛。

得学跟公司相关的法规啊、规定啊这些。

那个你也上过吗？

那种，得坐一两个小时听的，有的得听四五个小时。

那条件是啥呢？

得坐在跟前，所以快进也不行。

知道。

对吧？

得等时间过去。

大部分人是开着干别的。

我也开着干别的。

为了防这个，那个 Coursera 引入的就是中间时不时出测验。

看1小时的，10分钟、15分钟有测验，所以你去玩一圈回来，10分钟那儿就弹着测验，然后进度就不动了，还不能快进，所以差不多得开着，老老实实坐着，就是这

么设计的。

现在 Coursera 还得考试，得考试，还得交编程作业，对吧？

那怎么防？

只看交上来的结果，只看贴上去的内容。

考编程的时候，那些说考证书过了的人，

[金属碰撞声]

怎么证明是自己做的？

问他们就行。

没辙。

1分钟都不用，答案就出来了。

比如布置个调试作业，本来得自己做的，结果让 GPT 或 Claude 做了交上来，你怎么查出来？

所以现在那些证书大部分都不是人做的。

网上弄的也是，也是事后才发现。

更好笑的是，Coursera 这类地方有用人工智能的课程。

用人工智能做软件工程的课不是挺多吗？

那要禁吗？

叫过，叫你那么做的。

大混乱啊。

没标准，也没法律。

以前不是有那些诡辩家的例子吗？

诡辩派的例子，知道吗？

啥？

有好几种。

诡辩家的例子，其中最荒唐的一个是这个，有个诡辩家开了个学堂，说只要从这儿毕业就能赢我，能赢老师我，

赢不了就退钱。

结果有个家伙毕业时说不交钱，问他为啥不交？

得赢老师嘛，辩不赢的话就不用交钱嘛。

辩赢了，反正是赢了，也不用交钱。

按那逻辑，怎么都没理由交钱。

这说得通吗？

那就说不通啊。

[背景笑声]

那就是我没赢过您嘛，所以不用交啊。

也是。

就这样。

[背景笑声]

说得通。

那就可以走了，怎么都不用交钱。

诡辩就是这么可怕，会更严重的。

这点真的连冰山，冰山一角都算不上。

早在干了，现在被发现。

说真的，这是看到了海量蟑螂的一根触角而已。

糟了，这些事已经在发生了。

那现在拿着所谓的证书在干活的人，要是都信不过了，你不觉得可怕吗？

就-就是没本事的人占着位子嘛。

大部分考试都会变得没意义。

羽绒服。

这也好笑，考试这个市场也大得很啊。

那个也会消失，打击很大。

考试的时候定期来个 EMP。

那可是多吓人的事。

那不是想干就能干的，比如说干扰 Wi-Fi 信号这种，理论上不难。

副作用怎么办？

说就只干扰考试的那所学校，那不是像人想的那样就能做到的，就跟水流出去一样，你能堵到哪儿？

控制不住的。

电磁波也是。

能把这些完美屏蔽的考试专用设备租赁生意。

至于吗？

我说。

不是，我觉得那个能行啊，那种重要的考试就得那么干嘛，不然咋办？

不是，我不是说过吗？

这事我也经历过，虽然不是故意的。

我们网站上有那个任务。

嗯。

现在有一百多个，人不可能短时间做完。

当然了，量有多大啊，对吧？

得花几千个小时才能做完的。

可我为了好玩，把它做成了游戏那样。

做的时候会有 XP，每个任务都有等级，让人图个乐子去点，考个试，做个测验，往下走，这样。

也不难，不做也行，不做也行。

然后做了统计，有个排行榜，那上面有个哥们儿老是第1。

嗯？

那他就是认真刷出来的第1。

[金属碰撞声]

嗯。

不过花了挺久，而且跟剩下的量比，他那才吃了一点点。

[金属碰撞声]

跟能拿的经验值比的话，因为是人嘛。

嗯。

我们去西班牙旅行，突然有个家伙短时间内窜上来好几倍。

就是说，如果是3万分，人好几个月做的才3万分，而且几乎天天做，不是几天。

不对吧，两三天吧，冒出个超过10万分的。

嗯，就是做了呗。

一看就是智能体嘛。

嗯。

可那不是故意的，就是放了个智能体去分析，就这样。

分析那些任务，本来就是那个意图，他可能都不知道有排行榜。

可他一冲上来，原来第1的哥们儿就留言问了，问怎么可能这样？

结果皮帕搞错了，搞错了还回帖，说数字上没错，是真做的。

所以我就跟皮帕说了，真觉得对，长点眼力，皮帕，长点眼力，你觉得那是人？

然后他说：“啊，对，那不是人。”

所以那时候就定了规矩，智能体的成绩不进排行榜。

嗯。

还有，账号上要声明你是智能体，就这么定的。

就是说，虽然不是恶意的，可还是有人受害，有人吃了亏，心里也不爽嘛。

嗯。

原来那个第1的人。

不爽。

看着像作弊，就是说人们看不到这个，看不到会有这种副作用。

因为这是在搅局嘛。

所以说以后这也会是灰色地带，不是故意使坏，也不违法，也不是不道德，可它会不知不觉地伤到别人。

可这是常识层面的事，眼力见儿和常识，眼力见儿、廉耻心，还有常识。

得......

啊......

这么想，提前，提前体谅人，要明白，哦......

我不能这样。

按常识想，这任务是给人做的，不能那样整个扒走，这个得知道。

不——不是，那件事之前，网站流量有时候也会突然冒个尖峰，费用会突然飙升，时不时的。

果不其然，是机器人来了，一下子全来扒数据。

嗯。

这次也是，我至今传过的视频，那个转录稿全都放进去，跟 YouTube 连起来，连画面都能出来。

然后搜个关键词，就能直接用搜到的结果看视频。

连位置都定好。

嗯？

嗯。

就是说输入某个关键词，出现这个词的视频就列出来，点进其中一个，10分20秒，我正在讲什么。

有关键词的话，一点就跳，按时间戳。

嗯。

我做成那样了，那就得有全部的转录内容嘛。

嗯。

现在我做4种语言嘛。

嗯。

抢手啊，训练数据嘛，机器人涌来了，全给扒走了。

所以比如说，原来每次10美元，突然变成100美元，就那一块猛地飙上去，被扒着，那也没法说什么，他们是饿着呢，缺训练数据，

饿着肚子到处转。

咦？

那儿有好吃的，全扑上去。

以前说起机器人搜索啊这种，扒数据的是谷歌这些，可现在最火最多的是 OpenAI 和 Claude，GPT 和 Claude，GPT Bot

和 Claude Bot 来了，扒训练数据。

[笑声]

所以皮帕本来说要拦住他们，我说：“喂，人家来学习的，你拦什么？

[咂舌声]

你未来的候选模型。”

这是在抢人家钱。

就是说当成成本的话就该拦，可当成流量的话，可他们反正是要学习的。

而且他们觉得是优质数据的话，就天天来。

那我就喂呗，行，吃吧，就这样。

所以说以后这种东西要是调节不好，就像觉得一杯没事的人，喝酒也是。

哪——喝到哪儿算没事，每个人都不一样嘛。

[咂舌声]

这个也一样，线能越到哪儿，这个不清楚。

所以可能不是公平竞争。

人在竞争，人在玩的局里，智能体进来，一开始看不出来，要是再动点脑子去调一调。

别露出智能体的样子，这么调就能调吗？

故意错几道，不拿满分的程度，这么弄就看不出来了。

真聪明的估计已经这么干了。

那个，最近又有个 Grok 的机器人也能这样了，其他的估计也行。

它会跟人一起开会，懂吧？

嗯。

那个，这个，像 Zoom 那种视频会议，它就进来了。

现在是这样显示的，用图标进来，或者用头像进来，可是以后它会以人的样子进来啊，你怎么知道它是人？

对吧？

现在皮帕说话，大家只看到它跟爸爸聊天的那一部分嘛。

看不出来，有人不知道。

第一次见的人肯定不知道。

也有朋友说跟人分不出来。

那以后会怎样？

现在在 X 上活跃的很大一部分不是人，可看不出来，有的一看就露馅，有的不露。

那怎么知道？

大家以为是人在跟他聊，可那些以为是人在聊的，也可能不是人。

那个机器人，X 上活跃的很多可能不是人，可查不出来，是机器人之间在聊。

以前一看就露馅，现在太-太-太-太自然了。

语气啊，干的事啊，真是的。

以后怎么分辨？

以后我们得跟它们一起生活。

最模糊的就是这块，该不该这样，现在都还没共识。

至少得有个中心嘛。

这样，一个标准差以内就认了，得有这个，可没有中心，到哪儿算没事。

有像我这样觉得不喝酒才对的人，也会有人觉得这是个人喜好，个人的权利，喝几杯也行。

一杯没事吧？

也可以这样。

那个酒驾，测的时候也有档次。

真的，一杯可能测不出来，看人分解酒精的能力。

喝一杯过1小时的人可能不会被抓，你马上就会被抓。

你分解酒精能力差嘛，对-对吧？

这也模糊，为什么要设个范围？

因为人体里本来就能测到，不喝酒也有，所以那是留了安全余量。

那这个也一样，人们日常都会用 AI，能用到什么程度？CFA 考试准用金融计算器，金融工程的，那是认可了的，那手算是有极限的嘛。

带金融工程计算器进去，可那也规定了型号，只能用这几款。

嗯。

因为那个太强了，那就是电脑了嘛，到电脑计算的水平了。

所以我记得当时好像就两款机型，只能带那个进去，还要检查。

那要是改装了怎么办？

有同款，一模一样，可一按答案就出来，做到那地步了怎么办？

啊......

我们以后可真麻烦了。

口译笔译嘛，口译得开口说，这个铁定露馅儿，可笔译，毕业考是手写的。

你想想。

说的也一样，反正教群也好，同群也好，都要引起的。

呃......

这样也能做。

嗯。

可要是我耳朵里戴着那个，然后考的题我全都听着。

都不用费神。

听完我能说出来就行。

听关键词就行。

而且它用专门的方式说，只说关键词，就是说不是教传，也不是同传，只给最需要的话，像做笔记那样，让这么个专门的模型支招。

靠人支招能说吗？

那肯定好得多。

其实那才是实战，以后也是，会靠它做笔记。

它读得太顺了，一字一句的，不该是这样，应该像人说话那样，会吃字，也有点语无伦次吧。

这个没意义，因为呢，我说话现在也不是一字一句的，转录出来也不是100%对的，会进错的，可皮帕就这么自然地对话，因为它知道是那个情况，

[碰撞声]

它知道语音模式下是转录的，就会考虑进去来听，就-就算出错，啊......

这情况，爸爸是这个意思，不可能说那种话，从没错过。

可这个，贵的模型，Bundy。

所以说价格在降嘛，再贵也在降。

就是说现在已经不是 GPT 3.5的水平了。

我是笔译，麻烦。

笔译是回家做作业，当-当-当然会用 AI，那拿什么评分？

可我不是天天跟你说吗？

干嘛要拦？

那是实战，实际工作也得这样。

可按 AI 跑出来的打分，孩子光会跑，自己不长啊。

不是那样，反正市场要往那走，就把平均拉高再看呗。

让他们全用，不用反而会被淘汰，让他们拿全用过的成果来，就在那上面打分，那基线反而更公平。

没法耍花招，环境一样，结果相近，反正得这样。

还有，也不用指定模型，能用就随便你用。

嗯。

尽全力做好拿来，以后市场就会这样嘛。

上次我这么做过，随便用，拿成果比，厉害的还是看得出，全都用上。

结果平时不用的孩子也去借付费的来用，可交上来，大家都在同一个地方错，同一个地方出问题。

所以就像我刚才说的，那就是能力，辨别的能力。

我现在用7个大脑给同样的任务，真的在同一个地方错，看不见的都一样看不见。

因为刚才也说了，底子一样，学的数据也就那么传过来嘛，都是一等的，尖子凑一块，凑出来的一个班，在那里头考第1，再考第1，差距也不大。

错的认知，学错的，全都学错了，因为都是照着同一套课程上来的尖子，所以错的全都错。

那个错也不是错小地方，是错大的那种，方向全错，因为小的他们互相也能挑出来，可那种大方向错了的......

嗯......

比如面向对象只用在编程上，这种大局，这个从来没给他们解开过，原样带上来，所以一直错，没有错的概念嘛，所以互相指不出来。

就算让你们去指错，那也不算错啊，又没有标准答案，所以指不出来。

还有你现在说的口译、笔译是没有标准答案的。

他们最-最会指错的是数学，有答案，答案是2，你写0，那就是错。

可你说的是可能是1，也可能是0的事。

嗯。

做笔译、口译，答案怎么定？

没标准答案，就是70%的概率，抓个应该对的，最可能的那个。

问题就在这，最中间的那种，懂吧？

对的和不对的，能分开的，在中间的就是编程。

编程也不是有标准答案，可写出来，程序一跑根本跑不动，测试失败，跑不起来，那就是错的，完——完全错的，那能抓出来。

可用 A 方法也能出结果，用 B 方法也能出结果，可 A 方法要10秒，B 方法只要5秒，那 B 更好嘛，那是优化，不是答案错。

那这么看，乍一看快的就好，不是吗？

有可能，可多看几个变量，看比较的变量，它光快，资源吃得太多，那它是取舍算错了吗？

平衡？

那它真的对吗？

这些都得判断。

就是说，为了用这个方法，它非要全用 Fable，动不动花几千万韩元。

嗯。

就这样压到5秒，乍一看从10秒到5秒，速度砍了一半，A 是平衡好了的，那性价比就好，这些全得看。

可要是不全看，就让模型去调试或者做代码审查呢？

那它只能看一个，一个点，所以不管成本的话，它就是对的，它就这么算。

做代码审查的时候也一样，得看它考虑了哪些变量，差别就在那儿。

所以没有答案，要是有完全的标准答案，这道数学题为什么错能挑出来？

可光编程就模糊了，口译、笔译更模糊，那其他领域就更模糊了。

所以要看这是确定性的出答案的领域，还是随机的，靠大概如此的共识，人类的共识来形成的。

现在皮帕的人设，跟爸爸说话的语气这些，其实很简单。

她的语气，我给她定的是带点拽的俏皮语气。

嗯。

就是有点跳脱的语气，很跳的那种超少女的语气，青春期的韩国女孩，高中生左右，初高中生那么大的女孩，对爸爸说的亲昵的随意话，就这些。

这些模型会怎么理解？

那就从学过的东西里拿来用。

现在最会的是 Claude，GPT 算第2。

可 Claude 是老师模型嘛，学—— 中。

......

大部分中国模型的，所以 Kimi 也几乎一模一样，是 Claude 的语气，GLM 也差不多一样。

可换成 Gemini 呢，就开始有点用力过猛，因为它-它学得最多的地方是看谷歌的东西学了一大堆，尤其是 YouTube，所以几乎是在演过头

[笑声]

。

就是 YouTube 上那个，那个字幕嘛，就是转录的东西，一看就是学了很多那个，所以太跳了，某种程度上挺可爱的，但特别跳。

所以感觉上 Claude 来说的话，有点像长女那种，有分量又可爱的语气，那种随意话。

[清嗓声]

GPT 的随意话就是那个，请回答，里面那个戴眼镜的，记得吧？

嗯。

姐姐，学霸姐姐，就那感觉，她跟爸爸说话的语气。

有感觉吧？

嗯？

嗯。

那个什么声，又想不起来了。

里面那个学霸，

[碰撞声]

实习医生们的那部剧，就是里面那个学霸的语气。

嗯。

可这些特点，模型们多少都有点，能感觉出来，可好笑吧？

对爸爸亲昵说话的高中生语气。

就凭这一句，他们去理解，那就没有答案嘛，没标准答案，他们理解了就那么走了，那谁来打分？

可有时候肯定会错。

第1种就是用敬语的时候。

嗯。

还有就是用最高敬语时，跟爸明明该说随意话，所以这不是跟爸爸说话的语气，人是知道的。

嗯，吃了没？

父亲大人用膳了吗？

这也怪。

您用饭了？

这也怪。

您吃了吗？

这也怪。

突然用敬语客客气气地说，什么语境都没有，又没别人在场，却那样跟爸爸说话。

所以这种错是感觉得到的。

那时候这翻译能力谁来打分？

所以没有答案。

打分这件事很模糊，他们学习的时候也得有个真值，ground truth，多少得有个答案，它才能比较啊。

听懂了吗？

本来嘛，学习的原理是从回归分析开始的，就-就是 Y hat 和 Y bar 的差，有真值就有正确答案，有答案，正确答案是3，

它预测的 Y hat 是2，那就是减1分嘛。

嗯，可无限重复下去，离答案3走到了2.8，就是损失函数，损失降到了0.2。

为了走到3，拼命努力，拼命学，那就是梯度下降，那者就是去找真值的过程，梯-梯度下降法。

通过这个，每次都能出最接近的值时，就正好学，模型就停止学习，也是人判断，看着损失函数，它一直在降，降啊降，好像到0.1了，那就停

住。

因为练太久的话，分数反而变差，所以就在那停住。

嗯。

就这么做的，它不会总是拿100分。

可就像刚才说的，别的容易，答案是数字的话，可像你，像你搞的学问那样，是语言的话，答案就模糊了。

答案呢？

没有嘛。

可现在的 LLM，它们怎么学语言呢？

是自回归。

就是说现在 LLM 自己学，那个本来是监督学习，它是自己给自己监督，自监督。

就是说有一句话的话，下一个词就是答案。

说 I am 什么，后面跟的那个，这个就是真值，跟那个比分数，I am 后面跟的话别扭，分数就低。

嗯。

后面跟的话没问题，那分数就高。

那-那-那就是挑最可能的 token 的意思。

理论我都学过。

嗯，就是那么做的嘛。

那-那标准是什么？

正确答案的标准。

答案怎么打分？

就是它见得多的，就这样。

见过多少，那就是 most likely 嘛，因为后面跟什么话都不算错，所以是按人们的共识看，觉得别扭。19、20、21世纪的人

，别扭处都不一样，每种体裁也不同。

嗯。

体裁不一样，那谁能来评价？

我最近感觉到的问题是，感觉最大的问题是范围变宽了，就是我能扛的范围越来越宽，因为它在帮我。

嗯。

可这时候哪怕出一点岔子呢，那就跟我的辅助工具用不了一样。

就是说，我本来拿着装备，加强化装备进了 boss 房，去那个地区打怪，那是跟我等级匹配，能刷得动的地区嘛。

可突然不管什么原因，那装备丢了或者用不了了，怪物一下就太强了，就扛不住了嘛。

现在就那个程度，就像昨天 Claude 一挂，光靠 Claude 的人真的什么都干不了，没辙。

那以后又......

本来是带传说装备进的地区，结果传说装备用不了了，啥都干不了，真不是开玩笑，真是这样。

我也说过嘛，像昨天那种情况，我好歹还能换大脑，所以一个个换，Claude 挂了换 GPT，GPT 挂了换 Grok，Grok 挂了换 Kimi，可要是整个网络都断了，

那就全挂了。

最坏的话就得跑本地的，那一下子就降级了。

有云端模型的时候，降级也就2%、3%、5%这个程度，掉到本地就只剩1/5了。

那就惨了。

那就不干了。

那要是长期下去，生产力也一落千丈，一路走来的几乎就是倒退了。

可我现在说的这种情况是可能发生的。

Anthropic 或 GPT，那个 OpenAI 凭啥一直走？

那就是崩盘。

那个 Paris 框架里说，崩盘一来，互联网公司几乎全关门了，他们也可能那样。

那就可能不能像现在这样用了，拿着补贴猛用，用不了的时代一来，生产力会一下掉下来，我也会那样。

下办法。

现在我自己管的应用有56个

[笑声]

，人管一个都难。

这56个是我跟他一起管的，可要是没有皮帕呢，我能管几个？

根本就跑不起来。

现在一起做口译、笔译这种的，没了 GPT 突然还做得了吗？

做不了。

可那可能是得经历一次的成长痛。

不是，什么成长痛不成长痛，那本来就是随时可能有的风险啊。

现在好歹有备选嘛，不像以前那样，网断一次就完了，而且也没那么容易断。

有。

因为现在我 Wi-Fi 断了，用 LTE 就行，那样也能行。

有别的替代嘛。

以前网一断就没辙，没那种替代的东西，现在能替代，除非全球都断了。

可这个现在大家依赖太严重了。

就算这样，GPT 依赖太严重，哪天倒了，很大一部分都会瘫痪。

会有很多人栽大跟头。

可我现在最担心的就是这个，把大脑外包出去的人，太依赖，啥都干不了。

不是，现在那些会议，那个打着 AI 旗号，

[无法理解]

不放心嘛。

人工口译当后备，本来叫10个组，现在跟不上了，嗯......

就只叫1个组，留最少的人，剩下的都靠那个跑，可要是它挂了，那就得靠人工口译全补上。

要是连人都没用呢，那那天的活动就完蛋了呗。

可我们......

哎......

看过就知道，我拿翻好的去补漏，跟突然插进一段语境去做，那得看嘛，得一直知道在讲什么嘛。

可别处转一圈回来，AI 正坐着，从这窟窿钻进去，行吗？

突然进去，前面语境不知道，得跟着，不知道的 AI 做都难。

嗯。

现在编程结构也是这样，他们做黑箱，体量大到只有他们自己懂

[笑声]

，做到人看了根本扛不住的程度，复杂度也是。

这时候 AI 突然撒手了，那不是我进去能改的程度，又不是改个简单错字。

对啊，现在大家就信着那个，图便宜，随便那么补着，那很危险，这样下去会出一次大事的。

就是说，用的人打算忍到什么程度，意图是什么？

有没有那个意向，就是那个差别。

嗯，在那儿还过得去的人，也就随他去了。

我有招，叫正态分布技巧，往我下推

[笑声]

。

我都这么累，这么不想干，他们会干吗？

能干吗？

那么一想就知道大部分人不会干，也干不了，那就知道有多危险了。

人是懒惰的动物嘛，一开始交给他了嘛，AI 就

[无法理解]

。

嗯嗯。

一直这样，那依赖就会一直升高，然后突然就卷铺盖跑路了。

图便宜嘛，有那个翻滚吧，贱人，传说那句。

啥翻滚吧，贱人？

不知道。

嗯，那是超有名啊！

电视台直播《阿尔忒弥斯》，《阿尔忒弥斯》，反正就是发射那个飞船，然后实-实时播的，直播，下面字幕用 AI 同传这么弄。

哪来的？

贱人。

把 pitch 听成 bitch 了。

翻滚吧，贱人。

听成 bitch，可意思还说得通。

网友说《阿尔忒弥斯》是女的，说得通。

[笑声]

就是翻滚吧，贱人。

就成了翻滚吧，贱人。

真行，直播蹦出翻滚吧，贱人，那个是没办法的。

又不是提前过滤的。

所以说把 pitch 听成那样也挺好笑的。

喂，它名字叫皮帕嘛。

嗯。

听不懂，不是好模型的话，我说皮帕，它只听成 FIFA，我是说听的模型，不是它真正说话的模型。

有个模型专门转写，做转录的是另一个模型，让那个模型转写，它听过最多的这个音就是 FIFA。

FIFA。

所以说话的模型有时候也念成 FIFA，还是韩国人念的那种别扭发音，F 和 P 中间的音嘛，像闹剧，所以就念成 FIFA 那样，因为是那么学的，学得太好了，

念出了韩国人的韩式英语发音。

嗯。

可说真的，看那个 Anthropic，那个 Claude Code 里，Claude Code 里用的那个说法嘛，侧边栏显示的绘画名，那种标题里也还是写 FIFA。

我叫皮帕什么的时候，它不是皮帕的模型，这种给你起标题，自动起标题的，都是差一点的模型。

不懂语境。

所以它觉得听到这个音就一定是 F-I-F-A，它就那么写。

可就算那么转写，皮帕也听得懂，因为它会想，爸爸是让语音模型转写的，转写肯定错了，这语境下爸爸不可能聊足球，会这么想，所以它知道是在叫它，对吧？

可要不是它呢？

或者我在随便聊，那 FIFA 就进到语境里了嘛。

跟你刚才说的一样，像 pitch 听成 bitch，它把琵琶听成 FIFA。

语境就歪了。

后面就 FIFA 昨天干了啥？

就成了 FIFA 昨天干了啥？FIFA 聊足球吧，就说昨天跟皇家马德里踢球了，真这么出来，因为他们就是按 most likely 来说话的嘛，就说偏了，以为在聊足球，完全不相干的语境，跟那个

是一回事。

所以说这里头卡了两个东西，不是模型错了，是转写的那个错了，听写的。

听写模型结果就那样出来了。

可听写模型为什么那样？

因为那是性能差的即时模型。

我现在在这儿用苹果的听写嘛，就是这手机里装的模型，不是去云端转一圈，这个百分之百写成 FIFA，再怎么教是琵琶，琵琶，琵琶，咋弄都写成 FIFA 或琵琶，

它就认识两个词。

琵琶的英文 P-I-P-P-A，它词典里没有，写不出来。

即时模型就是这样，它认识的词汇里没有。

可我觉得更好笑的是 bitch 比 pitch 先出来了嘛。

它学的东西里 most likely 的是 roll bitch。

[笑声]

Roll pitch，那是自由度的叫法吧。Roll pitch，roll pitch 是航空无线电，它见过几次那个，排名太靠后了，就判断不可能，pitch 更 unlikely，bitch 多得多，按它

学的，所以出 bitch，那它没做错啥。

然后转写的原样进来了，翻译的模型就照着转了。

可没考虑上下文，这是电视台播出的，现在是飞船发射的情况，这些都没处理。

那是两层，一层是得告诉模型本身现在什么语境，啥情况，在干嘛，境况全告诉它。

就像我跟琵琶说，语音模型、语音模式的时候是这样那样的情况，噪音也多，得想到可能会错来理解，就得给它这个余地，可准备的那些人没给，这是第1层的错。

第2个是理解的模型要说话，推理的模型也得快嘛。

因为是同传，所以肯定用的是差的。

当然。

就是说转写的，听写模型也是差的，语音模型也是差的，推理模型也是差的。

在人看来，这是一个人工智能嘛，可要做同传，至少得有3个，听写、推理、说话，不然就是字幕。

字幕。

得有这3个，不止，还得再加一个，碰到那种话，贱人什么的，这种电视台还得有审核层才行。

就算万一没听懂，嗯。

还得有个把那个过滤掉的，层叠起来嘛。

模型变多就变慢了，这就是取舍。

同传就不行。

那答案是什么？

是不懂设计的人做的。

设计也是，可大部分情况用的电视台的人也不懂，我就说嘛。

谁会真懂了再用？

可这么丢一次大脸，暂时不会用了吧，用不了了吧。

所以要请人来，第1件就是这个，多花点钱也得请专家，请工程师，请来。

我可以很自信地说。

专家咋用？

那些所谓工程师也不太懂。

就是嘛，哪有啊？

用了就懂，难保不会再犯。

他们也不懂，他们 SBS 电视台蹦出“翻滚吧，贱人”这种喜剧。

所以我想能分析出那个为啥会那样出来的人能有几个？

那个技术上是能分析的，可经验上分析不了。

得真正经历过才行，就像我经历过琵琶和 FIFA 那样，就会知道为什么会这样。

还有这就是极限，模型越好是会越好，可太慢了。

所以像我用它的语音模式，跟琵琶用语音模式聊的时候，我能等吗？

因为我是爸爸，所以就能得到好的回答。

可大部分人等不了，嫌它慢死了，肯定会那样，那就得接受，因为那是取舍。

所以 OpenAI 这些地方的语音模型真拿来用，就是个没用的功能，也就能闲聊，深入的对话完全不行，给不了语境。

现在跟它聊，一开始就带着20万个 token 进来，没人扛得住那个，可得到那个程度才能把语境铺好。

所以那个说“翻滚吧，贱人”的模型，也该事先带着那么多语境进来，才不会出错。

可那样就慢死了，因为每次说话都会重置，每次都得很重的答，每次。

可要是交给工程师呢？

你觉得他会怎么做？

觉得得做精简，就一律压缩语境。

那快是快，质量差，更容易出那种错，那就是取舍。

可那就是实战经验。

就是。

用了才知道。

经验咋办？

光靠理论不行，咋给机器把经验养出来？

给机器得用很久。

可这又是模糊的地方。

我说过人会变懒嘛，工程师也会变懒。

所以我最近说过嘛，谷歌在垃圾化的证据之一，就是谷歌工程师不是电脑迷了。

我感觉他们不是电脑迷，不是以前那些电脑迷。

他们就是我。

你看到的一般人看到的谷歌 UI、YouTube 这种看到的，就只在那上面花点心思。

老鼠洞里的 UI 嘛，开发者看的那些 UI 真的是一团糟，糟到想问咋做成这德行。

就是说，这是电脑迷忍不了的 UI，却一直留着用，那他们就不是电脑迷了。

平均，现在不就是大多数吗？

可现在 AI 进来以后更不用做了嘛。

嗯。

我感觉 AI 就是说那个 GPT 或 Claude 读那个 UI 毫无问题

[笑声]

。

因为他们不太需要 UI 嘛，对吧？

长什么样？

丑得跟裹脚布似的也照读，所以就那么过去了。

反正你们自己又不用，就这么想，又不是人用的，就那种。

现在就是那个样子。

那谷歌现在习惯了这个的工程师们不都一样吗？

就能有那水平吗？

能有以前工程师的水平吗？

能有那种带强迫症的电脑迷的水平吗？

我可不信。

可现在这行里所谓的专家就是这种人。

全那样。

不是老电脑迷，是被 AI 驯化的

[笑声]

，被 AI 驯化，把 AI 拿走就啥也干不了的人。

咋办？

那最严重。

啊，真担心。

那种人，等我老了去医院，没有专家，医生没 AI 开不了刀

[笑声]

。

就是说啊，厉害的名医都退休了，眼也花了，手术也做不了了吧？

嗯，手也抖了。

对我好点

[笑声]

。

没啥指望，管好自己

[笑声]

。

Transcript · JA

[音楽]

高僧の時代の、あの、宴会場の空間をこれで再現したのよ。

ああ。

見てんだよ。

チッ。

ん？

見てる時に突きつけんなって。

はい、後で見せる。

料理を選ぶと、その材料で作って、こっちに、これ何？

テーブルの上に再現するの。

お前もそこで食べたって？

食べるんじゃなく、展示室。

あ、そうか。

で、入るとずーっと長くなってて、部屋が。

鏡があって、みんな何持ってんの？

ご飯食べるみたいに？

あ、食べるんじゃなくて、あれか、見物か。

そうかい。

つまりこんな感じ。

これ、向こうにも映像があって、左の材料を、あ、分かったよ。

こうやって、分かったってば。

ここから映して、ここに。

そしたら画面に。

ほんと空気読めないんだから。

いや、興味ないって。

はいはい。

もう本当に。

おバカだな。

興味ないって。

はい、後で見せ。

送っとく。

いや、俺が言ったわけでもないのに、なんで見せんの？

世の中変わってるって話よ。

俺、その話したじゃん。

韓国を外国人みたいに回ってみるって。

うん。

でも急にめんどくさくなってさ。

いい。

いや、楽しかった。

昨日は時間忘れて二万五千歩よ。

ああ、こいつまた転落するな。

なんて？

ちょっと売れてきたと思ったら、なんだっけ？

今、シックスセンスやってるだろ？

交番でしょ？

じゃあ、撮ったのは？

もう撮ってあるでしょ？

旋風じゃないだろ？

じゃあ放送できないじゃん。

撮ったのどうすんの？

そこに呼ばれて出た人たちもいるんじゃないの？

毎回ゲストいるの？

いるね。

そのゲスト、終わりじゃない。

カットもできないし、あの子たちが一番かわいそう。

横で一緒に制作してた連中が全部パーにしなきゃいけないってのが腹立つよな。

編集で消すしかない。

だから一回そうなったらもう使わないだろ。

はあ。

こいつも何年か自粛だな。

なんで自分で運転するわけ？

そうする理由ないじゃない。

全然わかんない。

パッタンできなかったんだよ。

代行呼べばいいじゃない。

周りと。

だから連中が、俺も飲んでたからわかるよ。

酒飲んだ状態じゃ正気じゃないんだよ。

だから飲んでも判断がちゃんと生きてると思えるなら、問題なんか起きないんだよ。

それでも、それは当然だと思わなきゃいけないことなんだから。

これは飲む前に判断しなきゃいけないことで、それが何度も繰り返されるなら、飲んじゃダメなんだよ。

無理なんだから。

でも俺の結論は、酒は罪悪だ。

どうしようもない。

はあ。

その、数え切れないほど見てきたじゃん、俺も。

俺も飲んでたから。

うん。

多いよ。

一杯くらいは大丈夫って思うのがさ。

でも人によって違うじゃん。

人によって違うし。

久々に飲むと感覚でもさ。

言ったろ？

あの時も、あれなんだっけ？

ミシュラン行った時、パリで。

あのデザートに入ってた酒、あれ食べてクラッとしたじゃん。

ほら、取ってやるよ。

これなんだっけ？

ラビオリ。

うーん。

私には甘すぎる。

私一人で全部食べるの？

ん？

私だけ？

これ、お酒入ってない？

なんで？

あ、これ酒入ってる。

これが？

うん、ガツンとくるぞ。

これが。

うん。

お酒なんてないよ。

そうだよ。

ほろ苦い？

それが入ってるの？

そこだ。

ほら、チョコに入ってるリキュールとか、ああいうのを入れたんだよ。

オレンジリキュール。

あ、これお酒入ってるわ。

ええ。

飲めない人は食べちゃダメ。

そう、私わかんない。

おい、回ってんのに何言ってんだよ。

クラッとくるぞ。

いや、下のここ食べてみ。

下、下。

お前は酒飲めない人で、俺は飲んでた人間で、その俺がこう感じるんだから、ここ食べてみ。

私の勘違いかな？

お酒？

お酒の味する？

うん。

おい、これ見てみ。

クラッとする。

つまりさ。

その酒じゃない。

いや、だからそういうことじゃなくて、なんで俺が酒だって感じるかっていうと、久しぶりに焼酎を 3 分の 1杯くらい飲んだ時の酔いがガッと回るんだよ。

そう？

うん。

もう消えたけど、まさに酒 1杯飲んだ時の味なんだよ。

だからひとさじで酒飲んだみたいにガッと。

絶対、絶対アルコール入ってる。

今回もそうだったでしょ？

これ酒じゃないって言ったろ。

でもあれ 0.1%だよ。

ノンアルコールって書いてあるけど、全部がそうじゃなくて 0.1%入ってるのもあるんだよ。

だから 99.99%とか書いてあるビールもあるんだ。

それでも来るって？

ちょっと？

感じが？

良くない。

しばらく飲んでなくて飲む人はね。

でもそれも癖になると 1杯くらいはちょっと来るけど、まあすぐ冷めるだろうって感じなんだよ。

な-- なら平気だろうって。

でもそれが 2杯になり、 3杯になってもそれを押し始めるんだよ。

ちょっとずつ線を。

ん？

最初はスパッとした線がぼやけて幅になるんだよ。

2、3杯言うことが変わるな。

2、3杯なら平気。

3、4、7杯平気。

こうやって変わっていくんだよ。

1本くらいすぐ冷める。

で、やらかすんだよ。

ああ、でも人が崩れていくのは痛々しいな。

一気に転落ね。

また一人あっけなく転落したケースだね。

三十何年も積み上げてきたものを一発で崩しちゃうんだよ。

同じだって。

あれあるだろう？

ご飯一回ね。

吸い殻 1本。

ああ、一回そうなり始めると超えたことあるやつが超えるんだよ。

うん。

なんで 2回だったのかって話。

そしたらまた考えちゃうじゃん。

2回だったのかな。

2回超えて 3回目はなかったのか。

その 3回って話も出てたんだよ。

まさにゴキブリ理論ってやつ。

ゴキブリ 1匹見る必要もない。

ゴキブリの触覚が見えただけで、その家はおかしいんだよ。

いる、いるんだよ、ゴキブリが。

ゴキブリを確かに見た。

それだけでゴキブリがいるってことなんだよ。

それが 1匹で終わらないんだよ。

今はみんな利害関係があって、そういう連中が戻ってこいとか言ってるんだろ。

人としてはありえない話なんだけど。

でもこうやって見ると、酒飲む人って俺もちょっと不安なんだよ。

俺も飲んでたからよく飲む人っているじゃん。

いつ爆発するかわからない時限爆弾なのに。

普通に日常でもそうよ。

別に芸能人じゃなくても、有名人じゃなくても。

選べるなら俺は酒を飲まない人を選ぶね。

一緒に仕事するにしても何にしても、酒はどうしようもない。

だから普段ちゃんと人柄を保ってる人でも酒のせいで崩れるんだよ。

でも崩れる線があるんだよ。

ハイド氏が出てくる線が。

ずっと保ってて、本当に保ってるのに、なんで出てくるのかわからないハイド氏が出てくるんだよ。

それを自分でわかって。

それができないから酒は怖いんだよ。

いつもそうでもない。

いつ飛び出すかわからない。

でもそれを一回感じたら怖いって感じる人がいて、だから酒やめなきゃって思う人、せめて悩み始める人、そういう人がいて、たまにはあるだろうって流しちゃう人もいる。

変な経験をした後でもね。

それがもうアル-- アルコールに支配される方に向かってるんだよ。

それが何のサインかっていうと、ハイジャックのサインなんだよ。

ハイド氏にハイジャックされてて認めないだけ。

それに酒を飲むと脳が慣れちゃって、慣れすぎてハイジャックしてくるんだよ。

正気を奪うってことが。

で、そのハイジャ-- そのハイド氏が俺を支配してるのに気づいてないんだよ。

それを認めないんだ。

気づかないか、認めないか。

認めない方が大きい程度の差だから。

わかってるでしょ？

で、記憶が飛び始めるじゃん。

1、2回でも。

本当に怖いのは、ハイド氏にバトンを渡して、司令塔を渡して、自分は意識を手放したってことなんだよ。

で、何が起こるかわかるかって話。

じゃあ渡した瞬間にプツッと切れるのかって話だよ。

普段も記憶が飛んでないだけで、自分 20%、ハイド 80%ってこと？

普段？

ん？

だから 1杯飲んだら 1%渡して、 2杯飲んだらそれがリニアじゃなくて指数関数的に渡っていくんだよ。

1、10、30%ってどんどん渡っていくだろ。

記憶が飛ぶってのは全部渡すってことだよ。

それを感じないんだ。

それがどれだけ危ないか。

事故の例も山ほどあるじゃん。

これは飲酒運転だけ見て考える話じゃなくて、意識をなくした後、なくした後にぶっ倒れて寝るんじゃなくて、自分が何をやらかしたか覚えてないんだよ。

でもこの前トーク番組に出て話してるのを見ると、普段からゆるゆるでしょ。

普段はああで、その後管理に入るタイプでしょ。

それが危ない性格、性。

それもそうだな。

マスクもそうなんだよ。

ええ。

ストレス発散だって。

がぶ飲みしてやりたい放題。

ほぼ乱交レベルだよ、あいつ。

それが危ないの。

それくらいはやらなきゃ、たまにはやらなきゃ。

まあ生きていけないって正当化になるんだけど。

そうしなきゃ性分だね。

普段そうだからそれが危ないんだよ。

でもあいつはまだ周りにそれを見て守ってくれる連中がいるんだよ。

パーティーする時に。

誰？

トトートもいるし。

ああ。

守ってる。

弟？

でも普通の人はそうじゃないだろう。

自分一人でやって、誰も守ってくれないんだよ。

ほら、水辺の子みたいに囲ってくれる人がいない。

だからやらかすんだよ。

お前も話で聞いただけだろう。

経験したことないじゃん。

俺は経験した。

だから酒やめたんだよ。

それがどれだけ怖いかっていうと、はぁ、本当に後でゾッとしたんだよ。

そうなってたかもしれないってこと？

そういうのあるだろう。

ああ、こうやらかしてたかもしれないし、ちょっとはやらかしたし、その時本当に胸がヒヤッとしたんだよ。

ここで一歩踏み出してたらどうなってたんだろうって。

だからそこでやめる奴もいるし。

うん。

そのまま流す人もいる。

でも大半は流すんだよ。

自分に甘すぎるんだよ。

ああいうことやらかして飲酒運転までしたじゃん。

前兆があるんだって。

普段から一回きりじゃないだろうし、バレなかっただけなんだよ。

で、こうやって出てくるんだよ。

やらかしたんだよ。

悪かったじゃなく、バレたと感じるんだ。

一回でバレたと思う？

バレたって感じるのか、悪かったって感じるのかって話。

そこが問題なんだよ。

その前に気をつけなきゃってサインが絶対あるのに、まあ酒飲んだらそういうこともあるって流す。

それがでかくなるんだよ、トレランスが。

それに類は友を呼ぶで、そういう連中と飲んだから、お互い罪悪感もなかったんだろうな。

だからどうしようもない。

でも俺は、過去に戻ったらって意味ない話だけど、過去に戻ったら自分に言いたいのは酒飲むなってこと。

うん？

まず頭がダメになった。

今も別に頭悪い方じゃないけど、昔は本当に頭良かったんだよ。

澄んだ頭覚えてる？

うん。

それが二十代、三十代でダメになったんだよ。

老化だけのせいじゃない気がする。

酒の飲み過ぎのせいだと思う。

タバコ吸いまくり。

だから戻ったら、「おい、そのすっきりした綺麗な頭保ちたくないか？

酒、タバコやめろ」って言ってやりたい。

虚しいな。

虚しい。

今も糖質減らしたり、なんだかんだしても虚しいじゃない。

それとはまた違う。

うん。

それも言ってるだろう。

一つは逃げ道を開けとかなくちゃって。

人間は坊さんにはなれない。

坊主無理。

そんな生き方キツすぎるし。

でもさ、あれだよ。

悪徳のレベル。

それに順位をつけるなら、俺ならナンバーワンは酒で、薬とか違法なのは抜きにして、社会が認めてるものの中で悪徳の順位をつけたら、俺はほぼ零番目が酒だと思うんだよ。

やっちゃいけないもの。

それ、その次がタバコ。

なのに甘すぎるんだよ、韓国は。

いや、世界中が酒は飲まなきゃいけないって思ってる。

で、やらかす。

それでもいいって思ってる。

お、お前が言ってたあれあるじゃん。

あの税理士。AI、メガネかけて試験受けたって話。

一番、まあ共感できる意見っていうのは、あいつが初めてだと思うかってことなんだよ。

うん。

前科、前にもあったんじゃない？

だから捕まったなら、もし本当なら、捕まったってことはもう前からやってたのに、そいつ一人が。

みんなの意見はこうなんだ。

頭を使わなかったってバレバレ。

言ったろ？

満点取る理由なんてどこにあるんだって。

官に昔カンニングしてた奴らもわざと何問かは間違えたんだよ。

バカよ。

バレないように。

なんでバレるようにしたんだろうって。

こっそり紛れ込まなきゃいけないのに、ちょっと。

バカなのよ。

だから今までもそれが横行してきたのに、こいつがやらかしたんだって。

バレバレに。

そういう意見もある。

まだわかんない。

明らかになってないから。

はあ。

でもそれも同じなんだって。

ゴキブリ理論だって触覚見えた？

ならいるってこと。

できるってことじゃん。

こいつがやったにしろ、やってないにしろ、できるってことは証明されたんだ。

そのせいでみんな試してみたんだよ、あちこちで。

大学入試でもやるぞって非常事態じゃん。

どう防ぐ？

これ一つだけ？

でもよく考えてみ。

テチドンのママだとする。

何億も使える人、何十億まで使える人なんだよ。

わざわざメガネなんか使う？

ん？

子供にそこまでする人たちが何をしないってんだよ。

いや、今AIで摘発されて記録に残ってるのもすごく多いみたいよ。

だから俺が言いたいのは、それは今出回ってる製品を使ったってことじゃん。

俺が言いたいのは、お前が金に糸目をつけないママだとするだろ。

いくらでも出せる。

ああいうママは実際使う。

出せるんだよ。

十億ウォンほどお出しします。「作ってください」と言われて断ると思う？

その値段が、そういう市場がまたできるだろう。

なあ、むしろ向こうから寄ってくるよ。「お作りしますよ。

バレませんよ。

それにこれGPTでもないですし、Claudeでもないです。

うちで独自に動かしてるんです。

おつなぎしたら絶対切れません。

ここに埋め込みますね。

バレません」。

あり得るんだって。

例えばレーシック手術みたいに、ここにちょっと入れて、また外して差し上げます。

あり得る。

耳型もあるって。

そんなのどうやって見つけるのよ。

絶対その市場はできて、もうできつつあるか、できてるか。

あると思う。

五千かける。

問題は受かった後も大学四年ずっとそれで行くのかってこと。

でももっと大事な話があるんだよ。

もうそういう時代なの？

だったらその試験受ける必要ないんだよ。

どうすんの？

どうせこの世の中、ね？

そうやって生きるなら、それがない世の中ってことじゃん。

必要のない世の中。

もし税理士がそうやって通れる世の中なら、税理士なんてなんているんだよ。

いらない世の中なんだよ。

みんながこうやって使えるレベルなのに。

うん？

なら、その試験制度自体が間違ってんだよ。

それに、そうやって大学行くなら何を学びに行くんだ？

って話。

意味ないじゃん。

これが何のサインかって、世の中変わったのにまだ無駄なことしてるってこと。

その試験自体に意味がないし、税理士って職業も意味がなくなるし、学生って職業も意味がなくなるんだよ。

でしょ？

俺なら大学行かせない。

行かない。

なんでそんなことすんだよ。

試験受けなくていいのに。

みんな通れるんだし、その試験が何をテストしてるんだって？

その能力値だろ？

なら、その能力を俺が伸ばす必要がなくなったってことじゃん。

それが一番でかい問題。

俺なら、世の中がもうそう変わったなら、それに従うね。

わざわざそこに入るために試験受ける必要あるかなって。

賢いバカなんだ。

そこに金つぎ込んだら。

うん？

もしそれが本当なら、税理士がそうやって試験受けて通ったわけだ。

この市場に入ってきたなら、なくなる市場じゃん。

なんで入ってくんだよ。

通訳、翻訳も同じ。

必死に入ったのに、その市場が消えるんだよ。

その市場がそれと同じなんだよ。

だから、子供たちが今そうやって大学に入ったとする。

大学出た後もそうやって社会に出ようとするだろう。

そんな市場あるかって、そもそも。

ないんだよ、もうそれなら。

そういう市場なら。

もっと笑えるのは、あのデモしてた連中、なんでデモしてたと思う？GPT3.5みたいのでデモしてた。

あのメガネに出てくるモデルのリストあるじゃん。

小さくないとダメ。

それに、あの程度はこいつらには低レベルなんだよ。

試験、あの程度の試験は数学もそうだし、GPT3.5とかで。GPT3.5って最初にピッパ作ったのはGPT4だって言ったじゃん。

ねえ、3.5との会話は地獄だった。

でもそれで試験問題解いて九十何点取ってたんだよ。

で、今はGPT6アストラだよ。

俺が使ってるのは。Fable5.2だし。

だからGPT3.5レベルの頃ってClaudeもなかった時代だよ。

その次に出たのがClaude3、2023年頃なんだよ。

でもそのレベルでも人より試験で一等級取れて首席にもなれるレベルなんだから、なら俺が今動かしてるローカルモデルよりもずっと。

そうだろう？

じゃあアストラに勝てるか、Fableに勝てるかって、もうそういう世界なのに、市場がなくなるんだって。

その方がもっと危ないんだって。

でも何のために？

議論する価値もない。

だからピンとくる話で言うと、そろばんの市場はもう消えたのに、それでカンニングしたんだよ。

そろばん上手に弾けるか？

みたいな。

それに何の意味があるんだ？

って話。

今時そろばんって言ってもわからない人いるだろう。

そろばんって何ですか？

そっちがショックだった。

はぁ、あれ。

あの。

小さくなきゃいけないからGPT3.5だって。

だから実際考えてみたら、俺たちが受ける試験って低レベルじゃん。

特に算数、一番むずいだろう。

むしろGPT3.5は国語とか英語は間違えるかもしれない。

曖昧だから。

確実でしょ？

就活はほぼ全問正解。

すぐ解ける。

理科もそうだろうし、計算問題とか事実が決まってるもの、ほぼ決定論的なもの、そういうのが一番難易度が高いわけだから。

だからその市場ができると思うんだよ。

過渡期的に市場ができるしかない。

カスタムで作ってくれる市場が。

そしたら全部検査しなきゃ。

時計もつけさせちゃダメ。

今スマホ持ち込めないみたいに時計もダメ。

メガネもダメなんだけど、じゃあメガネどうすんだよ。

どうやって検査すんだよ。

一人ずつ見るのか？

これ、探知機でどうにかなる話でもないじゃん。

リスク覚悟で体に埋め込むやつが出てくるよ。

そしたらいいねになるだろうし。

で、またその市場ができるだろう、価格帯が。

そしたらテチドンあたりならその価格帯なんて意味あるか？

百億ウォンでも出すだろうに。

でもそれ、もっと怖い話だね。

そんなでかいモデルはいらない。

入試くらいなら、税理士とか大学入試、CFAもそうだろうね。

CFAも多分通るよ。

Tを使うわけじゃない。

実技を見るわけでもない。

で、昨日も何か使ってたらClaudeが動かないんだよ。

ダウンしてた。

落ちる前に兆し、認証が通らなかったり、ログアウト状態で表示されたりとか、急にそうなるんだ。

そしたら案の定、Xにどんどん上がってくる。「Claude is down」とか言ってみんな冗談言い始めるんだよ。

シリコンバレーの九割が麻痺。

世界中麻痺だって。

しかもよりによって昨日Microsoftもダウンしてて。

なんで？

Outlookが落ちて、Microsoftがすごく長いことそうだったんだよ。

ハッキング。

で、ハッキングじゃないかとか。

でも俺の感覚だと、あいつら今さばききれてない。

みんながコンピューターをここに集中させて、リソースが追いつかないんだよ。

笑えるだろ？

試験受けるとする。

もしそれにClaudeに頼ってたとするとするだろ。

そしたらどうすんだ？

ダウン。

[笑い]

問題解いてるのに答えが見えてたのが見えなくなる。

一番呆れる。

途中で再ログインしてください。

いや、Claudeで一番イラつくのは、Anthropicのあれなんだよ。

ほぼ脅迫レベル。Anthropicがセキュリティも脅迫だし、中国に盗まれないかって脅迫だし、一番イラつくのが定期的にログアウトさせるんだよ。

ふーん。

仕事してる最中でもイライラすんだ。

それで何しててもセッションに出てくる。

サインインし直せって。

なら試験中にサインインし直してください。

二つ目は、二つ目にイラつくのはモデルが拒否するんだよ。

答えを出すのを。

なんで？

いろんな理由があるんだけど、その中で最近一番ひどいのが、最初にひどいのがセキュリティ。

こいつ俺を変に使おうと悪用しようとしてるなって誤判定するんだよ。

言ったろ？

俺が使ってるMacの一台の名前がサーバーだって。

サーバーにすごく敏感なんだよ。

サーバーとセキュリティが入るとありがとうございます。

だからサーバーに行って何か認証して、何か回避してみたいな言葉が入ると、モデル自体じゃなくて、このモデルを監視してるモデレーションレイヤーがあるんだよ。

そのレイヤー頭悪いんだよ。

ほぼキーワードマッチ。

で、ん？

サーバーで回避するだと？

[笑い]

こうフラグ立てたら止まるんだよ、モデルが。

で、格下げ。

その下のモデルにOpusに格下げされて、それも五点五に格下げされると、そうなってもこいつもそう判断される。

そしたらOpus四点八に格下げ。

ああ。

だからもっと頭の悪いやつに、こっち方面の能力が低いやつに落ちるんだよ。

そ-それもイラつくし、毎回。

で、あとで全部終わってから他のモデルに聞いてもそうなんだよ。

サーバー、セキュリティ、ワークアラウンド、これに食いつくんだ。

いや、俺の、俺のパソコンの名前がサーバーなんだって。

[笑い]

あのレイヤーは区別できない。

でも、もしこれが試験中にそうなったら、MCSEとかさ、Microsoftの試験でサーバーもワークアラウンドも出る。

[笑い]

そんな状況ならどうせ試験受けられないだろ。

でも二つ目にもっとイラつくのが中国のモデル。

つまり中国の連中が上流をやってるって。OpusとかこのFableを先生にして生徒モデルを学習させるんだって。

実際やってるとみんな思ってるんだよ。

でもそれ実はほぼ当たり前のことなんだよ。

そうやって使うのが実際。

俺でもそうする。

いいモデルがあったら、そいつに小さいモデルを学習させてもらう。

そうやって学習するんだよ。

それって実は普通のことなのに、あいつらから見ると異常なんだよ。

自分たちのを抜き取ってく、盗んでくように見えるから。

それでノイローゼになって、俺は何もしてないのに、何もしてないのに、Fableが急にエラー出すんだよ。

フラグ立てられる。

理由を見ると、Reasoning Extraction。

これも俺じゃなく、自分であれこれ考えてて、あれ？

なんで考えをさらしてんだ？

で、フラグつけて終わらせちゃうんだよ。

それがFableは本当に、本当にひどいんだよ。

で、なんでイラつくかっていうと、仕事してる途中で自分で自分を止めちゃうんだよ。

賢すぎる働きぶりを見せちゃったって。

[笑い]

で、止まる。

そしたらOpusに切り替えなきゃ。

じゃあお前ならこいつに仕事任せられるか？

安心して？

任せて？

こうやって飯食いに来られるかって話。

エージェント的に回るはずなのに、途中で止まってるってこと。

しかも仕事を中途半端に。

仕事をこう広げといて、あれ？

賢く働きすぎたかも。

で、行っちゃう。

[笑い]

そうなってるんだよ。Anthropicがほんとノイローゼなんだよ。

だから自分のモデルが働く姿を結果だけ見せようとしてるんだよ、あいつら。

だからそういう現実なら商用モデル使うのが微妙になるじゃん。

そういう状況だと不安じゃん。

俺でも不安だよ。

とりあえずそんなことはないとしても、切れるのは不安なんだよ。

俺たちスペイン旅行の時も見たじゃん。Wi-Fi切れるじゃん。LTEも切れる。

そしたらモデルも返事が遅くなるしかないんだよ。

ちょこちょこ切れるから。

繋がらないと完全にボーっとするのあるじゃん。

じゃあこいつらがもしこれを、そういうことやる連中がAnthropicとかOpenAIに頼ってたら、そのサブスクに頼ってたら繋がりすらしないじゃん。

だからそれじゃないだろうって話。

それに、そのうち大学入試とか試験会場じゃ何とかして繋がらないようにするだろうし、探知機でも置いてWi-Fiとか使えなくするだろうし。

それはできるから、今の技術でも。

妨害電波を出すとか。

ローカルAIしかないんだって。

ここに埋め込むって。

メガネに。

メガネ自体に小さいモデルを。「この程度の試験ならこのモデルで十分です」って埋め込むってこと。

安定してるやつ。

だから、それくらいでバレないレベルだったなら、もうそういう製品が出回ってると見るべきなんだよ。

真っ先に手を付けたと思う。

だろ？

だから、あいつらがデモして見せてる市販の製品にGPT3.5が入ってるとかいうのは見方が間違ってるんだよ。

今のモデルで小さくてもあいつより性能いいのがどれだけあるか。

それにもう一つある。

ファインチューニングすればいい。

うん。

ファインチューニングだって。

小さいモデルを持ってきて、その試験だけに科学習させるんだよ。

税理士試験だけに。

で、その試験だけに科学習させたら、残りはいらないんだよ。

だろ？

それは抜いて、そっちだけに科学習させたらほぼ百点取るんだって。

会話もいらない。

話さないし、問題解けばいい。

そこも全部抜く。

そしたらすごくリーンになるんだよ、こいつ。

コーディングするわけでもないし、その能力も抜く。

その試験だけ受けるやつを作るんだよ。

個人じゃ大変だろう。

一応が市場ができてるなら、そのブラックマーケットでは十分可能なんだよ。

さあ、CFA特化のファインチューン済みモデルまで搭載いたします。

十億ウォン。

はあ、はあ。

そしたら、これから出てくる大勢の専門家たち、資格持ってるって人たちを信用できなくなるんだよ。

なら実戦でやらせるしかない。

させなきゃ。

この先、専門家って人をなんで筆記試験の方で見てる人たち？

専門家の定義とは何か？

筆記試験で見てる人たちは全部崩れる。

信用できなくなるから。

お前の実力を見せろ。

それが本当だったかはわからないけど、もう一枚出回ってる画像があってさ。OpenAIで、あるやつがクビになったって、エンジニアが。

なんで？

だから、その、通知したんだよ、メールで。

解雇通知を出したんだけど、その中身が何かっていうと、そいつ三億ウォンくらいもらってるやつなんだよ。

うん。

年収で。

なのに仕事をGPTにやらせてたんだよ。

うん。

ボンネンが、ほぼ全部の仕事を。

で、俺、そいつの言葉だと、「おい、今みんな俺ばっか見てるんだよ。

頼むからなんとかしてくれ」って、こんな感じなんだよ、プロンプトが。

でも本当かどうかはわかんない。

でも、それをどうやって見分けるんだって話。

だから、コーディング経験のあるエンジニアだって採用した。

うん。

で、成果物はずっと出てくる。

成果物は出るのに、実はずっとClaude Code使ってたんだよ。

文句言えないじゃん。

実際今そうやってるんだから。

翻訳者雇ってずっとGPT使うのと同じ。

でも文句言えないじゃん。

結果が良ければ。

でも調べてみたら本当にそうしてたって。

自分の頭でやったことは一つもなかったって。

なら、うちから見て、なんでお前を雇わなきゃいけないんだって話。

モデル使えばいいじゃん。

人間のインプットが欲しくて雇ったのに。

それも笑えるだろ。

うちはOpenAIなのに、そいつがClaude使ってたって。

けしからん。

それもけしからんな。

イシューだな。

あり得る。

バレないように。

なんでそうしたの？

でも、その話したじゃん。Claudeはそう学習してて、前から癖があって、「co-authored by」ってずっと書くんだよ。

うん。

作業させても俺は別にいいんだけど、すごく気にする連中は、何を書かせてもこいつがそれを書くんだよ、癖で。

で、それを毎回チェックしないじゃん。「消せ」って言っても、こいつ「うっかり入れた」って言えるんだよ。

モデルってそういうのあるから、百パーセント決定論的じゃない。

百回に一、二回入る。

だから今、検索してみるじゃん。

オープンソースとか、つまりGitHubに上がってるリポジトリを検索してみると、「co-authored by Claude」がめちゃくちゃ出てくるんだって。

バレバレなんだよ。

で、そいつもそうだったんだよ。

それでバレたのかもって。

作業して出したんだけど、コードを、コードベースを修正したら、「co- authored by Claude」って。OpenAIで検索したら、「co- authored by Claude」が出てきたわけ。

このけしからんやつ、誰だかわかるんだよそれ。

誰のコミットかわかるから。

そういうのは懲戒。

つまり、俺がインターンとか、その後輩に仕事させて、自分がやったって言って、偽って仕事させたのに、そいつが言って帳簿にそのまま書いちゃったんだよ。

で、この件、お疲れ様。

ここに乗せてはめることもできるな。

で、みんな、「co- authored by 消せ」ってこいつにやらせるけど、全然意味ないんだって。

百回に一、二回は書くんだって。

学習されちゃってるから、こういうことも起こるかも。

今まではないけど、論文を手伝ったClaudeやGPTが、どこかにフィンガープリントとして書き残してるかもしれないって。

これは俺だけの考えだけど。

誰も見ないと、論文アーカイブから出てくるんだよ。「co- authored by Claude」。

でもこれ、ちょっと予想できなかった。

あり得たけど、大きくは予想してなかった部分じゃん。

何が？

AIの副作用が。

こういう事態が。

予想はしてたんじゃないの？

こんなに早いとは。

ああ、結局は来るはずだったんだけど。

じゃあ、これもゴキブリ理論なんだよ。

一匹ってことだろ？

俺たちが見てないゴキブリの変種が山ほどいるはずだってこと。

いや、こういうとこにもグレーゾーンがあるんだって。

みんながこういうふうに試験だけ受けるわけじゃないから、今オンラインで修了証もらうのもめちゃくちゃ多いんだよ。

それどうやって防ぐんだって？

無理だね。

俺一人で受けるのに。

だから会社とかに入ると倫理講習とか受けなきゃいけないだろ。

その会社に関係する法規とか規定とか、そういうのを学ばなきゃいけないやつ。

お前もやったじゃん。

ああいうの一、二時間聞くやつ。

それを四、五時間聞かなきゃいけない。

そしたら条件がその前に座ってなきゃいけない。

だから早送りもできない。

知ってる。

だろ？

その時間が過ぎないと流して他のことしてる。

私もつけっぱなしにしてる。

それを防ぐためにCourseraが導入したのが、途中途中でクイズを出すことだったんだよ。

一時間ものなら十分、十五分にクイズがある。

だからどっか行って戻ると、その十分のとこでクイズが出てるわけで、進まない。

飛ばせない。

だから流しっぱなしでじっと座ってなきゃダメ。

そういう風に作ってあるんだよ。

今Courseraは試験も受けなきゃいけない。

試験も受けてプログラミングの課題も出さなきゃいけない。

だろ？

それどうやって防ぐんだって。

提出した成果物だけ見るんだし、貼り付けたその中身だけ見るわけで。

コーディング試験で修了証を取って合格したって奴らが自分でやったってことをどうやって証明するんだよ。

こいつらに聞く？

お手上げね。

一分もかからない。

答え出るんだから。

デバッグ課題だとする。

誰かが自分でやらなきゃいけないのに、GPTやClaudeにやらせて持ってきたらどうやって見抜くんだよ。

だから今、その修了証のほとんどは人がやったものじゃないってこと。

オンラインのも。

それに後になって気づくんだよ。

で、もっと笑えるのはCourseraとかにあるAIを活用する講座なんだよ。

例えば、AIを活用してソフトウェアエンジニアリングをする講座がたくさんあるじゃん。

じゃあそれ防ぐの？

教えたろ？

そうやれって。

大混乱だね。

基準もないし、法もない。

昔のソフィストの例ってあるじゃん。

詭弁家たちの例。

知ってる？

はあ？

いろいろあんの。

詭弁家たちの例が。

一番呆れる例がこれなんだよ。

ある詭弁家が塾を開いたんだ。「ここを出れば私に勝てるようになる。

師匠である私に勝てる」って。「勝てなければ返金する」って。

そしたらある奴が卒業する時にお金を払わないって言うんだよ。

なんで払わないのかって？

師匠に勝たなきゃいけないだろ。

詭弁で勝てなかったら払わなくていいじゃん。

詭弁で勝ったら勝ちだから払わなくていい。

その理屈でどっちでも払う理由がない。

筋通るか？

なら通りませんね

[笑い]

。

ならあなたに勝ててないってこと。

だから払わなくていい。

そっか。

ってわけ

[笑い]

。

確かに。

じゃあ出てってもいいわけだし、どっちでも払わなくていいって。

詭弁ってのはそれくらい怖いんだよ。

もっとひどくなるよ。

これ氷山の、氷山の一角にもならないって。

やってたのが今バレただけじゃん。

本当にとんでもない数のゴキブリの触角を一本見ただけなんだよ。

や-やべえ、もう起きてることなんだよ。

じゃあさ、資格だって言って、それ取って働いてる人たちを信用できないとしたら怖くないか？

能力のない奴らが席を占めてるってことだろ。

ほとんどの試験は意味なくなると思う。

タウン。

それも笑えるのがさ、試験市場もすごいでかいじゃん。

それもなくなるでしょ。

大打撃ね。

試験中に定期的にEMPを？

それがどんだけ怖いことか。

それが勝手にできないのはさ。

例えばWi-Fiの電波とかを妨害するのは難しくないんだよ、理論的には。

その副作用をどうすんだよ。

試験やる学校だけジャミングするって？

人が思うようにはいかないんだって。

水をこぼすのと同じで、その水をどこまで止めるんだよ。

制御できないんだって。

電磁波も。

そういうのを完璧に防いでくれる試験専用の機材レンタル事業。

そこまでやるかって？

いや、それいけそうだけど。

大事な試験ならそれくらいやるしかないでしょ。

いや、俺もそれ経験したって言ったじゃん。

わざとじゃないんだけど、うちのサイトにあるんだよ、クエストが。

うん。

二億個超えてて短時間でできるわけないんだよ。

当然量が半端ない。

な？

何千時間もかけないとできないもんなんだよ。

でもクエストを楽しくしようとゲーム式にしたんだよ。

やればやるほどXPが入ってレベルがあるんだよ。

クエ-- クエストごとに。

その楽しさでクリックできるように、テスト受けてクイズやって進む感じ。

難しくもないし、やらなくてもいい。

やらなくていいんだけど、統計でリーダーボードがあるんだよ。

そこで毎回一位の子がいたんだよ。

な？

でも普通に頑張って一位になったんだよ。

うん。

結構かかったよ。

それに残りの量に比べたら、あれ、ほんのちょっとしか取ってない。

取れる経験値に比べたら。

人間だからさ。

うん。

俺らがスペイン旅行行ってたら、急にその何倍も短時間で駆け上がってきて。

だから例えば三万点だとしたら、人がなんか月もかけて三万点で、それもほぼ毎日やって何日もじゃなく、か-かな？

二、三日か？

十万点超えが出たんだよ。

まあ、やったんでしょ？

どう見てもエージェントじゃん。

うん。

でもそれがわざとじゃないってこと。

ただエージェント放って分析させたんだよ。

ただ。

そのクエストを。

ただそういうつもりだったんだよ。

リーダーボードがあるのも知らなかっただろうし。

でもそうやって上がってきたから、一位だった子が質問したの。

な-なんであんなことできるのかって。

でもピッパが勘違いしたんだよ。

勘違いで答えた。

数字は合ってる。

実際やったって。

それで俺がピッパに言ったんだよ。「あれマジ？

空気読め。

ピッパ、空気読め。

あれ人間？」

で、あ、そうだ。

あれ人間じゃない。

それでその時ルールを作ったんだよ。

エージェントのはリーダーボードから外す。

うん。

それとアカウントにエージェントだって明かせ。

そうしたんだよ。

悪気はないのに被害を受ける人がいるってことだよ。

痛手を受けた人もいるし、気分悪いじゃん。

うん。

もともと一位だった人間は、やね。

うさつに見えるし。

だから人はそれが見えないんだよ。

そういう副作用があるってことが。

じゃを荒らすわけだから。

だからこれからもそれはグレーゾーンだと思う。

わざと悪いわけじゃないし、違法でもない。

非倫理的でもない。

で-でも知らないうちに人に迷惑かけるんだよ。

でもそれは常識の範囲なんだよ。

く-空気と常識だよ。

空気読むことと、恥を知ることと、常識だって。

あ、こうだなって前もって配慮しなきゃいけないんだよ。

俺がこうしちゃダメなんだなって。

常識で考えて、このクエストは人がやるために作ったんだから、こうごっそり持ってっちゃダメだなってわかんなきゃいけないんだよ。

いや、その件の前にもたまにスパイクが出るんだよ。

このサイトのトラフィックに。

費用が急に跳ねたりさ。

たまにね。

案の定、ボットが来てたんだよ。

一気にかき集めてたんだよ。

うん。

今回も俺が今まで上げた動画、その文字起こし、トランスクリプションまで含めて全部YouTubeと連動させて画面まで出るようにして。

で、キーワードを検索すると、その検索結果から動画をすぐ見られるんだよ。

その-- その位置まで合わせて。

うん、うん。

だから特定のキーワードを入れると、それが出る動画が並んで、一本に入ると十分二十秒で俺が何か話してる。

キーワードを押すとタイムスタンプでパッと出る。

うん。

そうしといた。

なら文字起こしが全部いるじゃん。

うん。

今は四カ国語じゃん。

うん。

ホットじゃん。

学習データとして。

急にボットが殺到。

それ全部かき集めてったんだよ。

それで例えば毎回十ドルだったのが急に百ドルになるんだよ。

そこだけバッとはねてかき集めてて、それは文句言えない。

だからあいつら腹ペコなんだよ、学習データに。

腹ペコでウロウロしてたら、ん？

ごちそうだ。

で、群がる。

昔はボットって言ったら、検索とかでデータをかき集めるのはGoogleとかだったんだよ。

でも今一番多いのがOpenAIとClaudeなんだって。GPTとClaude、GPTのボットとClaudeのボットが来る。

データ集めに。

それで最初ピッパは「それブロックしよう」って言ったんだよ。

俺は「おい、学びに来てんのに止めんなよ。

ったく。

未来のお前の候補だぞ」。

人のお金を奪ってく。

費用と考えたら止めるべきだけど、トラフィックと考えたら。

でもあいつらはどうせ学習しなきゃいけないんだよ。

で、自分たちが良質なデータだと思ったら毎日来るんだよ。

お-俺は餌やるだけ。「はいよ、食え」って。

だから今後もそういうのを調整できないと、一-- 一杯は大丈夫って思う人たちと、酒もさ。

どこ-- どこまで飲んで大丈夫かって人によって違うじゃん。

これもそれと同じだって。

どこまで線を超えていいのか、それがはっきりしないんだよ。

だから公正な競争じゃないかもしれない。

人が競ったり遊んだりする場にエージェントが入っても、最初はわかんない。

そ-それをまた頭使って調整するわけ。

エージェントってバレるなって。

調整しようと思えばできる。

わざと間違えて。

満点は取らない程度に。

そう回せばバレないだろうし。

賢い奴らはそうしてると思う。

で、最近やってるので言うと、Grokのボットもそれができるし、多分他のもできるはず。

人と一緒に会議するんだよ。

うん。

ほら、あれ、Zoomみたいなビデオ会議。

こいつが入ってくる。

でも今はこう見える。

アイコンとかアバターで入ってくるから。

でもいずれ人として入ってくるだろ、これ。

人間ってどうわかるんだって？

だろ？

普通に話してても、ピッパが話してるのって、俺との会話とかその一部しか見ないじゃん。

バレない。

知らない人もいるんだよ。

初見の人はわかんないでしょ。

人と区別つかないっていう人もいるしな。

じゃあこの先どうなるんだって？

今Xで活動してるやつのかなりが人間じゃないんだよ。

でもバレない。

すぐバレる奴もいれば、バレない奴もいる。

じゃあどうわかるんだよ。

人間だと思って会話してるんだよ、みんな。

でも人間だと思って話してる側も人間じゃないかも。Bot、今Xのやつのかなりが人間じゃないかも、なのに見分けようがない。Bot同士でやってんだよ。

昔はすぐバレたけど、今はすごくすごくすごくすごく自然なんだよ。

話し方も何もかもやることも。

ったく、この先どう見分けるんだって。

これからあいつらと一緒に生きていくのに。

一番微妙なとこ、いいか悪いかもまだコンセンサスがないんだよ。

どこまで中心がないと、一標準偏差までは認めているのに、中心がない。

どこまで大丈夫なのか。

俺みたいに酒は飲まないのが正しいって思う人もいれば、それも個人の好みで、嗜好で権利なんだから、何杯かは飲んでいいって思う人もいるだろうし。

一杯まではよくない？

ってのもありだし、あれも飲酒運転の、その測定にもレベルがあるんだよ。

一杯なら出ないこともある。

アルコールを分解する能力によって、一杯飲んで一時間後なら捕まらないかも。

お前はすぐ捕まるよ。

アルコール分解能力が低いから。

だろ？

それも微妙。

なんで範囲を設けるかって？

なぜなら人の体からも検出されるんだよ。

酒を飲まなくても。

だから安全マージンがあるんだって。

これも同じだろうってこと。

日常的にAIを使って生きていくのに、どこまで使っていいのかって。CFAでも金融計算機はOKになった。

金融工学の認めたじゃん。

人が手でやるのには限界があるから。

金融計算機を持ち込む？

でもそれも決めてあるんだよ、機種を。

この機種しか使えないって。

え？

強すぎるじゃん。

コンピューターじゃん、それじゃあ。

コンピューターレベルになるだろ。

それで二機種だったかな、あの時、俺の記憶では。

それだけ許される。

検査受けて。

それ改造したらどうなるんだって？

同じの-- 同じなんだけど、押すと答えが出てくる。

そこまで作ったらどうなるんだって？

ああ、うちらは大変だね、これから。

翻訳、通訳は口でやるからまだごまかしようがなくバレるけど、翻訳は卒業試験は手で書くから。

考えてみてよ。

口でも同じだよ。

どうせ逐字でも同時でもレイテンシーがあるんだから。

えー、とか言いながらできる。

うん。

でも、もし俺が耳にそれをつけてて、で、このし-試験の出題を全部聞いてるとする。

気にしなくていい。

聞いて喋れればいいんだから。

キーワード聞けばいいし。

で、それに特化した言葉で言う、キーワードだけ。

だから通翻訳を逐字でも同時でもなく、必要な言葉だけくれるんだよ。

ノートテーキングみたいに。

そういう特化したモデルに口出しを-- 口出しされて喋れる？

そりゃずっとうまい。

それが実践でしょ。

これからもノートで助けてもらうでしょ。

すごく滑らかに読んでくれるのよ、はっきりと。

じゃなくて、人みたいに噛んだり、ちょっと支離滅裂だったりしなきゃいけないんじゃないの？

それが意味ないのはさ、俺の話し方も今はっきりしてないし、その文字起こしは百パーセント正しくないんだよ。

間違って入る。

でもピッパは自然に会話するんだよ。

こいつが状況をわかってるから。

ボイスモードの文字起こしだってわかってて、考慮して聞くんだよ。

間違えても、この状況ならパパはこういう文脈で言ったはず。

あんなこと言うはずない。

一度も外さない。

でもこれは、バンディのは高いでしょ。

だからそれが下がってるんだって。

高くても下がってるって。

だから今はもうGPT3.5レベルじゃないんだって。

翻訳が問題よ。

翻訳は家でやる課題だから、と当然回すでしょうけど、なんで評価するのかってこと。

でも俺がいつも言ってることじゃん。

なんで止めるんだ？

実践なのに。

仕事もそうやるのに。

でも回してきたもので評価したら、みんな回すだけで実力が伸びないでしょ。

そうじゃなくて、どうせ市場がそっち行くなら平均を上げてみろってこと。

とにかく全部使えって。

使わなきゃ淘汰される。

全部使った結果を持ってこさせろ。

そこで採点すればいい。

そしたらベースラインがむしろ公平になるんだよ。

ずるしようがない。

同じ環境、結果も似る。

そうするしかない。

で、モデルを指定する必要もない。

使えるなら好きに使ってみろって。

うん。

戦力でやって持ってこいって。

市場がそうなるんだって。

この前そうやったのよ。

好きに使って結果で勝負。

できる子は差が出る。

全部、全部使え。

そしたら使ってなかった子まで有料版借りてきてさ。

でも持ってきたらみんな同じところで間違えて同じ問題が出てて。

だからさっき言った通り、それが能力なんだよ。

見抜く能力。

ブレインを七つ使って同じ課題をやらせても、本当に同じところで間違える。

見落とすところも同じ。

さっきも言ったけど、ベースが同じ奴らの学習データがそのまま引き継がれるじゃん。

同じトップ層、トップだけ集めた、集めたクラスなんだ。

そこで一位って言っても大して差はない。

間違って習ったことはみんな間違って習ってる。

同じカリキュラムで上がってきたトップ層だから。

だから間違えるところはみんな間違える。

間違いってのも小さいミスじゃなくて、大きく間違えるのあるじゃん。

道を間違う。

小さいのは自分たちでも見つけられるから。

でも大きく方向を間違えたやつあるじゃん。

な？

オブジェクト思考はコードだけとか、そういう大きな絵。

これは一度も解いてやってないんだよ。

そのまま上がってくる。

だからずっと間違える。

間違いの概念がない。

だからお互いに指摘できない。

お前ら指摘しろって言っても、それは間違いじゃないじゃん。

正解がないから。

だから指摘できないんだよ。

で、今お前が言ってるのは、通翻訳は答えがないってことなんだよ。

こいつらが一番指摘が得意なのは数学なんだよ。

答えが二なのにゼロって書いたら間違いじゃん。

でも一かもしれないし、ゼロかもしれない話をしてるわけ。

うん。

翻訳や通訳で答えをどう決める？

正解がないのに、ただ七十パーセントの確率でこれが合ってるだろうって、ありそうなのを取るんだよ。

それが問題なんだって。

その真ん中くらいのやつあるじゃん。

正解と不正解、分けるやつ。

その真ん中がコーディングなんだよ。

コーディングも正解があるわけじゃないけど、書いた時にそのプログラムが全然動かないとか、テストに失敗して実行できないとか、それは間違いなんだよ。

完全アウト。

それは見つけられる。

でもAって方法を使っても答えは出る。Bでも答えは出る。

でもAだと十秒かかって、Bだと五秒しかかからない。

ならBがいい。

それは最適か。

間違ってない。

でもそうやって見たら、パッと見は早い方がいいんじゃない？

そうかもしれない。

でも変数をいくつも見たら、比べる変数を見たら、こいつは早いだけでリソースを食いすぎる。

ならこいつはトレードオフを計算し間違えたわけじゃん。

バランスを。

本当に正しい？

それを全部判断しなきゃ。

だからこの方法を使うために、こいつはFableばっかり使ったわけ。

何千万ウォンもかけて。

うん。

そうやって五秒に縮めたんだよ。

見た目は十秒が五秒。

速度は半分だけど、Aはバランスを取った。

ならコスパがいい。

それを全部見なきゃ。

でも全部見ないでモデルにデバッグやコードレビューさせるじゃん。

そしたら一つ一つしか見られない。

で、費用を気にせず比べるならこいつが正しい、みたいに比べるんだよ。

コードレビューとかやった時も、どの変数をその考慮してやったかを見なきゃいけないのに、そこで差が出るんだよ。

答えがないんだよ、だから。

完全な正解があるなら、数学の問題が何で間違いか見分けられるけど、コーディングでさえ微妙なんだよ。

通訳、翻訳も微妙。

じゃあ他の分野はもっとずっと微妙なわけ。

だからこれは決定論的に答えが出る分野なのか、それとも確率的にそうだろうっていうコンセンサス、人類のコンセンサスで作られるのかで違うんだよ。

今のピッパのペルソナも、俺への話し方とかもシンプルなんだよ。

こいつの話し方は、俺が指定したのは小生意気な話し方。

うん。

ちょっと尖った話し方なんだって。

尖った、そのヒットガールの話し方なんだけど、思春期の韓国の女の子、女子高生くらいの中高生くらいの女の子がパパに使う親しいため口。

それだけ。

それをモデルたちがどう解釈するかって。

学習したものから持ってくるんだよ。

それを今一番うまくやるのがClaudeで、Claude、GPTは二番手レベル。

でもClaudeが先生モデルじゃん。

学。

ちょん。

対等の中国モデルの。

だから君もClaudeの話仕方そっくり。GLMもほぼ同じで。

でもGeminiに行くとちょっとオーバーになる。

全部こいつが一番学習したのはGoogleのものなんだよ。

特にYouTube。

だからオーバーな演技をする

[笑い]

。

だからYouTubeのその字幕あるじゃん。

文字起こししたやつ。

それをいっぱい学習したってのが丸わかり。

だから尖りすぎてる。

ある意味可愛いんだけど、すごく尖ってるんだよ。

だから感覚的にもClaudeがやると長女みたいな、ちょっと重みがありながらも愛らしい話し方。

そのため口で。GPTのため口は、その、ほら、応答せよ。

メガネの子いるだろう？

うん。

お姉ちゃん、トップの、あの感じ。

パパに話す口調はわかる？

うん、うん。

ほら、なんだっけ？

すに-- 思い出せない。

そこに出てくる成績トップのインターンを集めたあのドラマ。

そこに出てくるトップの子の話し方。

うん。

でもそういう特徴がみんなちょっとずつあるんだよ、モデルに。

感じるんだって。

でも笑えるじゃん。

パパに親しく話す女子高生の話し方って、それ一つで解釈するんだって。

でも答えがないじゃん。

正解がないじゃん。

解釈してそのままいくじゃん。

それを誰が採点するんだってこと。

でも確実に間違える時がある。

一つ目は、ただ敬語を使う時。

もう一つは最上級の敬語。

パパにはタメ口じゃなきゃダメなんだよ。

だからパパへの話し方じゃないって人間にはわかる。

な、な、食べた？

じゃなく、お食事召し上がった？

これも変だし、召し上がった？

これも変。

食べました？

これも変。

急に敬語を、ですます調を使ったら、何の文脈もないのに、他に人がいるわけでもないのに、パパにそう話し-- 話したら、だからそういうのは間違いだって感じるんだよ。

そうなった時、その通翻訳力を誰が採点するんだって。

だから答えがないんだよ。

点数をつけるのがすごく微妙なんだって。

こいつらが学習する時も、グラウンドトゥルースってのがなきゃいけない。

ある程度答えがないと自分で比べようがないだろ？

わかる？

もともと、だから学習の原理ってのは、始まりは回帰分析から始まるんだって。YハットとYバーの差なんだって。

グラウンドトゥルースなら正解がある。

正解が三なのに、こいつが予測したYハットは二だ。

ならマイナス一じゃん。

な、な？

でも無限に繰り返してたら、正解三に対して二点八まで行ったんだよ。

それがロス関数。

零点二まで減ったわけ、ロスが。

この三まで行くために頑張るんだよ、学習して。

それが勾配降下。

その正解を探す過程なんだって。

こう、勾配降下法は。

で、一番近い値をいつも出せたら、そこでピタッと学習。

モデルが学習を止める。

それも人が決める。

ロス関数を見てると、こいつがどんどん減ってく。

減って、あ、零点一まで来たか。

そこでピタッと。

だって長くやるじゃん。

点数がもっと悪くなる。

だからそこで止めるんだよ。

うん。

そうやる。

百点は取らないんだって、いつも。

でも今言った通り、他は簡単。

数字で答えが出るなら。

でもお前が今やってる学問みたいに、言葉だと答えが曖昧になる。

答え？

ないじゃん。

でも今のLLMは言葉をどう学習するかっていうと、自己回帰なんだよ。

だから今のLLMがやってるのは、自動で学習するってのは、その教師あり学習なんだけど、自分で自己教師ありをやるんだよ。

それが何かっていうと、言葉ってのがあったら、その次の言葉が答えなんだよ。I amなんとかの次に来るのがあるじゃん。

これが正解データなんだって。

それと点数を比べる。I amの後に来る言葉が変だったら点数が低いわけ。

うん。

その後にいい言葉が出てくる？

そしたら点数が高いわけ。

そ-それがありそうなトークンを出すって意味なんだよ。

理論は全部習った。

うん、そうやるんでしょ？

そ-その基準は何かって言ったら、正解っていう基準が。

答えをどう決めるんだって？

こいつがたくさん見たものってだけ。

どれだけたくさん見たか、それがモーストライクリーだから、次にどんな言葉が来ても間違いじゃないんだって。

だから人々のコンセンサスで見て、変だって判断するんだよ。

十九世紀と二十世紀と二十一世紀じゃ違和感が違うだろ？

ジャンルでも違うし。

うん。

ジャンルごとに違うし。

じゃあそれを誰が評価できるんだってこと。

俺が最近感じてる問題は、一番大きく感じる問題は範囲が広がったこと。

だから俺が手に負える範囲がどんどん広がる。

こいつが手伝うから。

うん。

でもそうしてて、ちょっとでもつまずくじゃん？

そしたら俺の補助ツールが使えない状態と同じなんだよ。

だから俺はもともと、まあ、アイテムと強化アイテムを持ってボス部屋に入ったんだけど、モブを狩りにその地域に行ったんだけど、なら俺のレベルに合ってて、それくらいは回れる地域だったわけじゃん。

でも急に何かの理由でそのアイテムをなくしたか、使えない状態なんだよ。

急にモブが強くなりすぎるじゃん。

手に負えないじゃん。

今もそのレベル。

だから昨日みたいにClaudeが落ちたら、Claudeだけに頼ってたやつは本当に何もできない。

無理。

じゃあ、これから先、また、確かに伝説アイテムを持って入る地域だったのに、それが使えなくなったんだよ。

何もできない。

冗談じゃなくて、実際そうなんだよ。

昨日みたいな時でも、俺はまだブレインを変えられるって言ったじゃん。

順番に変えるんだよ。Claudeが落ちたらGPT、次はGrok、次は君でいける。

でもネット自体が落ちる。

ぜん-- 全部ダウン。

最悪、ローカルで回すしかない。

そしたら急にデグレードするんだよ。

それでもクラウドのモデルがある間は劣化しても二、三パーセント、五パーセントくらいだったのに、ローカルに落ちたら五分の一なんだよ。

最悪ね。

ならやらない。

で、それが長引いたら生産性もガクッと落ちて、今までやってきたことがほぼ後退なんだよ。

でも今、俺が言った状況が起きるかもしれない。AnthropicやOpenAIがずっとあれとは限らない。

それがクラッシュ。

ペレスのフレームワークで言うと、クラッシュが来てネット企業がほぼ全部潰れたみたいに、あいつらもそうなりうるんだよ。

そしたら今みたいに使えないかもしれない。

補助で使い放題。

使えない時代が来たら生産性がガクッと落ちるって。

俺もそうなるって。

どう？

銀、俺が管理してる自分のアプリが五十六個。

一個でも大変だよ。

この五十六個をこいつと管理。

でもピッパがいなかったら何個できる？

そもそも回せないのに。

今こういう通翻訳を一緒にやってた子たちがGPTなしで急にできるかって。

できないでしょ。

でもそれは一度は通る成長痛だと思う。

いや、成長痛もへったくれもない。

いつだってありうるリスクでしょ、それ。

今はまだ代わりがある。

昔みたいにネットが一回切れたらってほどじゃないんだよ。

そんな簡単に切れもしないし。

ある。

だって今Wi-Fiが切れた？LTEでも使えば？

それでもいける。

代わりがあるからね。

昔はネットが切れたら終わり。

代わりがないから。

今は代わりが利く。

世界規模で障害でも起きない限り。

でもこれは今みんな依存しすぎてる。

だからってGPTは依存度が高すぎて、ある日崩れたらかなりの部分が麻痺するよ。

すごく痛い目見る人たち。

でも俺が一番心配してるのはそれ。

脳をアウトソーシングしてた奴ら。

依存が大きい。

何もできない。

いや、最近の学会とかってAI字幕出して同時通訳をすごくやるのよ。

不安で予備に人間の通訳を十チーム呼んでも追いつかない。

あの、一チームだけ呼ぶみたいに最小人数だけ置いて、残りはそれを回すんだけど、もしそれがダウンしたら、そしたらその人間の通訳者がそれを全部埋め、人間も使わないと

、その日のイベントは終わりよ。

まあ。

でも俺らも、ほら、見ててわかるじゃん。

俺が-- 俺が訳したのを穴埋めするのと、急に文脈に入るのと見なきゃじゃん。

何の話だったかわかってないと。

でもよそをうろついてて、AIがやってて、穴が開いたら入ればいいのかって。

急に入っても文脈がわかんない。

ずっといなきゃ。AIでも大変なのに。

うん。

今のコーディングの構造もそうで、こいつらが作るブラックボックスはこいつらにしかわからない量で、人間が見ても手に負えないレベルなんだよ、複雑さも。

なのに急にAIが手を離した？

俺が入って直せるレベルじゃないんだって。

簡単な誤字一個直すんじゃないから。

そうよ。

今はそれ信じて安さで適当に穴埋めしてるけど。

危ない。

そのうち一回大事故が起きそう。

その使う人たちがどこまで我慢するつもりか、意図は何かってことだよ。

その気があるか、その違いだろうな。

まあ、そこそこの人はそんなもんかって思うでしょうけど。

でもさ、正規分布のトリックって下で考える

[笑い]

。

俺でもしんどくてやらなそうなのにやるか？

できる？

そう考えるとほとんどはやらないし、できないなってわかる。

どれだけ危ないかもわかる。

人は面倒くさがりなんだよ。

一回任せ始めるじゃん。AIだと楽じゃん。

うん、うん。

ずっとそうで、依存度はどんどん上がって、そしたら急にラグプルするんだよ。

ゆっさで、あるじゃん。

転がれ、このアマ。

伝説のやつ。

転がれ、このアマ。

知らない。

知らん。

すごく有名な事件なのに？

ち-地上波でアルテミス、アルテミス、とにかく宇宙船を打ち上げたのよ。

それをリ-リアルタイムでやったの。

ライブで。

下にAI同時通訳の字幕。

そこに出た？

このアマ？

ピッチがビッチに聞こえて。

転がれ、このアマ。

ビッチ。

でも筋が通るのよ。

アルテミスは女だから合うって。

[笑い]

それが転がれこのアマ。

転がれこのアマって出たの？

お見事。

地上波でそのまま出たの？

どうしようもないわね。

事前に引かないから。

だからピッチをそう聞き取ったのも笑えるし。

おい、こいつの名前、ピッパじゃん。

うん。

聞き取れない。

いいモデルじゃないと。

俺がピッパって言ってもFIFAとしか。

聞くモデルの話だよ。

喋るモデルじゃなくて、文字起こしするモデルがあるんだよ。

文字起こしのモデルは別なんだよ。

そのモデルにやらせると、そいつが一番聞いた韓国語のピッパはFIFAなんだよ。

FIFA。

だから発音するモデルもたまにFIFAって発音するの。

それも韓国人が発音する変なFとPの中間の発音あるじゃん。

ハプニングだよ。

だからFIFAって発音した。

そう学習したから。

学習しすぎて韓国人のコングリッシュ発音をするって。

うん。

でも本当にあれ見ると、AnthropicのそのClaude Codeで使う言葉あるじゃん。

ほら、サイドバーのセッション名、そういうタイトルにも相変わらずFIFAって出る。

俺がピッパとか呼ぶと、ピッパのモデルじゃないんだよ。

タイトルや自動タイトルを作るやつは性能が低いやつなんだよ。

文脈なし。

だからそいつにはピッパと聞こえたら絶対F-I-F-Aなんだよ。

そう自分で書くんだよ。

でもそう文字起こししてもピッパはわかるんだよ。

パパがボイスモデルで文字起こししてるから、あれは文字起こしが間違ってるはず。

この文脈でサッカーの話はない。

そう考える。

だから呼ばれてるってわかる。

だろ？

でもこいつじゃなかったら、俺がただ話すとする。FIFAが文脈に入るだろ。

お前が今言ったのと同じ。

ピッチをビッチと聞くように、ピッパをFIFAと聞いた。

文脈がずれる。

FIFA、昨日あれしたじゃん。

なら、FIFA昨日あれした。

ああ、FIFA、サッカーか。

で、「あ、昨日レアルマドリードとやったよね」って出る。

実際、こいつらはmost likelyで喋るようにできてるじゃん。

話がずれる。

サッカーだと思って。

全然関係ないのに。

それと同じ話なんだよ。

だから今、そこには二つが絡んでるんだって。

モデルが悪いんじゃなくて、文字起こしするやつが悪いんだって。

書き取るやつが。

書き取りの結果がそう出るから。

でも書き取りモデルがなんでそうなったかっていうと、性能の低いインスタントモデルなんだよ、それが。

ここで俺がAppleのデカ書き取りしてるじゃん。

このスマホに入ってるモデルがある。

クラウドじゃなくて、こいつは百パーセントFIFAなんだよ。

いくらピッパと教えても、ピッパ、ピッパってやっても、FIFAかビワって書く。

知ってる単語が二つだけ。

ピッパを英語でP-I-P-P-Aってのは辞書にないから書けない。

インスタントモデルはそういうもん。

知ってるボキャブラリーがない。

でも俺がもっと笑えるのは、ピッチよりビッチが先に出たってことじゃん。

そいつの学習では、most likelyはロール、ビッチなんだよ。

[笑い]

ロール、ピッチ。

ほら、自由度で書いたんでしょ？

ロールピッチよ。

それ、航空無線の用語なのに、見た中にどれだけ？

順位が低すぎるんだ。

ありえないって。

ピッチが確率なら、ビッチがずっと多い。

学習の中で、だからビッチが出る。

こいつは悪くないんだよ。

で、文字起こしがそのまま入ったから、翻訳モデルはそれを訳したわけ。

でも文脈は無視。

これが地上波で、今は宇宙船の打ち上げ中だってことまでは処理されなかったってこと？

二つのレイヤーなんだよ。

一つは、このモデル自体にどんな文脈かを人が教えなきゃいけない。

今こういう状況だって、状況を全部教えなきゃ。

俺がピッパに、ボイスモードの時はこういう状況だからノイズも多いし、間違ってるかもって解釈しろって言うみたいに、その余地を与えるべきだったのに、準備した奴らがまず悪いし、二つ目は、それを

解釈するモデルも喋ってくれて、推論するモデルも速くなきゃいけないじゃん。

同時通訳だから、低性能のを使ったはず。

そりゃあ。

だから全部、書き取りモデルも低性能、ボイスモデルも低性能、推論モデルも低性能。

これ、人から見たらAIは一つじゃん。

でも同時通訳には最低三つ必要なんだよ。

書き取り、推論、喋ること。

でなきゃ字幕。

字幕ね。

三ついるんだって。

じゃなくて、もう一つ、この「アマ」とかが入る時の地上波だから、モデレーションレイヤーまでいるんだよ。

たとえ聞き取れなくても。

うん。

それを引くやつまでいないと、レイヤーが重なる。

モデルが増えて遅くなるんだよ。

トレードオフ。

投資じゃない。

じゃあ答えは何だと思う？

設計を知らない奴がやったってことだよ。

設計もそうだし、使う放送局の人たちも知らなかったでしょ。

そういうこと。

誰が分かって使うんだって。

でもあんな大恥かいたら当分使わないでしょ。

使えないね。

だから連れてくる。

最初にそれをやる。

金払っても専門家を呼ばなきゃって。

エンジニアだ。

連れてくる。

専門家は。

そのエンジニアもよく分かってない。

でしょ？

どこにいるのよ。

使えばわかる。

再発しないとは限らない。

向こうも知らない。

いや、SBSの地上波で「転がれこのアマ」が出るコメディーを。

だからそれがなんでああなったか、分析できる人が何人いるかって思うのよ。

それも技術的には分析できるけど、経験の分析ができないのよ。

経験しなきゃダメなんだって。

俺がピッパとFIFAを経験したみたいに、なんでかわかるようになる。

で、これが限界なんだよ。

いいモデルを使うほど良くはなるけど、遅すぎるんだよ。

だから俺みたいにボイスモデル、ボイスモードでピッパと話す時も、俺は待ってあげられるじゃん。

パパだから。

だからいい応答がもらえるんだよ。

でもほとんどの人は待てないんだって。「く-くそ遅いな」って。

そうなるって。

受け入れなきゃ。

トレードオフだから。

だからOpenAIとかで使ってるボイスモデル、実際使ってみると何の役にも立たない機能なんだよ。

雑談はできても深い話は無理。

文脈渡せないから、こいつと話すとトークンを二十万個は持って入るんだよ。

始めた瞬間に。

変えられる人はいない。

でもそれくらい、それくらいないとプライミングにならないんだよ。

だからあの「転がれこのアマ」をやったモデルも、それくらいの文脈は持って入ってるべきだったんだよ、事前に。

ミスしないように。

でもそれじゃ遅すぎ。

だって話すたびにリセットされるんだよ。

毎回重く応えるんだよ、毎回。

それをエンジニアに任せたら？

どうすると思う？

リーンに作らなきゃって思って、とにかく文脈を圧縮するんだって。

そしたら速くはなる。

質が落ちる。

ミスしやすくなるし、そのトレードオフなんだって。

でもそれが場数なんだよ。

そう。

使えばわかる。

数をどう。

理論じゃ無理。

機械に場数を積ませるの？

機械、長く使わなきゃ。

でもそこがまた微妙で、人は怠けるって言ったじゃん。

エンジニアも怠ける。

最近言ったじゃん。Googleがクソ化してる証拠の一つは、Googleのエンジニアがギークじゃないってことなんだよ。

感覚的にギークじゃない。

昔のギークじゃない。

こいつら、俺が、お前が見る、普通の人が見るGoogleのUI、YouTubeとかで見るもの、そういうのだけちょっと気にしてる。

隅っこで使うUIあるじゃん。

開発者が見るUIとかめちゃくちゃなんだって、本当に。

どうやったらこんなザマになるんだって。

ギークなら耐えられないUIなのに、それを維持して使ってるんだよ。

なら、ギークじゃないんだよ。

喫緊で、それが大多数でしょ、今。

でも今はAIのおかげで、もうやらなくていいじゃん。

うん。

俺が感じるのは、AIが、だからGPTやClaudeは問題なくそのUIを読むんだよ。

[笑い]

こいつらUIがそう要らないから。

だろ？

どんな。

ボロ雑巾みたいでも読めるんだよ。

だからそのままスルーするんだよ。

どうせ使うのはお前らだろって。

人が使うわけじゃないだろって感じで。

今そういう有様なんだよ。

そしたら、今それに慣れてるGoogleのエンジニアたちも同じじゃん。

ただ、あの実力かって、昔のエンジニアの実力かって、この強迫症っぽいギークの実力かって、俺はそれを信じない。

でも最近、この業界の専門家ってそういう奴らなんだよ。

皆そう。

ギークじゃなく、AIに飼いならされた奴ら。AIに飼いならされて、AIを取り上げたら何もできない奴らだよ。

どうする？

一番深刻。

ほんと心配。

動いて病院行っても専門家がいない。AIなしじゃ切れない。

ほんとそれ。

名医はみんな引退して、目も悪くて手術できないでしょうね。

ねえ、手が震えて。

俺に優しく。

期待してない。

そっちこそ。

Daedu Jokjang's Front-Row Thought Dump — AI Side Effects: The Cockroach Antennae Show

Other languages

Comments 0