GPT-3 en ChatGPT - Kies uw job wijs

[Jaak]

kies uw job wijs

[acku]

https://www.standaard.be/cnt/dmf20231119_94001452

Goeie samenvatting

[Vrieskou]

En Altman + core team ingelijfd bij MSFT. Satya is ne killer

[acku]

stel u voor dat ge vroege investeerder waart in OpenAI en dan doen ze dit, op een dag.
En voor zover ik weet heeft OpenAI Microsoft nodig voor de cloud infra te financieren ook... maar als t nu vermenging wordt, waar dan naartoe

[Bjorn]

Wordt ne leuken Teams call tussen het AI Research team and OpenAI binnenkort. Vraag mij af wat de impact gaat zijn op de gigantische investering die Microsoft gaat/ging doen in OpenAI, nu ze zelf de posterboy van AI research hebben binnengehaald.

[acku]

Embedded Tweet

[CSM]

AI is niet zo maar de zoveelste overhypete technologie die tech aandelen omhoog moet stuwen. Het is een soort geloofssysteem/sekte.

Dezelfde zotten die AI koste wat kost willen pushen, zijn zo overtuigd van hun eigen bullshit, dat ze geloven dat AI de mensheid gaat vernietigen. Letterlijk een doomsday cult.

En de zotten hebben er een paar uit het zottenhuis verbannen omdat ze niet zot genoeg waren.

The world is presuming that there’s something absolutely awful about Altman just waiting to come out. But we suspect the reason for the firing is much simpler: the AI doom cultists kicked Altman out for not being enough of a cultist.

Here’s Wired on OpenAI from September 2023:

What if it was fair to call OpenAI a cult, though?

Until Friday, OpenAI had a board of only six people: Greg Brockman (chairman and president), Ilya Sutskever (chief scientist), and Sam Altman (CEO), and outside members Adam D’Angelo, Tasha McCauley, and Helen Toner.

Sutskever, the researcher who got OpenAI going in 2015, is deep into “AI safety” in the sense of Eliezer Yudkowsky. Toner and McCauley are Effective Altruists — that is to say, part of the same cult.

Eliezer Yudkowsky founded a philosophy he called “rationality” — which bears little relation to any other philosophy of such a name in history. He founded the site LessWrong to promote his ideas. He also named “Effective Altruism,” on the assumption that the most effective altruism in the world was to give him money to stop a rogue superintelligent AI from turning everyone into paperclips.

The “ethical AI” side of OpenAI are Yudkowsky believers, including Mira Murati, the CTO who is now CEO. They are AI doomsday cultists who say they don’t think ChatGPT will take over the world — but behave like they do think that.

D’Angelo doesn’t appear to be an AI doomer — but presumably Sutskever convinced him to kick Altman out anyway.

Yudkowsky endorsed Murati’s promotion to CEO: “I’m tentatively 8.5% more cheerful about OpenAI going forward.”

We’ve written before about how everything in machine learning is hand-tweaked and how so much of what OpenAI does relies on underpaid workers in Africa and elsewhere. This stuff doesn’t yet work as any sort of product without a hidden workforce of humans behind it, pushing. The GPT series are just powerful autocomplete systems. They aren’t going to turn you into paperclips.

Sam Altman was an AI doomer — just not as much as the others. The real problem was that he was making promises that OpenAI could not deliver on. The GPT series was running out of steam. Altman was out and about in the quest for yet more funding for the OpenAI company in ways that upset the true believers.

A boardroom coup by the rationalist cultists is quite plausible, as well as being very funny. Rationalists’ chronic inability to talk like regular humans may even explain the statement calling Altman a liar. It’s standard for rationalists to call people who don’t buy their pitch liars.

So what from normal people would be an accusation of corporate war crimes is, from rationalists, just how they talk about the outgroup of non-rationalists. They assume non-believers are evil.

It is important to remember that Yudkowsky’s ideas are dumb and wrong, he has zero technological experience, and he has never built a single thing, ever. He’s an ideas guy, and his ideas are bad. OpenAI’s future is absolutely going to be wild.

There are many things to loathe Sam Altman for — but not being enough of a cultist probably isn’t one of them.

https://davidgerard.co.uk/blockchain...-shell-script/

The AI community has long disagreed over how swiftly to develop tools capable of generating a broad range of images, software code and blocks of text quickly, with minimal prompting. Some have argued that, left unchecked, the technology poses threats to users, while others say that a slowdown would be irresponsible and could put people at risk — say, by depriving the sick of remedies more quickly discovered by AI. Such disputes have plagued OpenAI since its inception, and disagreements over safety and commercialization are why Elon Musk broke ties with OpenAI in 2018. They also explain why a group of employees departed in 2020 and started rival Anthropic.

While announcing Altman’s exit, OpenAI’s board also said Mira Murati, an Albanian-born Dartmouth-educated engineer who helped develop some of the company’s best-known products as its chief technology officer, will serve as OpenAI’s interim chief executive officer.

Alongside rifts over strategy, board members also contended with Altman’s entrepreneurial ambitions. Altman has been looking to raise tens of billions of dollars from Middle Eastern sovereign wealth funds to create an AI chip startup to compete with processors made by Nvidia Corp., according to a person with knowledge of the investment proposal. Altman was courting SoftBank Group Corp. chairman Masayoshi Son for a multibillion-dollar investment in a new company to make AI-oriented hardware in partnership with former Apple designer Jony Ive.

https://www.bloomberg.com/news/artic...true#xj4y7vzkg

Roko's basilisk lacht zich een hoedje.

Ook frappant hoe snel men weer een personencultus rond een tech figuur heeft gecreëerd.

[acku]

andere topic
https://www.nieuwsblad.be/cnt/dmf20231120_93631464

Wie de geciteerde artikels van Bodymap erbij neemt, komt van een kale reis thuis. Liefst 28 van de 41 geciteerde artikels bestaan niet. Een onderzoek van 2019 dat een verband legt tussen de motorische vaardigheden van 6 tot 11-jarigen en hun executieve functies? Nergens te vinden. Of bewijs uit 2017 dat kinderen met een betere balans en coördinatie academisch beter zouden presteren? Heeft nooit bestaan.

Het probleem met de onbestaande artikels kwam aan het licht na de brief van afgelopen week. Toen de storm was gaan liggen, ging Hilde Van Waelvelde, emeritus hoogleraar aan de UGent en een van de trekkers van de brief, kijken naar de wetenschappelijke bronnen die Bodymap op zijn website aanprees. Tot haar verbazing stond daar een artikel bij met haar naam, dat ze nooit had geschreven. Toen Van Waelvelde ook de andere artikels begon na te kijken, bleek er een groter probleem.

ne mens denkt, LOL DAS NET ZO ERG ALS CHATGPT

...

Reactie Bodymap: 'We hadden bij ons boerenverstand moeten blijven'
De oprichters achter Bodymap, Ann De Wilde en Liesbeth Verhoeven, geven toe dat ze de mist in zijn gegaan. De wetenschappelijke artikels die ze op hun website hadden staan, hebben ze bij elkaar gezocht met behulp van het AI-programma ChatGPT-4. ‘We voelen ons sinds de eerste kritiek op Bodymap in 2019 onder druk gezet en geloofden dat we extra wetenschappelijke onderbouw nodig hadden. We hebben misschien te snel en te veel op AI willen vertrouwen. Dit willen we dan uiteraard rechtzetten en onze excuses aanbieden.’

[CSM]

Embedded Tweet

[acku]

Originally Posted by CSM

AI is niet zo maar de zoveelste overhypete technologie die tech aandelen omhoog moet stuwen. Het is een soort geloofssysteem/sekte.

Dezelfde zotten die AI koste wat kost willen pushen, zijn zo overtuigd van hun eigen bullshit, dat ze geloven dat AI de mensheid gaat vernietigen. Letterlijk een doomsday cult.

En de zotten hebben er een paar uit het zottenhuis verbannen omdat ze niet zot genoeg waren.

Ook frappant hoe snel men weer een personencultus rond een tech figuur heeft gecreëerd.

Als er ergens een as is tussen conservatief ongeloof en techno-optimisme, jij zat helemaal links. Het is zinvol voor onns dat er hier zulke mensen zijn, enkel jammer dat je telkens zo hard in je stelling opgaat dat je gewoon verder en verder in een bubbel van gelijkgestemden verzeilt.

Of het nu crypto, Israel, Trump of AI is dus

Laat mij eerder aan de andere kant zitten, en u dus zeggen: er zijn risico's aan emergent AI, en als ze komen is het sneller te laat dan je uw Twitter kan openen.
Het is indrukwekkend dat we nu de eerste tekenen ervan zien op hoog niveau, voorbij scifi om.

Je verwacht dit



ik verwacht dit

[Jonah]

Die tweede grafiek geeft toch totaal geen andere "view on intelligence" dan de eerste?

[onbewust]

De kinderlijke tekenstijl helpt niet echt, maar het gaat erom dat het verschil tussen mensen en mieren niet zo groot zal zijn eenmaal AI slimmer wordt dan ons.
Het is gewoon moeilijk om dat uit te leggen omdat de mens gewoon niet slim genoeg is om te begrijpen wat zo'n superintelligentie kan, net zoals mieren ons niet begrijpen.
Onlangs in een podcast gehoord dat ChatGPT eigenlijk al slimmer is dan de gemiddelde mens, het gaat exponentieel omhoog en niet lineair.

Nogal dramatisch en clickbaity maar wel interessant:

http://youtu.be/bk-nQ7HF6k4

[Jonah]

Mijn punt is dat het gewoon twee verschillende opinies weergeeft over relatieve verhoudingen van intelligentie, maar dat ze beide dezelfde (mechanistische, geïsoleerde) definitie van intelligentie voorstellen. Wat ook wel moet, I guess, om een vergelijkbare grafiek te kunnen maken. Maar het helpt mij weinig om te weten wat nu juist bedoeld wordt met "Chat GPT is slimmer dan de gemiddelde mens". Enfin, 't is te zeggen, het helpt me wel, maar ik vind dat dan een triviaal gegeven. Zolang ChatGPT maar niet in staat is om met mijn vriendin en kinderen te gaan lopen, bijvoorbeeld.

[CSM]

Originally Posted by acku

ik verwacht dit

Maar 'dit' is dus een wensdroom, en er is geen enkele indicatie dat we op dit pad zijn.

De huidige "AI" in bijvoorbeeld de vorm van ChatGPT is nog altijd een veredelde autocomplete functie, het is geen echte intelligentie die bijvoorbeeld beredeneerd een antwoord op een vraag zoekt. En er is een heel goeie kans dat het in dat stadium voor onbepaalde duur gaat blijven.

Originally Posted by onbewust

De kinderlijke tekenstijl helpt niet echt, maar het gaat erom dat het verschil tussen mensen en mieren niet zo groot zal zijn eenmaal AI slimmer wordt dan ons.
Het is gewoon moeilijk om dat uit te leggen omdat de mens gewoon niet slim genoeg is om te begrijpen wat zo'n superintelligentie kan, net zoals mieren ons niet begrijpen.
Onlangs in een podcast gehoord dat ChatGPT eigenlijk al slimmer is dan de gemiddelde mens, het gaat exponentieel omhoog en niet lineair.

Nogal dramatisch en clickbaity maar wel interessant:

http://youtu.be/bk-nQ7HF6k4

Menselijke intelligentie heeft veel meer facetten dan "hier is een geheugen/database, zoek er de correcte informatie uit".

Maar in dat segment zit "AI" voornamelijk, en zelfs daar is het niet geweldig goed in.

"AI" is slimmer in een aantal specifieke gevallen. Maar dat zijn computers in het algemeen al heel lang.

[acku]

Originally Posted by CSM

De huidige "AI" in bijvoorbeeld de vorm van ChatGPT is nog altijd een veredelde autocomplete functie, het is geen echte intelligentie die bijvoorbeeld beredeneerd een antwoord op een vraag zoekt. En er is een heel goeie kans dat het in dat stadium voor onbepaalde duur gaat blijven.

Tenzij je uzelf als een auto-complete functie ziet op basis van een ingewikkeld neuraal netwerk, is dat fout.

GPT is al lang dat stadium voorbij. dat is net waar iedereen zoveel heisa om maakt.
https://www.assemblyai.com/blog/emer...nguage-models/

[Bjorn]

Originally Posted by acku

Tenzij je uzelf als een auto-complete functie ziet op basis van een ingewikkeld neuraal netwerk, is dat fout.

GPT is al lang dat stadium voorbij. dat is net waar iedereen zoveel heisa om maakt.
https://www.assemblyai.com/blog/emer...nguage-models/

Los van de verdere inhoud van dat artikel, ik peis dat de auteur nog nooit een 4-jarige een gezicht heeft zien tekenen, lol.

[Horla]

Originally Posted by acku

Tenzij je uzelf als een auto-complete functie ziet op basis van een ingewikkeld neuraal netwerk, is dat fout.

GPT is al lang dat stadium voorbij. dat is net waar iedereen zoveel heisa om maakt.
https://www.assemblyai.com/blog/emer...nguage-models/

disclaimer: ik heb het artikel niet gelezen en mij er niet echt in de materie verdiept.

Zeg je nu dat chatGPT unieke oplossingen voor bestaande problemen kan geven (zoals een mens/kind)? Want bij mijn weten is het nog altijd "gewoon" samensmijten van veel kennis en dat er terug uit kakken en het is toch een serieuze stap van dat naar echt AI.

[Bjorn]

Originally Posted by acku

Tenzij je uzelf als een auto-complete functie ziet op basis van een ingewikkeld neuraal netwerk, is dat fout.

GPT is al lang dat stadium voorbij. dat is net waar iedereen zoveel heisa om maakt.
https://www.assemblyai.com/blog/emer...nguage-models/

https://bdtechtalks.com/2023/05/17/l...lities-mirage/

En zo blijven we bezig zeker?

[Guns]

Originally Posted by Horla

disclaimer: ik heb het artikel niet gelezen en mij er niet echt in de materie verdiept.

Ik heb het artikel wel gelezen en ik snap niet welk punt het wilt maken. Ik snap ook niet wat acku er precies mee wilt aantonen.

Het heeft het eerst over emergent abilities, taken die een LLM totaal niet kan en dan vanaf een bepaalde schaal plots "vanuit het niets" wel relatief goed in is. Intrigerend, zou je denken, maar dan legt het artikel zelf uit dat als de methodologie waarmee zo'n fenomenen gemeten is, aangepast wordt, die plotse sprong gewoon verdwijnt en je een gewone lineaire verbetering kunt observeren naarmate de modellen groter worden.

Om dan te concluderen dat, zelfs al zou er toch iets aan zijn van die emergent abilities, dat voorlopig toch niet kan gebeuren want de absurde hoeveelheid data nodig om veel grotere modellen dan GPT-4 te kunnen trainen bestaat gewoon niet.

Ok dan.

(En dat is dan nog los van het feit dat zelfs al die zogezegde emergent abilities zich nog altijd in het domein van "taalspelletjes" voordoen.)

[CSM]

Over die emergent abilities wordt ook vlotjes gelogen.

Zie de Google man die beweerde dat hun AI een taal had geleerd zonder er op getraind te zijn.

Compleet gelogen.