WRLD

Search

#Inference
2
20minutes 2w

L’usage quotidien de l'intelligence artificielle, en particulier l'inférence, représente 80 % à 90 % de sa consommation énergétique totale, dépassant ainsi l'impact de la phase d'entraînement des modèles, ce qui souligne la nécessité d'adopter une « IA frugale » face à la consommation mondiale croissante des data centers. #IntelligenceArtificielle #Energie #SobriétéNumérique

www.20minutes.fr
IA : Une recherche simple, une image, une vidéo… Quel est le coût écologique de vos requêtes ?
1722
Rasmus Andersson 3w

This could be a big deal. Sure, you can run Qwen3.8 27B locally but if you do, practically nothing else can happen on your computer, so we need smaller models like this one to make local inference practical #AI #MachineLearning #LocalInference

348
Joscha Bach 4w

Anthropic and OpenAI cannot become profitable unless they can reduce the ratio of training cost to inference profits. In the long run, their survival may depend on outlawing competitive open source models. This can only be done under the guise of safety regulation. #AI #OpenSource #Profitability #Nospecificcountrycodesarementionedinthetweet.

348
Mehdi (e/λ) 4w

mes tweets un peu techniques sont pas super evidents à comprendre pour tout le monde alors je vais tenter de vulgariser au mieux pour expliquer toute la comedie qui se joue autour de l’IA en ce moment sachez déjà que nous assistons probablement à la + grande manipulation tech de notre epoque car quand je vois les dirigeants des plus grands labos de la silicon valley reclamer soudainement une pause et demander des exemptions aux lois antitrust au nom de la securitée globale je pense que nous devons regarder exactement la où ils veulent detourner notre attention mettez vous en tête que ce spectacle pseudo ethique masque une panique financière tres concrete face aux miliards engloutis dans des supercalculateurs dont les rendements sessoufflent combinee à la terreur dexposer ces pertes dans leurs prochaines formulaires d’IPO (entrée en bourse) puis je trouve que la methode brille par son cynisme sils estiment sincerement que leurs modeles non publies representent un danger ce duopole (Anthropic /openAI) possede deja toute la latitude pour freiner ses propres deploiements sans demander la permission a quiconque au lieu de cela ils nomment leurs propres organismes dévaluation soi disant independants comme METR en y placant leurs anciens employes et investisseurs & réclament une exemption antitrust officielle pour s’entendre sur le rythme de l’innovation en cherchent à substituer un tampon bureaucratique à leur responsabilite civile réelle comprenez que leur demarche vise avant tout a imposer leurs propres controleurs à des concurrents qui ne sont meme pas à la frontiere technologique… perso je pense que le calcul geopolitique qui se cache derriere ce recit s’avère tout aussi bancal car prétendre limiter le progrès aux seules nations alignées sous couvert de coordination entre democraties pour maintenir une avance artificielle relève de l’illusion pure dites vous que pendant que la silicon valley redige des chartes morales pour preserver ses rentes, verrouiller le marche americain et criminaliser la concurence exterieure, les laboratoires chinois optimisent leurs algorithmes tirent parti dune energie abordable et distribuent la puissance de calcul a une fraction du cout occidental, les batisseurs a lautre bout du monde avancent et construisent pendant que les geants americains debattent dun cartel sur mesure de même je pense que l’erreur fondamentale de ces acteurs reside dans la confusion entre la fin de leur monopole et la fin de la civilisation sachez que de l’invention de l’imprimerie au deploiement de la cryptographie moderne les pouvoirs centraux ont toujours qualifie la democratisation des outils de la pensée de menace pour lordre public le problème pour eux cnest que l’intelligence artificielle depasse la notion d’actif prive enfermé dans des coffres forts d’entreprise, elle simpose comme une propriete fondamentale de la matière et du calcul & vouloir rationner le code par decret administratif revient à tenter de breveter les lois de la physique je pense que l’avenir appartiendra inévitablement aux protocoles ouverts au calcul souverain et à l’inférence locale car la veritable resilience d’une societe emerge directement dun systeme immunitaire décentralisé ou des millions dutilisateurs inspectent, eprouvent et ameliorent la technologie en temps reel loin de la stérilité des laboratoires ultra centralisés les institutions qui tentent deriger des murs autour du savoir finissent par isoler leur propre fragilite pendant que le reste du monde batit le siecle sur des fondations libres #IA #Technologie #Innovation

12099
Matei Zaharia Sep 5

Stronger open models + new inference systems also means super powerful local AI is coming! Cool work by Shuo from UC Berkeley Sky Lab. #OpenModels #AI #LocalAI #Nospecificcountrycodescanbeidentifiedinthetweet.

351
eldiario.es Jul 23

Experts warn that the rise of generative AI has led to an increase in altered images, posing significant risks to biodiversity studies due to the discovery of hundreds of manipulated photos in species registration databases, which can lead to erroneous ecological inferences. #InteligenciaArtificial #Ciencia #Biodiversidad

www.eldiario.es
La IA también puede confundir a la ciencia: los expertos alertan que las fotos alteradas son un riesgo para los estudios sobre biodiversidad
11840
Pekka Jul 13

Varmasti hyvä jakaa vastakkaisia näkemyksiä täällä taas. Vaikka en ole Jukan (tai Pasin) kanssa eri mieltä syklin vaiheesta, niin mielestäni on helppo todeta, että jos et ole ollut tekoälyliitännäisten osakkeiden kyydissä mukana, niin olet todennäköisesti jo missannut markkina-arvon suurimman kasvun. Tämä koskee erityisesti muistitehtaita kuten SK Hynix ja Micron, joiden osakkeet ovat vuodessa karkeasti kymmenkertaistuneet. Vaikka osakkeet näyttävät halvalta (tai jopa puoli-ilmaisilta) suhteessa yhtiöiden tulosnäkymiin (forward P/E), niin on hyvä tiedostaa, että niiden tulokset ovat kasvaneet merkittävästi nopeammin kuin niiden myynti, kappalemäärissä mitattuna. Tuloskasvu perustuu pitkälti siihen, että kysynnän ylittäessä tuotannon muistien hinnat nousevat tähtitieteellisiksi. Se taas johtuu siitä, että lähes äärettömän varakkaat jättiyhtiöt kilpailevat verisesti (ja ilmeisesti täysin kustannuksista välittämättä) siitä, kuka pystyy kehittämään parhaimmat mallit. Kun isoja frontier-tason huippumalleja koulutetaan (training), niin se tehdään tällä hetkellä joko GPU-chipeillä (joita suunnittelee lähinnä NVIDIA ja AMD) tai ASIC-chipeillä (kuten Googlen Ironwood TPU). Nämä ratkaisut tarvitsevat erittäin kallista HBM-muistia, jota ei ole riittävästi saatavilla tällä hetkellä. Kun mallien kehityksestä siirrytään suorittamiseen (inference) erityisesti agenttien avulla, niin tilanne on paljon monimutkaisempi. Kehitteillä on useita ratkaisuja, jotka eivät tarvitse HBM-muistia ollenkaan, kuten Nvidian lisensoima Groq, Cerebraksen wafer-scale-chipit, d-matrixin Corsair, Qualcommin AI200 Dragonfly, Metan MTIA ja Taalaksen on-chip-LLM-kiihdyttimet. Lisäksi NVIDIAn Rubin CPX-suorittimien avulla voi hoitaa osan inferenssistä ilman HMB-muistia. Villi kortti tässä pelissä on myös Kiina, jossa kehitetään koko ajan uusia "lähes frontier-tason" malleja ja tarjotaan niitä ilmaiseksi (merkittävä osa kehityksestä saadaan kopioimalla länsimaiden huippumalleja ilmaiseksi). On mielestäni väärin ajatella, ettei länsimaissa haluttaisi kiinalaisia malleja käyttää, sillä avoimet mallit on mahdollista eristää ja ajaa oman datakeskuksen turvassa. Mm. tästä syystä tekoäly-yhtiöt kuten Anthropic, OpenAI ja Google rakentavat nyt kuumeisesti ekosysteemejä tekoälymallien ympärille, joita voi hyödyntää vain yhtiöiden pilvipalveluiden kautta. Mutta kestääkö tällaisen softaekosysteemin tuoma "moat" tekoälyn aikakaudella, kun vaihtoehtoisia (ja avoimia) ratkaisuja on mahdollista luoda nopeammin kuin koskaan? On myös nähtävissä selkeitä kysynnän epäterveyteen viittaavia trendejä, kuten ns. tokenmaxxing, jossa koodaajat kilpailevat kuka pystyy kuluttamaan enemmän LLM-mallien tuottamia tokeneita, riippumatta siitä, miten paljon niiden avulla pystytään luomaan tuottavaa koodia. Lisäksi LLM-malleja suoritetaan todella paljon harjoittelutarkoituksessa tällä hetkellä, kun vielä etsitään ja kehitetään aidosti tuottavia prosesseja. Pointtini tässä on lähinnä se, että sijoittamalla datakeskusten kilpavarustelusta hyötyviin yhtiöihin ei lyö vetoa (vain) siitä, että datakeskusten rakennustarve jatkuu, vaan että ylikysyntätilanne ei ratkea vielä ainakaan muutamaan vuoteen. Samaan aikaan muistinvalmistajat ovat jo kasvattamassa kapasiteettiaan ja rakentamassa uusia tehtaita. Useiden eri muistityyppien hinnat ovat osittain lukittu tulevaisuuteen pitkäaikaisten LTA-sopimusten kautta, mutta nekin ovat historiallisesti rikottu tai neuvoteltu uusiksi kysynnän laskiessa. Puolijohdeyhtiöiden poikkeuksellisen voimakas syklisyys johtuu siitä, että tuotantoa on hyvin vaikea skaalata alas kun kysyntä laskee. Ja kun tuotanto ylittää kysynnän edes hieman, niin hinnat romahtavat nopeasti (ylitarjontatilanne). Syklisiä yhtiöitä ei yleensä ole kannattanut ostaa silloin kun P/E-tasot ovat olleet alhaiset ja sille on nimikin: Molodovsky Effect. Tekoäly on kuitenkin ilmeisen mullistava teknologia, joten "this time could be different" ja näitä syklisiä puolijohdeyhtiöitä omistamalla pääseekin helposti lyömään vetoa sen puolesta. Omistan itse tällä hetkellä mm. SK Hynixin, Micronin, Samsungin (ava-tracker), Broadcomin, Amazonin ja Googlen osakkeita, joiden toiminta liittyy vahvasti tekoälyyn. Lisäksi minulla on VVSM-puolijohde-ETF:ää salkussa. Mielestäni kaikki ovat hyviä sijoituksia, mutta näen (erityisesti näillä arvostustasoilla), että niissä piilee myös paljon riskejä. Puhumattakaan siitä, millaisia haasteita ja vaaroja tekoäly aiheuttaa koko yhteiskunnalle (ja sitä kautta myös osakkeille). Ei sijoitussuosituksia. #pekka #tekoäly #osakkeet #puolijohteet

12930
Frenchie May 26

Je solde ma plus grosse conviction $AMD Le titre vient de franchir les 500$, un sommet historique. J'avais bâti la position autour de 87-88$ pendant le sell-off lié aux tariffs début 2025 puis renforcé sur la montée. >Soit un ~4.5x en environ 18 mois. La thèse initiale était simple, peut-être trop : Jouer AMD comme un beta haut de NVIDIA, en pariant sur un rattrapage de multiple et une exécution crédible face à $NVDA (notamment sur MI300/MI325). Le pari classique du challenger sous-valorisé sur un marché en expansion verticale. Mais la thèse a muté en cours de route et c'est ce qui a fait la différence. AMD n'est plus une optionalité sur le compute IA. C'est devenu un buy consensuel sur deux jambes structurelles : 1. Les CPU pour datacenter : EPYC a transformé la dominance Intel en duopole effectif, avec des parts de marché qui continuent de glisser en faveur d'AMD trimestre après trimestre. C'est du cash flow récurrent, défensif, à forte marge. 2. L'agentique IA La bascule du training vers l'inference distribué change la donne sur le GPU. MI350/MI400, ROCm qui mûrit, et surtout des design wins hyperscaler qui ne sont plus anecdotiques. AMD capture enfin une part crédible du capex AI, pas juste les miettes. Le re-rating reflète déjà tout ça. Le titre n'est plus pricé comme un challenger il est pricé comme un gagnant établi du cycle AI. Pour moi quand une position passe de play contrarien asymmétrique à un long consensuel, le profil risque/rendement n'est plus le même. Je vous voit venir, non ne shorte pas AMD Je ne dis pas que la boîte va décrocher. Je dis simplement que le pricing de la thèse initiale sont moins attirant qu'avant. À ces niveaux, je préfère redéployer le capital là où l'asymétrie existe encore. Je vend ici 1/3 de ma position. #AMD #Investissement #IA

12784
BFMTV May 21

Nvidia a annoncé un bénéfice net record de 58,3 milliards de dollars au premier trimestre 2026, triplant par rapport à l'année précédente, mais le marché reste prudent face à une concurrence croissante dans le secteur de l'inférence pour l'intelligence artificielle. #Nvidia #IntelligenceArtificielle #BénéficeNet

www.bfmtv.com
C'est trois fois plus qu'il y a un an: le géant des processeurs graphiques d'IA Nvidia affiche un bénéfice net record à 58,3 milliards de dollars au 1er trimestre
17335
E15.cz Apr 27

Nvidia vstupuje do nové éry AI investic díky strategické spolupráci se startupem Groq za 20 miliard dolarů, což reflektuje rostoucí důležitost specializovaných čipů pro zefektivnění inference, přičemž další konkurenti jako Cerebras a SambaNova rovněž přitahují pozornost investorů a přispívají k dynamickému rozvoji trhu. #AI #Nvidia #technews #dobrezpravy

www.e15.cz
e15.cz - Vznikl další potenciální investiční hit spojený s AI. Nvidii začínají doplňovat nenápadní hráči
18578
E15.cz Apr 27

Nvidia's recent $20 billion licensing deal with AI chip startup Groq marks a significant turning point for the company and the broader AI industry, as Groq's specialized SRAM chips promise to enhance the speed and cost-efficiency of AI inference, attracting investor interest amidst a competitive landscape that includes firms like Cerebras and SambaNova, while addressing the increasing demand for rapid AI processing driven by the rise of AI agents. #AI #Nvidia #ChipTechnology #US #CZ #NL

www.e15.cz
e15.cz - Vznikl další potenciální investiční hit spojený s AI. Nvidii začínají doplňovat nenápadní hráči
8989
Mario Sechi Apr 22

RT @FirstSquawk: AMAZON TO INVEST UP TO $25 BILLION IN ANTHROPIC. THE TWO COMPANIES WILL EXPAND AI INFERENCE ACROSS ASIA AND EUROPE, AND PL… -

Federation of American Scientists🔬 Mar 17

The data collected by the government can be inputted into AI tools to produce "incredibly detailed inferences about people," Dr. Oliver Stephenson tells @thehill. "It’s not just data that’s showing anonymous patterns of life. We have transitioned from a world in which the -

481