Karlsson skadade sig i ljumsken mot David Santoshi och ledde med 2-0 i första set och 8-7 i tredje.
Han fick behandling med en tät lindning runt vänster lår och kunde vinna tredje set med 13-11.
Men efter att ha vunnit matchen brast Carlson ut i gråt och sa efteråt att VM var över.
– Jag är väldigt besviken och ledsen. Det är samma skada som han ådrog sig i Kina för en månad sedan. Jag trodde att jag blev botad av att åka hit, men stressen på en match skiljer sig från träning, sa han till Radiosporten.
– Det är värst nu, det är riktigt tungt. Det är tredje gången på två år som jag drabbas av den här skadan, men jag blir inte yngre, säger 34-åringen.
Christian Karlsson spelade senare sin första match i VM när han blev pappa och kom till London.
Elias Rannefer kommer troligen att ersätta honom. Debutanten hjälpte Sverige att göra en chockseger över Kina i söndagens seedade gruppspel, deras första vinst på 26 år.
Truls Mehregord fick en lite skakig start mot Adam Zudy, men när han låg under med 5-9 i första set vässade han sitt spel och vann med 12-10, 11-5, 11-5.
Anton Kjellberg besegrade ungerska ettan András Csava med 3-1 i set, innan Christian Karlsson vann trots skada.
Sverige möter Kroatien i åttondelsfinal på onsdag.
