Ask the Developer Vol. 17, GameChat – Hoofdstuk 2
03-04-2025
De bovenstaande afbeelding komt uit de Japanse versie van de software. GameChat is ook beschikbaar in het Nederlands.
Sommige afbeeldingen en video's in de tekst zijn gemaakt tijdens de ontwikkeling.
De inhoud van dit artikel is oorspronkelijk gepubliceerd in het Japans.
Hoofdstuk 1: Een onderscheidende functie
Hoofdstuk 2: Een festivalsfeer
Je zei net dat gebruiksgemak belangrijk was. Volgens mij is dat gemakkelijker gezegd dan gedaan. Kun je iets vertellen over de uitdagingen die je moest overwinnen om dit te bereiken?
Tokunaga:
Hoe meer we ons richten op gebruiksgemak, hoe meer zaken wij als ontwikkelaars in overweging moeten nemen. We wilden bijvoorbeeld niet alleen dat een microfoon in het systeem was gebouwd, maar we wilden ook dat hij zonder enige installatie gebruikt kon worden. Het implementeren van een microfoon in een systeem is al knap lastig. Als we geen aanpassingen maken, vangt de microfoon alle geluiden uit games op, zoals de muziek. Als we die geluiden niet verwijderen, dan kunnen ze de stemmen van de spelers overstemmen. Terwijl dat de belangrijkste geluiden zijn. Met name in de handheldstijl worden ook geluiden van de controller opgepikt, zoals het drukken op knoppen en de trilfunctie. Die moeten dus ook worden verwijderd. In de tv-stijl is het weer belangrijk dat de stemmen van spelers die ver bij het systeem vandaan zitten, goed worden opgevangen. Dus dat ze niet hoeven te schreeuwen. Dit betekent dat we twee conflicterende concepten moesten realiseren: het harde geluid van de tv moest verwijderd worden, terwijl de zachte stemmen van spelers die ver bij het systeem vandaan zitten, goed moesten worden opgepikt.
Ono:
Wij bleven je het onmogelijke vragen, Tokunaga. We vroegen bijvoorbeeld ook om zoveel mogelijk omgevingsgeluid weg te halen, maar het geluid van klappende mensen te behouden.
Tokunaga:
We hebben een hoogwaardige audiochip voor spraakverwerking geïnstalleerd en deze continu verfijnd, totdat deze alleen nog de geluiden oppikte die wij wilden horen. (Lacht)
Ono:
Ik ben je eeuwig dankbaar. (Lacht) Op een gegeven moment kreeg ik de vraag: "Moeten we de stem van slechts één persoon oppikken, of de stemmen van iedereen, bijvoorbeeld van een heel gezin? Het zou ons leven een stuk makkelijker maken als je het kon beperken tot het ene of het andere." Waarop ik antwoordde: “Het is geen kwestie van of-of. Het is en-en.” (Lacht) We wilden immers rekening houden met verschillende factoren, zoals hoe ver de bank van de tv staat en waar de spelers op de bank zitten. Tokunaga vroeg me weleens of ik wat minder vaag kon zijn. Maar als je een functie wilt toevoegen die geen installatie vereist, dan moet deze in verschillende situaties standaard goed werken. Tokunaga-san once told me to please stop being so vague, but if you're going to say “no setup required”, then it needs to be able to handle various situations.
En hoe zit het met de luidsprekers? Was dat ook een kwestie van vallen en opstaan?
Ono:
Omdat het systeem zonder installatie moest functioneren, hebben we hard gewerkt aan het in balans brengen van het volume van de luidsprekers. Omdat de geluiden van de game en de voicechat tegelijk uit dezelfde luidsprekers komen, hebben we samen met het geluidsteam bepaald welke het meest op de voorgrond moet treden. Zelfs zonder instellingen te veranderen treedt voicechat op de voorgrond als iemand aan het praten is. Als niemand iets zegt, is het gamegeluid prominenter aanwezig. De twee lopen vloeiend in elkaar over.
Tokunaga:
De microfoon detecteert automatisch welke geluiden belangrijk zijn en past de audiobalans van de stemmen aan, zodat ze goed hoorbaar zijn. Als je bijvoorbeeld overschakelt van de tv-stijl, die stemmen op afstand oppikt, naar de handheldstijl, die nabije stemmen oppikt, worden de stemmen voor de persoon aan de andere kant van de voicechat niet plotseling luider. Je kunt de functie tijdens deze overgang probleemloos blijven gebruiken.
Ono:
Wij beschouwen de mogelijkheid om tijdens het gebruik van voicechat naadloos te kunnen schakelen tussen de tv-stijl en de handheldstijl, als een van de unieke functies van de Nintendo Switch 2. Als je in de tv-stijl de voicechat gebruikt en een gezinslid de tv wil gebruiken, kun je het systeem gewoon uit de houder halen en verder praten in de handheldstijl.
Tokunaga:
In de handheldstijl kun je het apparaat overal mee naartoe nemen, zodat je bijvoorbeeld kunt voicechatten en gamen terwijl je in bed ligt.
Aha. Wanneer je wilt chatten, is je stem duidelijk te verstaan. En als niemand praat, kun je je op je game concentreren. Trouwens, de camera die je voor videochat gebruikt, zit niet in het systeem ingebouwd, toch?
Tamura:
We hebben de Nintendo Switch 2-camera ontworpen als een accessoire dat apart verkrijgbaar is. Omdat je de camera ook in de tv-stijl moet kunnen gebruiken, hebben we de camera expres niet in het systeem ingebouwd. In de tv-stijl zet iedereen zijn systeem natuurlijk ergens anders neer. We konden dus beter iets maken dat direct gebruikt kon worden, zonder enige installatie. Je hoeft de camera alleen maar aan te sluiten, waar en wanneer je maar wilt. Dan kunnen mensen die hem nodig hebben, er altijd gelijk gebruik van maken.
Je kunt ook andere compatibele USB-C-camera's gebruiken, toch? Wat is het verschil tussen de Nintendo Switch 2-camera en andere camera's?
Tamura:
Een van de sterke punten van de Nintendo Switch 2-camera is dat hij een groothoeklens gebruikt om de sfeer in de woonkamer van de speler vast te leggen. Deze is standaard ingesteld om de optimale kijkhoek te bieden. De camera is ontworpen om spelers vast te leggen, ongeacht of ze zich dichtbij of ver van het systeem bevinden, alleen of in een groep, en zelfs als ze een game spelen die met lichaamsbewegingen wordt bestuurd. Maar wat we het meest waarderen, is hoe duidelijk hun gezichtsuitdrukkingen in beeld zijn. Wij vonden het belangrijk om de gezichtsuitdrukkingen van spelers duidelijk zichtbaar te maken, zodat ze de sfeer van het spel kunnen overbrengen op andere spelers. Daarom hebben we een functie toegevoegd die automatisch gezichten van mensen herkent en ze in de hoogst mogelijke resolutie weergeeft.
Ono:
Voor veel USB-camera's (11) geldt dat als de persoon ver van de lens is, deze klein lijkt en wazig wordt als je erop inzoomt. Maar de Nintendo Switch 2-camera heeft een softwarefunctie die het beeld automatisch verwerkt om wazigheid bij het inzoomen te voorkomen en gezichtsuitdrukkingen duidelijk weer te geven.
(11) Sommige apparaten zijn mogelijk niet compatibel. Compatibiliteit kan worden gecontroleerd op het Nintendo Switch 2-systeem.
Dus worden de gezichten van spelers op deze manier duidelijk vastgelegd, zonder dat ze hoeven na te denken over hoe ver ze zich van de camera bevinden.
Tamura:
Ja, dat klopt. Om de gezichtsuitdrukkingen duidelijk vast te kunnen leggen waren we ons ook bewust van de verlichting in de ruimte waarin op de Switch 2 zou worden gespeeld. Ik denk dat sommige mensen vooral 's avonds games spelen, om te ontspannen, dus zonder felle verlichting. Ook in zulke situaties wordt de helderheid automatisch aangepast, zodat gezichtsuitdrukkingen duidelijk zichtbaar zijn.
Dus het heeft zijn voordelen om een Nintendo Switch 2-camera te gebruiken, aangezien je daarmee zonder moeite optimaal met video van GameChat kunt genieten.
Ono:
Met betrekking tot de camera had ik ook nog een ander verzoek. Namelijk een functie die de achtergrond verbergt, zodat alleen de spelers zichtbaar zijn. Ik dacht dat sommige mensen misschien zouden aarzelen om de camera te gebruiken als hun kamer zichtbaar was. De standaardinstelling verbergt dus de achtergrond. Kijk, als je dit nu combineert met het delen van je speelscherm…
Wauw, het lijkt wel alsof je aan het livestreamen bent.
Ono:
Precies. In feite is het gewoon een videochat tussen vrienden, maar de manier waarop het gepresenteerd wordt, wekt de indruk dat je YouTubers ziet die hun gameplay streamen. Ik denk dat veel vrienden het leuk gaan vinden om samen te gamen alsof ze livestreamers zijn.
Tokunaga:
Je hebt vast weleens van die camera's op pc's en smartphones gezien die de achtergrond verbergen. Maar het was nog een hele uitdaging om dit bij een spelsysteem mogelijk te maken. De processor wordt gebruikt om de game te laten draaien, maar ondertussen is er ook processorkracht nodig om de achtergrond te verbergen. Maar ik denk dat het wel of niet zichtbaar zijn van de achtergrond, ook van invloed is op de veiligheid. Daarom zijn we deze functie steeds verder gaan verfijnen, zodat er zo min mogelijk processorkracht nodig is om alleen de spelers te tonen. Uiteindelijk hebben we een resultaat bereikt waar we alle vertrouwen in hebben.
Ono:
De achtergrond is goed verborgen, zelfs als er meerdere mensen in beeld zijn, dus niet alleen als je solo speelt. Volgens mij is dat niet vaak vertoond.
Ah, dat is interessant. Bij het overbrengen van de stemmen en gezichtsuitdrukkingen van spelers speelt netwerktechnologie ook een belangrijke rol, toch? Hoe worden de stemmen en beelden naar andere spelers gestreamd?
Tokunaga:
De stemmen en beelden worden via servers naar andere spelers gestreamd. Om ervoor te zorgen dat het voicechatten overal ter wereld soepel verloopt, hebben we niet alleen servers in Japan opgezet, maar ook in verschillende andere landen en regio's.
Om het voicechatten eenvoudig en gebruiksvriendelijk te maken, moesten jullie deze functie vast op verschillende manieren verfijnen.
Tokunaga:
Omdat de Switch 2 een spelsysteem is, moesten we een aanzienlijk percentage van zijn kracht reserveren voor het spelen van games, terwijl we de rest van de kracht moesten gebruiken om GameChat te laten draaien. We moesten GameChat stabiel laten draaien om te voorkomen dat het proces een negatieve invloed had op hoe een game presteerde. Er vinden veel processen tegelijk plaats: ruis uit de audio verwijderen, de video-achtergrond verbergen, gegevens via het netwerk verzenden en ontvangen, gegevens comprimeren en decomprimeren... Het zit vol met verschillende technologieën van verschillende teams, dus het was nogal een uitdaging om alles te integreren, te organiseren en werkend te krijgen. Daarom zeiden we vaak dat de ontwikkeling in 'een festivalsfeer' plaatsvond. (Lacht)
Een festivalsfeer?
Tokunaga:
Juist. Wanneer iemand tijdens de ontwikkeling tegen een uitdaging aanliep, verzamelden verschillende mensen zich om die persoon heen. We zeiden dingen als: "Heb je problemen? Laat mij je helpen," en dan werkten we allemaal samen om het op te lossen. Zoals ik daarnet al zei, is GameChat een combinatie van verschillende technologieën. En omdat GameChat tegelijk met een game moet werken, kan het de prestaties van de game beïnvloeden als er te veel processorkracht wordt gebruikt voor een bepaald deel van GameChat. Daarom moesten we alle betrokken technologieën nauwkeurig op elkaar afstemmen. Dat vereiste de betrokkenheid van mensen uit verschillende teams. Maar iedereen zette zijn schouders eronder en zei: "Als het voor GameChat is, dan zorgen we dat het werkt!" (Lacht) Iedereen in het team houdt ervan om technische problemen op te lossen, ze vinden het gewoon leuk om te doen. Die festivalsfeer bleef meer dan twee jaar hangen. En met meer dan 100 medewerkers voelde het ook echt als een festival. (Lacht)
Meer dan 100 ontwikkelaars! Ja, dat mag je een festival noemen.
Ono:
Tijdens de ontwikkeling hielden we dagelijks vergaderingen met iedereen die GameChat gebruikte, om deze functie te testen, valideren en verbeteren. Terwijl we genoten van de festivalsfeer, hebben we alles tot in de puntjes uitgewerkt.
Verder naar hoofdstuk 3: In een nieuw licht
Om onlinediensten te gebruiken moet je een Nintendo-account aanmaken en akkoord gaan met de bijbehorende overeenkomst. Het Nintendo-account-privacybeleid is van toepassing. Je hebt een internetverbinding en een Nintendo Switch Online-lidmaatschap nodig. Je moet een mobieletelefoonnummer registreren om GameChat te gebruiken. Voor het gebruik van GameChat dienen kinderen van een ouder of voogd toestemming te krijgen via de 'Ouderlijk toezicht voor Nintendo Switch'-app. Sommige onlinediensten zijn mogelijk niet in alle landen beschikbaar. Voor het gebruik van bepaalde gamefuncties en videochat is een ondersteunde USB-C-camera, zoals de Nintendo Switch 2-camera (apart verkrijgbaar), benodigd.
