FAKKEL.NN IN PYTORCH

PyTorch biedt de torch.nn-module om ons te helpen bij het creëren en trainen van het neurale netwerk. We zullen eerst het fundamentele neurale netwerk trainen op de MNIST-dataset zonder gebruik te maken van functies uit deze modellen. We zullen alleen de basis PyTorch-tensorfunctionaliteit gebruiken en vervolgens zullen we stapsgewijs één functie van torch.nn tegelijk toevoegen.

torch.nn biedt ons nog veel meer klassen en modules om het neurale netwerk te implementeren en te trainen.

Het nn-pakket bevat de volgende modules en klassen:

Ja nee	Klasse en module	Beschrijving
1.	fakkel.nn.Parameter	Het is een type tensor dat moet worden beschouwd als een moduleparameter.
2.	Containers
1) Toorts.nn.Module	Het is een basisklasse voor alle neurale netwerkmodules.
2) fakkel.nn.Sequentieel	Het is een sequentiële container waarin modules worden toegevoegd in dezelfde volgorde als waarin ze in de constructor worden doorgegeven.
3) fakkel.nn.ModuleList	Dit bevat submodules in een lijst.
4) fakkel.nn.ModuleDict	Dit bevat submodules in een map.
5) fakkel.nn.ParameterList	Dit bevat de parameters in een lijst.
6) fakkel.nn.parameterDict	Dit bewaart de parameters in een map.
3.	Convolutie lagen
1) fakkel.nn.Conv1d	Dit pakket zal worden gebruikt om een 1D-convolutie toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
2) fakkel.nn.Conv2d	Dit pakket zal worden gebruikt om een 2D-convolutie toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
3) fakkel.nn.Conv3d	Dit pakket zal worden gebruikt om een 3D-convolutie toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
4) fakkel.nn.ConvTranspose1d	Dit pakket zal worden gebruikt om een 1D-getransponeerde convolutie-operator toe te passen op een invoerbeeld dat uit verschillende invoervlakken bestaat.
5) fakkel.nn.ConvTranspose2d	Dit pakket zal worden gebruikt om een 2D-getransponeerde convolutie-operator toe te passen op een invoerbeeld dat uit verschillende invoervlakken bestaat.
6) fakkel.nn.ConvTranspose3d	Dit pakket zal worden gebruikt om een 3D-getransponeerde convolutie-operator toe te passen op een invoerbeeld dat uit verschillende invoervlakken bestaat.
7) fakkel.nn.Uitklappen	Het wordt gebruikt om glijdende lokale blokken uit een gebatcheerde invoertensor te extraheren.
8) fakkel.nn.Vouw	Het wordt gebruikt om een reeks glijdende lokale blokken te combineren tot een grote bevattende tensor.
4.	Lagen samenvoegen
1) fakkel.nn.MaxPool1d	Het wordt gebruikt om een 1D max-pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
2) fakkel.nn.MaxPool2d	Het wordt gebruikt om een 2D max-pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
3) fakkel.nn.MaxPool3d	Het wordt gebruikt om een 3D max-pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
4) fakkel.nn.MaxUnpool1d	Het wordt gebruikt om de gedeeltelijke inverse van MaxPool1d te berekenen.
5) fakkel.nn.MaxUnpool2d	Het wordt gebruikt om de gedeeltelijke inverse van MaxPool2d te berekenen.
6) fakkel.nn.MaxUnpool3d	Het wordt gebruikt om de gedeeltelijke inverse van MaxPool3d te berekenen.
7) fakkel.nn.AvgPool1d	Het wordt gebruikt om een 1D-gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
8) fakkel.nn.AvgPool2d	Het wordt gebruikt om een 2D-gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
9) fakkel.nn.AvgPool3d	Het wordt gebruikt om een 3D-gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
10) fakkel.nn.FractionalMaxPool2d	Het wordt gebruikt om een 2D fractionele maximale pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
11) fakkel.nn.LPPool1d	Het wordt gebruikt om een 1D-vermogensgemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
12) fakkel.nn.LPpool2d	Het wordt gebruikt om een 2D-vermogensgemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
13) fakkel.nn.AdavtiveMaxPool1d	Het wordt gebruikt om een 1D adaptieve maximale pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
14) fakkel.nn.AdavtiveMaxPool2d	Het wordt gebruikt om een 2D adaptieve maximale pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
15) fakkel.nn.AdavtiveMaxPool3d	Het wordt gebruikt om een 3D adaptieve maximale pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
16) fakkel.nn.AdavtiveAvgPool1d	Het wordt gebruikt om een 1D adaptieve gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
17) torch.nn.AdavtiveAvgPool2d	Het wordt gebruikt om een 2D-adaptieve gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
18) torch.nn.AdavtiveAvgPool3d	Het wordt gebruikt om een adaptieve 3D-gemiddelde pooling toe te passen op een ingangssignaal dat uit verschillende ingangsvlakken bestaat.
5.	Opvullagen
1) zaklamp.nn.ReflectionPad1d	Het zal de ingangstensor opvullen met behulp van de reflectie van de ingangsgrens.
2) zaklamp.nn.ReflactionPad2d	Het zal de ingangstensor opvullen met behulp van de reflectie van de ingangsgrens.
3) fakkel.nn.ReplicationPad1	Het zal de invoertensor opvullen met behulp van de replicatie van de invoergrens.
4) fakkel.nn.ReplicationPad2d	Het zal de invoertensor opvullen met behulp van de replicatie van de invoergrens.
5) fakkel.nn.ReplicationPad3d	Het zal de invoertensor opvullen met behulp van de replicatie van de invoergrens.
6) zaklamp.nn.ZeroPad2d	Het zal de ingangstensorgrenzen met nul opvullen.
7) fakkel.nn.ConstantPad1d	Het zal de ingangstensorgrenzen opvullen met een constante waarde.
8) fakkel.nn.ConstantPad2d	Het zal de ingangstensorgrenzen opvullen met een constante waarde.
9) fakkel.nn.ConstantPad3d	Het zal de ingangstensorgrenzen opvullen met een constante waarde.
6.	Niet-lineaire activeringen (gewogen som, niet-lineariteit)
1) zaklamp.nn.ELU	Het zal worden gebruikt om de elementgewijze functie toe te passen: ELU(x)=max(0,x)+min(0,α*(exp(x)-1))
2) toorts.nn.Hardkrimp	Het zal worden gebruikt om de harde krimpfunctie elementsgewijs toe te passen:
3) fakkel.nn.LeakyReLU	Het zal worden gebruikt om de elementgewijze functie toe te passen: LeakyReLu(x)=max(0,x) +negatieve_helling*min(0,x)
4) fakkel.nn.LogSigmoid	Het zal worden gebruikt om de elementgewijze functie toe te passen:
5) zaklamp.nn.MultiheadAttentie	Het wordt gebruikt om het model in staat te stellen informatie uit verschillende representatie-subruimten te verwerken
6) zaklamp.nn.PReLU	Het zal worden gebruikt om de elementgewijze functie toe te passen: PReLU(x)=max(0,x)+a*min(0,x)
7) fakkel.nn.ReLU	Het zal worden gebruikt om de gelijkgerichte lineaire eenheidsfunctie elementsgewijs toe te passen: ReLU(x)=max(0,x)
8) fakkel.nn.ReLU6	Het zal worden gebruikt om de elementgewijze functie toe te passen: ReLU6(x)=min(max(0,x),6)
9) fakkel.nn.RReLU	Het zal worden gebruikt om de gerandomiseerde lekkende gelijkgerichte lineaire eenheidsfunctie elementsgewijs toe te passen, zoals beschreven in het artikel:
10) fakkel.nn.SELU	Het zal worden gebruikt om de elementgewijze functie toe te passen als: SELU(x)=schaal(max(0,x)+ min(0,a(exp(x)-1))) Hier α = 1,6732632423543772848170429916717 en schaal = 1,0507009873554804934193349852946.
11) fakkel.nn.DOEL	Het zal worden gebruikt om de elementgewijze functie toe te passen als:
12) fakkel.nn.Sigmoid	Het zal worden gebruikt om de elementgewijze functie toe te passen als:
13) zaklamp.nn.Softplus	Het zal worden gebruikt om de elementgewijze functie toe te passen als:
14) toorts.nn.Zachtkrimpen	Het zal worden gebruikt om de zachte krimpfunctie elementsgewijs toe te passen als:
15) zaklamp.nn.Softsign	Het zal worden gebruikt om de elementgewijze functie toe te passen als:
16) fakkel.nn.Tanh	Het zal worden gebruikt om de elementgewijze functie toe te passen als:
17) fakkel.nn.Tanhshrink	Het zal worden gebruikt om de elementgewijze functie toe te passen als: Tanhkrimpen(x)=x-Tanh(x)
18) fakkel.nn.Drempel	Het zal gebruiken om elk element van de ingangstensor te drempelwaarden. Drempel wordt gedefinieerd als:
7.	Niet-lineaire activeringen (andere)
1) zaklamp.nn.Softmin	Het wordt gebruikt om de softmin-functie toe te passen op een n-dimensionale invoertensor om deze opnieuw te schalen. Daarna liggen de elementen van de n-dimensionale uitvoer Tensor in het bereik 0, 1 en som tot 1. Softmin wordt gedefinieerd als:
2) zaklamp.nn.Softmax	Het wordt gebruikt om de softmax-functie toe te passen op een n-dimensionale invoertensor om deze opnieuw te schalen. Daarna liggen de elementen van de n-dimensionale uitvoertensor in het bereik 0, 1 en som tot 1. Softmax wordt gedefinieerd als:
3) zaklamp.nn.Softmax2d	Het wordt gebruikt om SoftMax over functies op elke ruimtelijke locatie toe te passen.
4) zaklamp.nn.LogSoftmax	Het wordt gebruikt om de LogSoftmax-functie toe te passen op een n-dimensionale invoertensor. De LofSoftmax-functie kan worden gedefinieerd als:
5) fakkel.nn.AdaptiveLogSoftmaxWithLoss	Het is een strategie voor het trainen van modellen met grote uitvoerruimten. Het is zeer effectief als de etiketverdeling zeer onevenwichtig is
8.	Normalisatielagen
1) fakkel.nn.BatchNorm1d	Het wordt gebruikt om batchnormalisatie toe te passen op 2D- of 3D-invoer.
2) fakkel.nn.BatchNorm2d	Het wordt gebruikt om batchnormalisatie toe te passen over een 4D.
3) fakkel.nn.BatchNorm3d	Het wordt gebruikt om batchnormalisatie toe te passen op 5D-invoer.
4) fakkel.nn.GroepNorm	Het wordt gebruikt om groepsnormalisatie toe te passen op een minibatch van invoer.
5) fakkel.nn.SyncBatchNorm	Het wordt gebruikt om batchnormalisatie toe te passen op n-dimensionale invoer.
6) fakkel.nn.InstanceNorm1d	Het wordt gebruikt om een exemplaarnormalisatie toe te passen op een 3D-invoer.
7) fakkel.nn.InstanceNorm2d	Het wordt gebruikt om een instance-normalisatie toe te passen op een 4D-invoer.
8) fakkel.nn.InstanceNorm3d	Het wordt gebruikt om een instance-normalisatie toe te passen op een 5D-invoer.
9) fakkel.nn.LayerNorm	Het wordt gebruikt om laagnormalisatie toe te passen op een minibatch met invoer.
10) torch.nn.LocalResponseNorm	Het wordt gebruikt om lokale responsnormalisatie toe te passen op een ingangssignaal dat is samengesteld uit verschillende ingangsvlakken, waarbij het kanaal de tweede dimensie inneemt.
9.	Terugkerende lagen
1) fakkel.nn.RNN	Het wordt gebruikt om een meerlaagse Elman RNN met tanh- of ReLU-niet-lineariteit op een invoerreeks toe te passen. Elke laag berekent de volgende functie voor elk element in de invoerreeks: H_T=tanh(W_henX_T+b_hen+W_hhT_t-1+b_hh)
2) fakkel.nn.LSTM	Het wordt gebruikt om een meerlaags langetermijngeheugen (LSTM) RNN toe te passen op een invoerreeks. Elke laag berekent de volgende functie voor elk element in de invoerreeks:
3) fakkel.nn.GRU	Het wordt gebruikt om een meerlaagse gated recurrent unit (GRU) RNN toe te passen op een invoerreeks. Elke laag berekent de volgende functie voor elk element in de invoerreeks:
4) fakkel.nn.RNNCell	Het wordt gebruikt om een Elman RNN-cel met tanh- of ReLU-niet-lineariteit toe te passen op een invoerreeks. Elke laag berekent de volgende functie voor elk element in de invoerreeks: h'=tanh(W_henx+b_hen+W_hhh+b_hh) ReLU wordt gebruikt in plaats van tanh
5) fakkel.nn.LSTMCell	Het wordt gebruikt om een lange-kortetermijngeheugencel (LSTM) toe te passen op een invoerreeks. Elke laag berekent de volgende functie voor elk element in de invoerreeks: Waarbij σ de sigmoïdefunctie is, en * het Hadamard-product.
6) fakkel.nn.GRUCell	Het wordt gebruikt om een GRU-cel (gated recurrent unit) toe te passen op een invoerreeks. Elke laag berekent de volgende functie voor elk element in de invoerreeks:
10.	Lineaire lagen
1) fakkel.nn.Identiteit	Het is een placeholder-identiteitsoperator die argument-ongevoelig is.
2) toorts.nn.Lineair	Het wordt gebruikt om een lineaire transformatie toe te passen op de binnenkomende gegevens: y=xA^T+b
3) fakkel.nn.Bilineair	Het wordt gebruikt om een bilineaire transformatie toe te passen op de binnenkomende gegevens: y=x₁Bijl₂+b
elf.	Uitvallagen
1) fakkel.nn.Uitval	Het wordt gebruikt voor regularisatie en preventie van co-aanpassing van neuronen. Een factor van tijdens de training wordt de output geschaald. Dat betekent dat de module tijdens de evaluatie een identiteitsfunctie berekent.
2) fakkel.nn.Dropout2d	Als aangrenzende pixels binnen feature maps gecorreleerd zijn, zal torch.nn.Dropout de activeringen niet regulariseren, en zal het de effectieve leersnelheid verlagen. In dit geval wordt torch.nn.Dropout2d() gebruikt om de onafhankelijkheid tussen featuremaps te bevorderen.
3) fakkel.nn.Dropout3d	Als aangrenzende pixels binnen feature maps gecorreleerd zijn, zal torch.nn.Dropout de activeringen niet regulariseren, en zal het de effectieve leersnelheid verlagen. In dit geval wordt torch.nn.Dropout2d () gebruikt om de onafhankelijkheid tussen featuremaps te bevorderen.
4) fakkel.nn.AlphaDropout	Het wordt gebruikt om Alpha Dropout over de invoer toe te passen. Alpha Dropout is een type Dropout dat de zelfnormaliserende eigenschap behoudt.
12.	Schaarse lagen
1) fakkel.nn.Inbedding	Het wordt gebruikt om woordinsluitingen op te slaan en deze op te halen met behulp van indexen. De invoer voor de module is een lijst met indices en de uitvoer is de overeenkomstige woordinbedding.
2) fakkel.nn.EmbeddingBag	Het wordt gebruikt om de bedragen of het gemiddelde van 'zakken' met inbedding te berekenen zonder de tussenliggende inbedding te instantiëren.
13.	Afstandsfunctie
1) fakkel.nn.Cosinusgelijkenis	Het retourneert de cosinusovereenkomst tussen x1 en x2, berekend langs dim.
2) zaklamp.nn.PairwiseDistance	Het berekent de batchgewijze paarsgewijze afstand tussen vectoren v1, v2 met behulp van de p-norm:
14.	Verlies functie
1) fakkel.nn.L1Verlies	Het wordt gebruikt voor een criterium dat de gemiddelde absolute fout tussen elk element in de invoer x en doel y meet. Het niet-verminderde verlies kan als volgt worden omschreven: l(x,y)=L={l₁,...,l_N},l_N=\|x_N-En_N\|, Waarbij N de batchgrootte is.
2) fakkel.nn.MSEloss	Het wordt gebruikt voor een criterium dat de gemiddelde kwadratische fout tussen elk element in de invoer x en doel y meet. Het niet-verminderde verlies kan als volgt worden omschreven: l(x,y)=L={l₁,...,l_N},l_N=(x_N-En_N)², Waarbij N de batchgrootte is.
3) fakkel.nn.CrossEntropyLoss	Dit criterium combineert nn.LogSoftmax() en nn.NLLLoss() in één enkele klasse. Het is handig als we een classificatieprobleem trainen met C-klassen.
4) fakkel.nn.CTCLoss	Het verlies van de Connectionist Temporal Classification berekent het verlies tussen een continue tijdreeks en een doelreeks.
5) fakkel.nn.NLLverlies	Het negatieve log-waarschijnlijkheidsverlies wordt gebruikt om een classificatieprobleem met C-klassen te trainen.
6) fakkel.nn.PoissonNLLverlies	Het negatieve log-waarschijnlijkheidsverlies met de Poisson-verdeling van t doel~Poisson(invoer)verlies(invoer,doel)=invoer-doel*log(doel!)het doel.
7) fakkel.nn.KLDivLoss	Het is een nuttige afstandsmaat voor continue distributie, en het is ook nuttig wanneer we directe regressie uitvoeren over de ruimte van continue outputdistributie.
8) fakkel.nn.BCEverlies	Het wordt gebruikt om een criterium te creëren dat de binaire kruisentropie tussen het doel en de uitvoer meet. Het niet-verminderde verlies kan als volgt worden omschreven: l(x,y)=L={l₁,...,l_N},l_N=-v_N[En_Nlogx_N+ (1-j_N)log(1-x_N)], Waarbij N de batchgrootte is.
9) fakkel.nn.BCEWithLogitsLoss	Het combineert een Sigmoid-laag en de BCELoss in één enkele klasse. We kunnen profiteren van de log-sum-exp-truc voor numerieke stabiliteit door de bewerking in één laag te combineren.
10) torch.nn.MarginRankingLoss	Het creëert een criterium dat het verlies meet van gegeven invoer x1, x2, twee 1D mini-batch-tensoren en een label 1D mini-batch-tensor y die 1 of -1 bevat. De verliesfunctie voor elk monster in de minibatch is als volgt: verlies(x,y)=max(0,-y*(x₁-X₂)+marge
11) fakkel.nn.ScharnierEmbeddingLoss	HingeEmbeddingLoss meet het verlies van een gegeven invoertensor x en een labeltensor y die 1 of -1 bevatten. Het wordt gebruikt om te meten of twee ingangen vergelijkbaar of verschillend zijn. De verliesfunctie wordt gedefinieerd als:
12) fakkel.nn.MultiLabelMarginLoss	Het wordt gebruikt om een criterium te creëren dat een multi-classificatie scharnierverlies tussen input x en output y optimaliseert.
13) fakkel.nn.SmoothL1Verlies	Het wordt gebruikt om een criterium te creëren dat een kwadratische term gebruikt als de absolute elementsgewijze fout onder 1 komt, en anders een L1-term. Het is ook bekend als Huber-verlies:
14) fakkel.nn.SoftMarginLoss	Het wordt gebruikt om een criterium te creëren dat het logistieke verlies met twee klassen classificatie optimaliseert tussen invoertensor x en doeltensor y die 1 of -1 bevatten.
15) fakkel.nn.MultiLabelSoftMarginLoss	Het wordt gebruikt om een criterium te creëren dat het één-tegen-alles-verlies van meerdere labels optimaliseert op basis van de maximale entropie tussen invoer x en doel y van grootte (N, C).
16) fakkel.nn.CosineEmbeddingLoss	Het wordt gebruikt om een criterium te creëren dat het verlies meet van bepaalde invoertensoren x1, x2 en een tensorlabel y met waarden 1 of -1. Het wordt gebruikt om te meten of twee ingangen vergelijkbaar of verschillend zijn, met behulp van de cosinusafstand.
17) fakkel.nn.MultiMarginLoss	Het wordt gebruikt om een criterium te creëren dat het scharnierverlies tussen invoer x en uitvoer y optimaliseert.
18) fakkel.nn.TripletMarginLoss	Het wordt gebruikt om een criterium te creëren dat het tripletverlies meet van gegeven invoertensoren x1, x2, x3 en een marge met een waarde groter dan 0. Het wordt gebruikt voor het meten van een relatieve gelijkenis tussen monsters. Een triplet bestaat uit een anker, een positief voorbeeld en een negatief voorbeeld. L(a,p,n)=max{d(a_i,P_i)-d(een_i,N_i)+marge,0}
vijftien.	Visie lagen
1) fakkel.nn.PixelShuffle	Het wordt gebruikt om de elementen opnieuw te rangschikken in een vormtensor (,C×r²,H,W) tot een tensor van vorm (,C,H×r,W,r)
2) fakkel.nn.Upsample	Het wordt gebruikt om bepaalde meerkanaals 1D-, 2D- of 3D-gegevens te upsamplen.
3) fakkel.nn.upsamplingNearest2d	Het wordt gebruikt om 2D-upsampling van de dichtstbijzijnde buur toe te passen op een ingangssignaal dat is samengesteld uit meerdere ingangskanalen.
4) fakkel.nn.UpsamplingBilinear2d	Het wordt gebruikt om 2D bilineaire upsampling toe te passen op een ingangssignaal dat is samengesteld uit meerdere ingangskanalen.
16.	DataParallelle lagen (multi-GPU, gedistribueerd)
1) fakkel.nn.DataParallel	Het wordt gebruikt om gegevensparallellisme op moduleniveau te implementeren.
2) torch.nn.DistributedDataParallel	Het wordt gebruikt om gedistribueerd dataparallellisme te implementeren, dat is gebaseerd op het torch.distributed-pakket op moduleniveau.
3) torch.nn.DistributedDataParallelCPU	Het wordt gebruikt om gedistribueerd dataparallellisme voor de CPU op moduleniveau te implementeren.
17.	Nutsvoorzieningen
1) fakkel.nn.clip_grad_norm_	Het wordt gebruikt om de gradiëntnorm van een iteratie van parameters te knippen.
2) fakkel.nn.clip_grad_value_	Het wordt gebruikt om de gradiëntnorm van een iteratie van parameters op de opgegeven waarde te knippen.
3) fakkel.nn.parameters_to_vector	Het wordt gebruikt om parameters naar één vector te converteren.
4) fakkel.nn.vector_to_parameters	Het wordt gebruikt om één vector naar de parameters te converteren.
5) fakkel.nn.gewicht_norm	Het wordt gebruikt om gewichtsnormalisatie toe te passen op een parameter in de gegeven module.
6) fakkel.nn.verwijder_gewicht_norm	Het wordt gebruikt om de gewichtsnormalisatie en herparametrisering van een module te verwijderen.
7) fakkel.nn.spectrale_norm	Het wordt gebruikt om spectrale normalisatie toe te passen op een parameter in de gegeven module.
8) fakkel.nn.PackedSequence	Het zal worden gebruikt om de gegevens en de lijst met batchgroottes van een ingepakte reeks op te slaan.
9) fakkel.nn.pack_padded_sequence	Het wordt gebruikt om een Tensor in te pakken die opgevulde reeksen van variabele lengte bevat.
10) fakkel.nn.pad_packed_sequence	Het wordt gebruikt om een verpakte batch sequenties van variabele lengte op te vullen.
11) fakkel.nn.pad_sequence	Het wordt gebruikt om een lijst met Tensors met variabele lengte met opvulwaarde op te vullen.
12) fakkel.nn.pack_sequence	Het wordt gebruikt om een lijst met Tensors met variabele lengte te verzamelen
13) fakkel.nn.remove_spectral_norm	Het wordt gebruikt om de spectrale normalisatie en herparametrering van een module te verwijderen.

Referentie:

https://pytorch.org/docs/stable/nn.html

TechCodeview