RandomWire

From: https://www.kaggle.com/interneuron/randomwire

Author: interneuron

This is an attempt to investigate the effectiveness of randomly wired cnns on this difficult multi-label task.

Code for creating the random graphs and turning them into a functional cnn comes from this excellent github repo , which is an implementation of this badass paper by Xie et al., 2019.

I am writing this to learn how to work with random graphs and am not an expert in graph theory, random networks, or computer vision. If you see something that could or should be changed or know something that might work better, feel free to say so. Thanks!

In [1]:
!pip install torchviz
Collecting torchviz
  Downloading https://files.pythonhosted.org/packages/8f/8e/a9630c7786b846d08b47714dd363a051f5e37b4ea0e534460d8cdfc1644b/torchviz-0.0.1.tar.gz (41kB)
    100% |████████████████████████████████| 51kB 6.4MB/s 
Requirement already satisfied: torch in /opt/conda/lib/python3.6/site-packages (from torchviz) (1.0.1.post2)
Requirement already satisfied: graphviz in /opt/conda/lib/python3.6/site-packages (from torchviz) (0.8.4)
Building wheels for collected packages: torchviz
  Building wheel for torchviz (setup.py) ... - done
  Stored in directory: /tmp/.cache/pip/wheels/2a/c2/c5/b8b4d0f7992c735f6db5bfa3c5f354cf36502037ca2b585667
Successfully built torchviz
Installing collected packages: torchviz
Successfully installed torchviz-0.0.1
In [2]:
import pandas as pd, numpy as np, os, sys
import cv2
import torch
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as data
import torch.nn.functional as F
import torchvision as vision
from torch.utils.data import DataLoader, Dataset
from torch.optim.lr_scheduler import CosineAnnealingLR
from pathlib import Path
from PIL import Image
from contextlib import contextmanager
import networkx as nx
from joblib import Parallel, delayed
from tqdm import tqdm
import torchviz
from torchviz import make_dot, make_dot_from_trace
print(os.listdir("../input"))
['test', 'labels.csv', 'sample_submission.csv', 'train.csv', 'train']
In [3]:
class RandomGraph(object):
    def __init__(self, node_num, p, k=4, m=5, graph_mode="WS"):
        self.node_num = node_num
        self.p = p
        self.k = k
        self.m = m
        self.graph_mode = graph_mode

    def make_graph(self):
        # reference
        # https://networkx.github.io/documentation/networkx-1.9/reference/generators.html

        # Code details,
        # In the case of the nx.random_graphs module, we can give the random seeds as a parameter.
        # But I have implemented it to handle it in the module.
        if self.graph_mode is "ER":
            graph = nx.random_graphs.erdos_renyi_graph(self.node_num, self.p)
        elif self.graph_mode is "WS":
            graph = nx.random_graphs.watts_strogatz_graph(self.node_num, self.k, self.p)
        elif self.graph_mode is "BA":
            graph = nx.random_graphs.barabasi_albert_graph(self.node_num, self.m)

        return graph

    def get_graph_info(self, graph):
        in_edges = {}
        in_edges[0] = []
        nodes = [0]
        end = []
        for node in graph.nodes():
            neighbors = list(graph.neighbors(node))
            neighbors.sort()

            edges = []
            check = []
            for neighbor in neighbors:
                if node > neighbor:
                    edges.append(neighbor + 1)
                    check.append(neighbor)
            if not edges:
                edges.append(0)
            in_edges[node + 1] = edges
            if check == neighbors:
                end.append(node + 1)
            nodes.append(node + 1)
        in_edges[self.node_num + 1] = end
        nodes.append(self.node_num + 1)

        return nodes, in_edges

    def save_random_graph(self, graph, path):
        if not os.path.isdir("saved_graph"):
            os.mkdir("saved_graph")
        nx.write_yaml(graph, "./saved_graph/" + path)

    def load_random_graph(self, path):
        return nx.read_yaml("./saved_graph/" + path)

The code above is the base class for the generation of a random graph that will be used for constructing the random wired NN according to the given parameters. The idea is to be able to convert a random graph into a directed acyclic graph in which convolution operations are mapped onto the graph nodes while specifying the direction of information flow from input to output. Of the three graph generator methods mentioned:

Erdős–Rényi (really random) Barabási–Albert (scale-free) Watts–Strogatz (small world)

Watts–Strogatz (WS) was found to be the most effective for the tasks examined in the paper.

RandomGraph also allows saving of the random graph, which is useful if you find some network that is very effective for a specific task. We should note the paper says that the variance of different random graphs from the same generator process is low.

Below is a raw representation of a random WS graph representation before cnn operations are mapped to it - this graph is not the same structure as the one we will use for training. Changing the graph_mode above will show the different structures of the generators.

In [4]:
rg = RandomGraph(8, 0.75)
gf = rg.make_graph()
rg.get_graph_info(gf)
Out[4]:
([0, 1, 2, 3, 4, 5, 6, 7, 8, 9],
 {0: [],
  1: [0],
  2: [0],
  3: [1],
  4: [2, 3],
  5: [2, 3, 4],
  6: [1, 3, 5],
  7: [2, 3, 4, 6],
  8: [3, 4, 5],
  9: [7, 8]})

Here we can see what is being mapped to the nodes of the random graph. The basic unit here is a triplet of ReLU - seperable 2D convolution - Batch Normalization, weights are randomly initialized.

In [5]:
def weights_init(m):
    if isinstance(m, nn.Conv2d):
        torch.nn.init.xavier_uniform_(m.weight)
        if m.bias is not None:
            torch.nn.init.zeros_(m.bias)


# reference, Thank you.
# https://github.com/tstandley/Xception-PyTorch/blob/master/xception.py
# Reporting 1,
# I don't know which one is better, between 'bias=False' and 'bias=True'
class SeparableConv2d(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1, dilation=1, bias=True):
        super(SeparableConv2d, self).__init__()
        self.conv = nn.Conv2d(in_channels, in_channels, kernel_size, stride, padding, dilation, groups=in_channels, bias=bias)
        self.pointwise = nn.Conv2d(in_channels, out_channels, 1, 1, 0, 1, 1, bias=bias)

        # self.apply(weights_init)

    def forward(self, x):
        x = self.conv(x)
        x = self.pointwise(x)
        return x


# ReLU-convolution-BN triplet
class Unit(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super(Unit, self).__init__()

        self.dropout_rate = 0.2

        self.unit = nn.Sequential(
            nn.ReLU(),
            SeparableConv2d(in_channels, out_channels, stride=stride),
            nn.BatchNorm2d(out_channels),
            nn.Dropout(self.dropout_rate)
        )

    def forward(self, x):
        return self.unit(x)


# Reporting 2,
# In the paper, they said "The aggregation is done by weighted sum with learnable positive weights".
class Node(nn.Module):
    def __init__(self, in_degree, in_channels, out_channels, stride=1):
        super(Node, self).__init__()
        self.in_degree = in_degree
        if len(self.in_degree) > 1:
            # self.weights = nn.Parameter(torch.zeros(len(self.in_degree), requires_grad=True))
            self.weights = nn.Parameter(torch.ones(len(self.in_degree), requires_grad=True))
        self.unit = Unit(in_channels, out_channels, stride=stride)

    def forward(self, *input):
        if len(self.in_degree) > 1:
            x = (input[0] * torch.sigmoid(self.weights[0]))
            for index in range(1, len(input)):
                x += (input[index] * torch.sigmoid(self.weights[index]))
            out = self.unit(x)

            # different paper, add identity mapping
            # out += x
        else:
            out = self.unit(input[0])
        return out


class RandWire(nn.Module):
    def __init__(self, node_num, p, in_channels, out_channels, graph_mode, is_train, name):
        super(RandWire, self).__init__()
        self.node_num = node_num
        self.p = p
        self.in_channels = in_channels
        self.out_channels = out_channels
        self.graph_mode = graph_mode
        self.is_train = is_train
        self.name = name

        # get graph nodes and in edges
        graph_node = RandomGraph(self.node_num, self.p, graph_mode=graph_mode)
        if self.is_train:
            graph = graph_node.make_graph()
            self.nodes, self.in_edges = graph_node.get_graph_info(graph)
            graph_node.save_random_graph(graph, name)
        else:
            graph = graph_node.load_random_graph(name)
            self.nodes, self.in_edges = graph_node.get_graph_info(graph)

        # define input Node
        self.module_list = nn.ModuleList([Node(self.in_edges[0], self.in_channels, self.out_channels, stride=2)])
        # define the rest Node
        self.module_list.extend([Node(self.in_edges[node], self.out_channels, self.out_channels) 
                                 for node in self.nodes if node > 0])

    def forward(self, x):
        memory = {}
        # start vertex
        out = self.module_list[0].forward(x)
        memory[0] = out

        # the rest vertex
        for node in range(1, len(self.nodes) - 1):
            # print(node, self.in_edges[node][0], self.in_edges[node])
            if len(self.in_edges[node]) > 1:
                out = self.module_list[node].forward(*[memory[in_vertex] for in_vertex in self.in_edges[node]])
            else:
                out = self.module_list[node].forward(memory[self.in_edges[node][0]])
            memory[node] = out

        # Reporting 3,
        # How do I handle the last part?
        # It has two kinds of methods.
        # first, Think of the last module as a Node and collect the data by proceeding in the same way as the previous operation.
        # second, simply sum the data and export the output.

        # My Opinion
        # out = self.module_list[self.node_num + 1].forward(*[memory[in_vertex] for in_vertex in self.in_edges[self.node_num + 1]])

        # In paper
        # print("self.in_edges: ", self.in_edges[self.node_num + 1], self.in_edges[self.node_num + 1][0])
        out = memory[self.in_edges[self.node_num + 1][0]]
        for in_vertex_index in range(1, len(self.in_edges[self.node_num + 1])):
            out += memory[self.in_edges[self.node_num + 1][in_vertex_index]]
        out = out / len(self.in_edges[self.node_num + 1])
        return out
In [6]:
class RandNN(nn.Module):
    def __init__(self, node_num, p, in_channels, out_channels, graph_mode, model_mode, dataset_mode, is_train):
        super(RandNN, self).__init__()
        self.node_num = node_num
        self.p = p
        self.in_channels = in_channels
        self.out_channels = out_channels
        self.graph_mode = graph_mode
        self.model_mode = model_mode
        self.is_train = is_train
        self.dataset_mode = dataset_mode

        self.num_classes = 1103
        self.dropout_rate = 0.2

        if self.dataset_mode is "met":
            self.num_classes = 1103

        if self.model_mode is "met":
            self.REGULAR_conv1 = nn.Sequential(
                nn.Conv2d(in_channels=3, out_channels=self.out_channels // 2, kernel_size=3, padding=1),
                nn.BatchNorm2d(self.out_channels // 2)
            )
            self.REGULAR_conv2 = nn.Sequential(
                RandWire(self.node_num // 2, self.p, self.in_channels // 2, self.out_channels, self.graph_mode, self.is_train, name="REGULAR_conv2")
            )
            self.REGULAR_conv3 = nn.Sequential(
                RandWire(self.node_num, self.p, self.in_channels, self.out_channels * 2, self.graph_mode, 
                         self.is_train, name="REGULAR_conv3")
            )
            self.REGULAR_conv4 = nn.Sequential(
                RandWire(self.node_num, self.p, self.in_channels * 2, self.out_channels * 4, self.graph_mode, 
                         self.is_train, name="REGULAR_conv4")
            )
            self.REGULAR_conv5 = nn.Sequential(
                RandWire(self.node_num, self.p, self.in_channels * 4, self.out_channels * 8, self.graph_mode, 
                         self.is_train, name="REGULAR_conv5")
            )
            self.REGULAR_classifier = nn.Sequential(
                nn.Conv2d(self.in_channels * 8, 1280, kernel_size=1),
                nn.BatchNorm2d(1280)
            )

        self.output = nn.Sequential(
            nn.Dropout(self.dropout_rate),
            nn.Linear(1280, self.num_classes)
        )

    def forward(self, x):
        if self.model_mode is "met":
            out = self.REGULAR_conv1(x)
            out = self.REGULAR_conv2(out)
            out = self.REGULAR_conv3(out)
            out = self.REGULAR_conv4(out)
            out = self.REGULAR_conv5(out)
            out = self.REGULAR_classifier(out)

        # global average pooling
        out = F.avg_pool2d(out, kernel_size=x.size()[2:])
        out = torch.squeeze(out)
        out = self.output(out)

        return out
In [7]:
def rw(f=None):
    m = RandNN(32, 0.75, 109, 109, 'WS', 'met', 'met', 'train')
    return m
In [8]:
m = rw()
In [9]:
#m
In [10]:
tr = pd.read_csv('../input/train.csv')
te = pd.read_csv('../input/sample_submission.csv')
In [11]:
import fastai
from fastai.vision import *
path = Path('../input')
In [12]:
SZ = 128
BS = 32

train, test = [ImageList.from_df(df, path=path, cols='id', folder=folder, suffix='.png') 
               for df, folder in zip([tr, te], ['train', 'test'])]
data = (train.split_by_rand_pct(0.1, seed=42)
        .label_from_df(cols='attribute_ids', label_delim=' ')
        .add_test(test)
        .transform(get_transforms(), size=SZ, resize_method=ResizeMethod.PAD, padding_mode='border',)
        .databunch(path=Path('.'), bs=BS).normalize(imagenet_stats))
In [13]:
# Source: https://www.kaggle.com/c/human-protein-atlas-image-classification/discussion/78109
class FocalLoss(nn.Module):
    def __init__(self, gamma=2):
        super().__init__()
        self.gamma = gamma

    def forward(self, logit, target):
        target = target.float()
        max_val = (-logit).clamp(min=0)
        loss = logit - logit * target + max_val + \
               ((-max_val).exp() + (-logit - max_val).exp()).log()

        invprobs = F.logsigmoid(-logit * (target * 2.0 - 1.0))
        loss = (invprobs * self.gamma).exp() * loss
        if len(loss.size())==2:
            loss = loss.sum(dim=1)
        return loss.mean()
In [14]:
learn = cnn_learner(data, 
                    base_arch=rw, 
                    cut = 6,
                    loss_func=FocalLoss(), 
                    metrics=fbeta)

learn = learn.to_fp16(loss_scale=64, dynamic=True)
In [15]:
#learn.lr_find()
#learn.recorder.plot()
In [16]:
learn.unfreeze()
learn.fit_one_cycle(10, slice(1e-3,2e-2))
0.00% [0/10 00:00<00:00]
epoch train_loss valid_loss fbeta time

95.61% [2937/3072 37:31<01:43 4.8385]
In [17]:
learn.recorder.plot()
learn.recorder.plot_losses()
learn.recorder.plot_metrics()
In [18]:
def find_best_fixed_threshold(preds, targs, do_plot=True):
    score = []
    thrs = np.arange(0, 0.5, 0.01)
    for thr in progress_bar(thrs):
        score.append(fbeta(valid_preds[0],valid_preds[1], thresh=thr))
    score = np.array(score)
    pm = score.argmax()
    best_thr, best_score = thrs[pm], score[pm].item()
    print(f'thr={best_thr:.3f}', f'F2={best_score:.3f}')
    if do_plot:
        plt.plot(thrs, score)
        plt.vlines(x=best_thr, ymin=score.min(), ymax=score.max())
        plt.text(best_thr+0.03, best_score-0.01, f'$F_{2}=${best_score:.3f}', fontsize=14);
        plt.show()
    return best_thr

i2c = np.array([[i, c] for c, i in learn.data.train_ds.y.c2i.items()]).astype(int) # indices to class number correspondence

def join_preds(preds, thr):
    return [' '.join(i2c[np.where(t==1)[0],1].astype(str)) for t in (preds[0].sigmoid()>thr).long()]
In [19]:
# Validation predictions
valid_preds = learn.get_preds(DatasetType.Valid)
best_thr = find_best_fixed_threshold(*valid_preds)
100.00% [50/50 00:07<00:00]
thr=0.260 F2=0.327
In [20]:
test_preds = learn.get_preds(DatasetType.Test)
te.attribute_ids = join_preds(test_preds, best_thr)
te.head()
Out[20]:
id attribute_ids
0 10023b2cc4ed5f68 1039 1059 13 147 369 51 587
1 100fbe75ed8fd887 1034 1039 1059 121 147 369 79
2 101b627524a04f19 1059 1092 121 147 487 498 79 813 961 99
3 10234480c41284c6 1046 1092 111 13 147 189 194 480 483 494 501 5...
4 1023b0e2636dcea8 1046 1059 1092 147 156 189 212 227 322 477 489...
In [21]:
te.to_csv('submission.csv', index=False)
In [22]:
x = torch.randn(2,3,64,64).half().cuda()
make_dot(learn.model(x), params=dict(learn.model.named_parameters()))
Out[22]:
%3 140352677901200 AddmmBackward 140352677901144 1.8.bias (1103) 140352677901144->140352677901200 140352677901312 CudnnBatchNormBackward 140352677901312->140352677901200 140352677900976 ThresholdBackward1 140352677900976->140352677901312 140352677900640 AddmmBackward 140352677900640->140352677900976 140352677900752 1.4.bias (512) 140352677900752->140352677900640 140352677900416 CudnnBatchNormBackward 140352677900416->140352677900640 140352677900584 ViewBackward 140352677900584->140352677900416 140352677895808 CatBackward 140352677895808->140352677900584 140352677895920 AdaptiveMaxPool2DBackward 140352677895920->140352677895808 140352677896088 CudnnBatchNormBackward 140352677896088->140352677895920 140352677895976 AdaptiveAvgPool2DBackward 140352677896088->140352677895976 140352677895584 CudnnConvolutionBackward 140352677895584->140352677896088 140352677895304 DivBackward0 140352677895304->140352677895584 140352677895080 AddBackward0 140352677895080->140352677895304 140352677895192 AddBackward0 140352677895192->140352677895080 140352677895024 AddBackward0 140352677895024->140352677895192 140352677894800 AddBackward0 140352677894800->140352677895024 140352677894576 AddBackward0 140352677894576->140352677894800 140352677894408 CudnnBatchNormBackward 140352677894408->140352677894576 140352677894184 CudnnConvolutionBackward 140352677894184->140352677894408 140352677894072 ThnnConvDepthwise2DBackward 140352677894072->140352677894184 140352677893960 ThresholdBackward0 140352677893960->140352677894072 140352677893624 AddBackward0 140352677893624->140352677893960 140352677893456 MulBackward0 140352677893456->140352677893624 140352677893288 CudnnBatchNormBackward 140352677893288->140352677893456 140352678225176 MulBackward0 140352677893288->140352678225176 140352678223944 ThresholdBackward0 140352677893288->140352678223944 140352677893064 CudnnConvolutionBackward 140352677893064->140352677893288 140352677892840 ThnnConvDepthwise2DBackward 140352677892840->140352677893064 140352677892616 ThresholdBackward0 140352677892616->140352677892840 140352677892280 CudnnBatchNormBackward 140352677892280->140352677892616 140352678225904 ThresholdBackward0 140352677892280->140352678225904 140352678217208 ThresholdBackward0 140352677892280->140352678217208 140352678217376 ThresholdBackward0 140352677892280->140352678217376 140352678208568 ThresholdBackward0 140352677892280->140352678208568 140352678180232 ThresholdBackward0 140352677892280->140352678180232 140352677892448 CudnnConvolutionBackward 140352677892448->140352677892280 140352677892048 ThnnConvDepthwise2DBackward 140352677892048->140352677892448 140352677891880 ThresholdBackward0 140352677891880->140352677892048 140352677891488 DivBackward0 140352677891488->140352677891880 140352677891264 AddBackward0 140352677891264->140352677891488 140352677891376 AddBackward0 140352677891376->140352677891264 140352677891208 AddBackward0 140352677891208->140352677891376 140352677890816 AddBackward0 140352677890816->140352677891208 140352677890984 AddBackward0 140352677890984->140352677890816 140352677890536 CudnnBatchNormBackward 140352677890536->140352677890984 140352677890368 CudnnConvolutionBackward 140352677890368->140352677890536 140352677890200 ThnnConvDepthwise2DBackward 140352677890200->140352677890368 140352677889976 ThresholdBackward0 140352677889976->140352677890200 140352677889808 AddBackward0 140352677889808->140352677889976 140352677889528 AddBackward0 140352677889528->140352677889808 140352677889472 AddBackward0 140352677889472->140352677889528 140352677889416 AddBackward0 140352677889416->140352677889472 140352677889192 MulBackward0 140352677889192->140352677889416 140352677888912 CudnnBatchNormBackward 140352677888912->140352677889192 140352677742184 MulBackward0 140352677888912->140352677742184 140352678255472 MulBackward0 140352677888912->140352678255472 140352678227248 MulBackward0 140352677888912->140352678227248 140352677888744 CudnnConvolutionBackward 140352677888744->140352677888912 140352677888520 ThnnConvDepthwise2DBackward 140352677888520->140352677888744 140352677888464 ThresholdBackward0 140352677888464->140352677888520 140352677888072 CudnnBatchNormBackward 140352677888072->140352677888464 140352677755424 ThresholdBackward0 140352677888072->140352677755424 140352677754808 ThresholdBackward0 140352677888072->140352677754808 140352677751720 ThresholdBackward0 140352677888072->140352677751720 140352677743864 ThresholdBackward0 140352677888072->140352677743864 140352677739936 ThresholdBackward0 140352677888072->140352677739936 140352677738256 ThresholdBackward0 140352677888072->140352677738256 140352678256480 ThresholdBackward0 140352677888072->140352678256480 140352677883800 CudnnConvolutionBackward 140352677883800->140352677888072 140352677883632 ThnnConvDepthwise2DBackward 140352677883632->140352677883800 140352677883408 ThresholdBackward0 140352677883408->140352677883632 140352677883296 DivBackward0 140352677883296->140352677883408 140352677882960 AddBackward0 140352677882960->140352677883296 140352677883072 AddBackward0 140352677883072->140352677882960 140352677882904 AddBackward0 140352677882904->140352677883072 140352677882568 CudnnBatchNormBackward 140352677882568->140352677882904 140352677882512 CudnnConvolutionBackward 140352677882512->140352677882568 140352677882400 ThnnConvDepthwise2DBackward 140352677882400->140352677882512 140352677881896 ThresholdBackward0 140352677881896->140352677882400 140352677881840 AddBackward0 140352677881840->140352677881896 140352677881616 AddBackward0 140352677881616->140352677881840 140352677881336 AddBackward0 140352677881336->140352677881616 140352677881504 AddBackward0 140352677881504->140352677881336 140352677881280 MulBackward0 140352677881280->140352677881504 140352677881112 CudnnBatchNormBackward 140352677881112->140352677881280 140352677788248 MulBackward0 140352677881112->140352677788248 140352677772536 MulBackward0 140352677881112->140352677772536 140352677880832 CudnnConvolutionBackward 140352677880832->140352677881112 140352677880384 ThnnConvDepthwise2DBackward 140352677880384->140352677880832 140352677880608 ThresholdBackward0 140352677880608->140352677880384 140352677880272 CudnnBatchNormBackward 140352677880272->140352677880608 140352677812320 ThresholdBackward0 140352677880272->140352677812320 140352677811368 ThresholdBackward0 140352677880272->140352677811368 140352677810416 ThresholdBackward0 140352677880272->140352677810416 140352677808448 ThresholdBackward0 140352677880272->140352677808448 140352677801544 ThresholdBackward0 140352677880272->140352677801544 140352677796888 ThresholdBackward0 140352677880272->140352677796888 140352677879992 CudnnConvolutionBackward 140352677879992->140352677880272 140352677879760 ThnnConvDepthwise2DBackward 140352677879760->140352677879992 140352677879536 ThresholdBackward0 140352677879536->140352677879760 140352677879368 DivBackward0 140352677879368->140352677879536 140352677878920 AddBackward0 140352677878920->140352677879368 140352677879032 CudnnBatchNormBackward 140352677879032->140352677878920 140352677878696 CudnnConvolutionBackward 140352677878696->140352677879032 140352677878584 ThnnConvDepthwise2DBackward 140352677878584->140352677878696 140352677878528 ThresholdBackward0 140352677878528->140352677878584 140352677878360 AddBackward0 140352677878360->140352677878528 140352677878080 AddBackward0 140352677878080->140352677878360 140352677877968 AddBackward0 140352677877968->140352677878080 140352677877744 MulBackward0 140352677877744->140352677877968 140352677877520 CudnnBatchNormBackward 140352677877520->140352677877744 140352677843856 MulBackward0 140352677877520->140352677843856 140352677832240 MulBackward0 140352677877520->140352677832240 140352677877408 CudnnConvolutionBackward 140352677877408->140352677877520 140352677877184 ThnnConvDepthwise2DBackward 140352677877184->140352677877408 140352677877016 ThresholdBackward0 140352677877016->140352677877184 140352677876736 AddBackward0 140352677876736->140352677877016 140352677876288 MulBackward0 140352677876288->140352677876736 140352677876456 CudnnBatchNormBackward 140352677876456->140352677876288 140352677843632 MulBackward0 140352677876456->140352677843632 140352677876064 CudnnConvolutionBackward 140352677876064->140352677876456 140352677875840 ThnnConvDepthwise2DBackward 140352677875840->140352677876064 140352677875784 ThresholdBackward0 140352677875784->140352677875840 140352677846880 CudnnBatchNormBackward 140352677846880->140352677875784 140352677844416 ThresholdBackward0 140352677846880->140352677844416 140352677828928 ThresholdBackward0 140352677846880->140352677828928 140352677846712 CudnnConvolutionBackward 140352677846712->140352677846880 140352677846376 ThnnConvDepthwise2DBackward 140352677846376->140352677846712 140352677846208 ThresholdBackward0 140352677846208->140352677846376 140352677846096 CudnnBatchNormBackward 140352677846096->140352677846208 140352677845928 CudnnConvolutionBackward 140352677845928->140352677846096 140352677845760 0.0.0.weight (54, 3, 3, 3) 140352677845760->140352677845928 140352677845816 0.0.0.bias (54) 140352677845816->140352677845928 140352677845592 0.0.1.weight (54) 140352677845592->140352677846096 140352677845648 0.0.1.bias (54) 140352677845648->140352677846096 140352677846264 0.1.0.module_list.0.unit.unit.1.conv.weight (54, 1, 3, 3) 140352677846264->140352677846376 140352677845984 0.1.0.module_list.0.unit.unit.1.conv.bias (54) 140352677845984->140352677846376 140352677846432 0.1.0.module_list.0.unit.unit.1.pointwise.weight (109, 54, 1, 1) 140352677846432->140352677846712 140352677846488 0.1.0.module_list.0.unit.unit.1.pointwise.bias (109) 140352677846488->140352677846712 140352677846544 0.1.0.module_list.0.unit.unit.2.weight (109) 140352677846544->140352677846880 140352677846600 0.1.0.module_list.0.unit.unit.2.bias (109) 140352677846600->140352677846880 140352677846936 0.1.0.module_list.4.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677846936->140352677875840 140352677846768 0.1.0.module_list.4.unit.unit.1.conv.bias (109) 140352677846768->140352677875840 140352677875896 0.1.0.module_list.4.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677875896->140352677876064 140352677875952 0.1.0.module_list.4.unit.unit.1.pointwise.bias (109) 140352677875952->140352677876064 140352677876120 0.1.0.module_list.4.unit.unit.2.weight (109) 140352677876120->140352677876456 140352677876176 0.1.0.module_list.4.unit.unit.2.bias (109) 140352677876176->140352677876456 140352677876512 SigmoidBackward 140352677876512->140352677876288 140352677876232 SelectBackward 140352677876232->140352677876512 140352677846320 0.1.0.module_list.6.weights (2) 140352677846320->140352677876232 140352677845872 SelectBackward 140352677846320->140352677845872 140352677876344 MulBackward0 140352677876344->140352677876736 140352677876568 CudnnBatchNormBackward 140352677876568->140352677876344 140352677843744 MulBackward0 140352677876568->140352677843744 140352677846824 CudnnConvolutionBackward 140352677846824->140352677876568 140352677846040 ThnnConvDepthwise2DBackward 140352677846040->140352677846824 140352677845424 ThresholdBackward0 140352677845424->140352677846040 140352677845200 CudnnBatchNormBackward 140352677845200->140352677845424 140352677834480 ThresholdBackward0 140352677845200->140352677834480 140352677834088 ThresholdBackward0 140352677845200->140352677834088 140352677832464 MulBackward0 140352677845200->140352677832464 140352677830552 MulBackward0 140352677845200->140352677830552 140352677829320 ThresholdBackward0 140352677845200->140352677829320 140352677813944 MulBackward0 140352677845200->140352677813944 140352677845032 CudnnConvolutionBackward 140352677845032->140352677845200 140352677844864 ThnnConvDepthwise2DBackward 140352677844864->140352677845032 140352677844416->140352677844864 140352677844472 0.1.0.module_list.1.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677844472->140352677844864 140352677844528 0.1.0.module_list.1.unit.unit.1.conv.bias (109) 140352677844528->140352677844864 140352677844920 0.1.0.module_list.1.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677844920->140352677845032 140352677844640 0.1.0.module_list.1.unit.unit.1.pointwise.bias (109) 140352677844640->140352677845032 140352677845088 0.1.0.module_list.1.unit.unit.2.weight (109) 140352677845088->140352677845200 140352677844752 0.1.0.module_list.1.unit.unit.2.bias (109) 140352677844752->140352677845200 140352677845256 0.1.0.module_list.5.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677845256->140352677846040 140352677845312 0.1.0.module_list.5.unit.unit.1.conv.bias (109) 140352677845312->140352677846040 140352677845480 0.1.0.module_list.5.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677845480->140352677846824 140352677845368 0.1.0.module_list.5.unit.unit.1.pointwise.bias (109) 140352677845368->140352677846824 140352677846152 0.1.0.module_list.5.unit.unit.2.weight (109) 140352677846152->140352677876568 140352677845704 0.1.0.module_list.5.unit.unit.2.bias (109) 140352677845704->140352677876568 140352677876008 SigmoidBackward 140352677876008->140352677876344 140352677845872->140352677876008 140352677877072 0.1.0.module_list.6.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677877072->140352677877184 140352677876624 0.1.0.module_list.6.unit.unit.1.conv.bias (109) 140352677876624->140352677877184 140352677876848 0.1.0.module_list.6.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677876848->140352677877408 140352677876904 0.1.0.module_list.6.unit.unit.1.pointwise.bias (109) 140352677876904->140352677877408 140352677877240 0.1.0.module_list.6.unit.unit.2.weight (109) 140352677877240->140352677877520 140352677877296 0.1.0.module_list.6.unit.unit.2.bias (109) 140352677877296->140352677877520 140352677877576 SigmoidBackward 140352677877576->140352677877744 140352677877128 SelectBackward 140352677877128->140352677877576 140352677876400 0.1.0.module_list.15.weights (4) 140352677876400->140352677877128 140352677844808 SelectBackward 140352677876400->140352677844808 140352677834704 SelectBackward 140352677876400->140352677834704 140352677833976 SelectBackward 140352677876400->140352677833976 140352677877800 MulBackward0 140352677877800->140352677877968 140352677877352 CudnnBatchNormBackward 140352677877352->140352677877800 140352677876680 CudnnConvolutionBackward 140352677876680->140352677877352 140352677844976 ThnnConvDepthwise2DBackward 140352677844976->140352677876680 140352677844248 ThresholdBackward0 140352677844248->140352677844976 140352677844192 AddBackward0 140352677844192->140352677844248 140352677844080 AddBackward0 140352677844080->140352677844192 140352677843968 AddBackward0 140352677843968->140352677844080 140352677843576 MulBackward0 140352677843576->140352677843968 140352677843464 CudnnBatchNormBackward 140352677843464->140352677843576 140352677833528 ThresholdBackward0 140352677843464->140352677833528 140352677843296 CudnnConvolutionBackward 140352677843296->140352677843464 140352677843128 ThnnConvDepthwise2DBackward 140352677843128->140352677843296 140352677834480->140352677843128 140352677834536 0.1.0.module_list.2.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677834536->140352677843128 140352677834592 0.1.0.module_list.2.unit.unit.1.conv.bias (109) 140352677834592->140352677843128 140352677843184 0.1.0.module_list.2.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677843184->140352677843296 140352677843016 0.1.0.module_list.2.unit.unit.1.pointwise.bias (109) 140352677843016->140352677843296 140352677843352 0.1.0.module_list.2.unit.unit.2.weight (109) 140352677843352->140352677843464 140352677843408 0.1.0.module_list.2.unit.unit.2.bias (109) 140352677843408->140352677843464 140352677843520 SigmoidBackward 140352677843520->140352677843576 140352677843072 SelectBackward 140352677843072->140352677843520 140352677834368 0.1.0.module_list.7.weights (4) 140352677834368->140352677843072 140352677834312 SelectBackward 140352677834368->140352677834312 140352677834648 SelectBackward 140352677834368->140352677834648 140352677834424 SelectBackward 140352677834368->140352677834424 140352677843632->140352677843968 140352677843240 SigmoidBackward 140352677843240->140352677843632 140352677834312->140352677843240 140352677843744->140352677844080 140352677843688 SigmoidBackward 140352677843688->140352677843744 140352677834648->140352677843688 140352677843856->140352677844192 140352677843800 SigmoidBackward 140352677843800->140352677843856 140352677834424->140352677843800 140352677844584 0.1.0.module_list.7.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677844584->140352677844976 140352677844360 0.1.0.module_list.7.unit.unit.1.conv.bias (109) 140352677844360->140352677844976 140352677845144 0.1.0.module_list.7.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677845144->140352677876680 140352677844696 0.1.0.module_list.7.unit.unit.1.pointwise.bias (109) 140352677844696->140352677876680 140352677846656 0.1.0.module_list.7.unit.unit.2.weight (109) 140352677846656->140352677877352 140352677845536 0.1.0.module_list.7.unit.unit.2.bias (109) 140352677845536->140352677877352 140352677876960 SigmoidBackward 140352677876960->140352677877800 140352677844808->140352677876960 140352677877632 MulBackward0 140352677877632->140352677878080 140352677877464 CudnnBatchNormBackward 140352677877464->140352677877632 140352677830440 MulBackward0 140352677877464->140352677830440 140352677827584 MulBackward0 140352677877464->140352677827584 140352677843912 CudnnConvolutionBackward 140352677843912->140352677877464 140352677834144 ThnnConvDepthwise2DBackward 140352677834144->140352677843912 140352677834088->140352677834144 140352677833696 0.1.0.module_list.8.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833696->140352677834144 140352677833752 0.1.0.module_list.8.unit.unit.1.conv.bias (109) 140352677833752->140352677834144 140352677834200 0.1.0.module_list.8.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677834200->140352677843912 140352677834256 0.1.0.module_list.8.unit.unit.1.pointwise.bias (109) 140352677834256->140352677843912 140352677844024 0.1.0.module_list.8.unit.unit.2.weight (109) 140352677844024->140352677877464 140352677844136 0.1.0.module_list.8.unit.unit.2.bias (109) 140352677844136->140352677877464 140352677876792 SigmoidBackward 140352677876792->140352677877632 140352677834704->140352677876792 140352677877856 MulBackward0 140352677877856->140352677878360 140352677877688 CudnnBatchNormBackward 140352677877688->140352677877856 140352677832744 MulBackward0 140352677877688->140352677832744 140352677833920 CudnnConvolutionBackward 140352677833920->140352677877688 140352677833584 ThnnConvDepthwise2DBackward 140352677833584->140352677833920 140352677833528->140352677833584 140352677833248 0.1.0.module_list.14.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833248->140352677833584 140352677833304 0.1.0.module_list.14.unit.unit.1.conv.bias (109) 140352677833304->140352677833584 140352677833640 0.1.0.module_list.14.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677833640->140352677833920 140352677833416 0.1.0.module_list.14.unit.unit.1.pointwise.bias (109) 140352677833416->140352677833920 140352677833864 0.1.0.module_list.14.unit.unit.2.weight (109) 140352677833864->140352677877688 140352677833808 0.1.0.module_list.14.unit.unit.2.bias (109) 140352677833808->140352677877688 140352677844304 SigmoidBackward 140352677844304->140352677877856 140352677833976->140352677844304 140352677878136 0.1.0.module_list.15.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677878136->140352677878584 140352677878192 0.1.0.module_list.15.unit.unit.1.conv.bias (109) 140352677878192->140352677878584 140352677878640 0.1.0.module_list.15.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677878640->140352677878696 140352677878416 0.1.0.module_list.15.unit.unit.1.pointwise.bias (109) 140352677878416->140352677878696 140352677878752 0.1.0.module_list.15.unit.unit.2.weight (109) 140352677878752->140352677879032 140352677878808 0.1.0.module_list.15.unit.unit.2.bias (109) 140352677878808->140352677879032 140352677879088 CudnnBatchNormBackward 140352677879088->140352677878920 140352677878864 CudnnConvolutionBackward 140352677878864->140352677879088 140352677878304 ThnnConvDepthwise2DBackward 140352677878304->140352677878864 140352677833136 ThresholdBackward0 140352677833136->140352677878304 140352677833080 AddBackward0 140352677833080->140352677833136 140352677832688 AddBackward0 140352677832688->140352677833080 140352677832856 AddBackward0 140352677832856->140352677832688 140352677832576 AddBackward0 140352677832576->140352677832856 140352677832464->140352677832576 140352677831960 SigmoidBackward 140352677831960->140352677832464 140352677832072 SelectBackward 140352677832072->140352677831960 140352677832184 0.1.0.module_list.16.weights (5) 140352677832184->140352677832072 140352677831848 SelectBackward 140352677832184->140352677831848 140352677831624 SelectBackward 140352677832184->140352677831624 140352677828872 SelectBackward 140352677832184->140352677828872 140352677827752 SelectBackward 140352677832184->140352677827752 140352677832240->140352677832576 140352677832016 SigmoidBackward 140352677832016->140352677832240 140352677831848->140352677832016 140352677832352 MulBackward0 140352677832352->140352677832856 140352677832296 CudnnBatchNormBackward 140352677832296->140352677832352 140352677831680 CudnnConvolutionBackward 140352677831680->140352677832296 140352677831288 ThnnConvDepthwise2DBackward 140352677831288->140352677831680 140352677831512 ThresholdBackward0 140352677831512->140352677831288 140352677831232 AddBackward0 140352677831232->140352677831512 140352677830952 AddBackward0 140352677830952->140352677831232 140352677830840 AddBackward0 140352677830840->140352677830952 140352677830384 AddBackward0 140352677830384->140352677830840 140352677830552->140352677830384 140352677830328 SigmoidBackward 140352677830328->140352677830552 140352677829992 SelectBackward 140352677829992->140352677830328 140352677830104 0.1.0.module_list.11.weights (5) 140352677830104->140352677829992 140352677829880 SelectBackward 140352677830104->140352677829880 140352677829264 SelectBackward 140352677830104->140352677829264 140352677828648 SelectBackward 140352677830104->140352677828648 140352677828368 SelectBackward 140352677830104->140352677828368 140352677830216 MulBackward0 140352677830216->140352677830384 140352677829936 CudnnBatchNormBackward 140352677829936->140352677830216 140352677814000 MulBackward0 140352677829936->140352677814000 140352677812936 ThresholdBackward0 140352677829936->140352677812936 140352677829656 CudnnConvolutionBackward 140352677829656->140352677829936 140352677829488 ThnnConvDepthwise2DBackward 140352677829488->140352677829656 140352677829320->140352677829488 140352677829376 0.1.0.module_list.3.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677829376->140352677829488 140352677829432 0.1.0.module_list.3.unit.unit.1.conv.bias (109) 140352677829432->140352677829488 140352677829544 0.1.0.module_list.3.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677829544->140352677829656 140352677829600 0.1.0.module_list.3.unit.unit.1.pointwise.bias (109) 140352677829600->140352677829656 140352677829768 0.1.0.module_list.3.unit.unit.2.weight (109) 140352677829768->140352677829936 140352677829824 0.1.0.module_list.3.unit.unit.2.bias (109) 140352677829824->140352677829936 140352677830048 SigmoidBackward 140352677830048->140352677830216 140352677829880->140352677830048 140352677830440->140352677830840 140352677830272 SigmoidBackward 140352677830272->140352677830440 140352677829264->140352677830272 140352677830728 MulBackward0 140352677830728->140352677830952 140352677830496 CudnnBatchNormBackward 140352677830496->140352677830728 140352677827640 MulBackward0 140352677830496->140352677827640 140352677814168 MulBackward0 140352677830496->140352677814168 140352677829152 CudnnConvolutionBackward 140352677829152->140352677830496 140352677828704 ThnnConvDepthwise2DBackward 140352677828704->140352677829152 140352677828928->140352677828704 140352677828536 0.1.0.module_list.9.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677828536->140352677828704 140352677828592 0.1.0.module_list.9.unit.unit.1.conv.bias (109) 140352677828592->140352677828704 140352677828760 0.1.0.module_list.9.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677828760->140352677829152 140352677828816 0.1.0.module_list.9.unit.unit.1.pointwise.bias (109) 140352677828816->140352677829152 140352677829096 0.1.0.module_list.9.unit.unit.2.weight (109) 140352677829096->140352677830496 140352677829040 0.1.0.module_list.9.unit.unit.2.bias (109) 140352677829040->140352677830496 140352677830160 SigmoidBackward 140352677830160->140352677830728 140352677828648->140352677830160 140352677831008 MulBackward0 140352677831008->140352677831232 140352677830608 CudnnBatchNormBackward 140352677830608->140352677831008 140352677828312 CudnnConvolutionBackward 140352677828312->140352677830608 140352677828424 ThnnConvDepthwise2DBackward 140352677828424->140352677828312 140352677828032 ThresholdBackward0 140352677828032->140352677828424 140352677827808 AddBackward0 140352677827808->140352677828032 140352677827584->140352677827808 140352677827360 SigmoidBackward 140352677827360->140352677827584 140352677827472 SelectBackward 140352677827472->140352677827360 140352677827192 0.1.0.module_list.10.weights (2) 140352677827192->140352677827472 140352677827248 SelectBackward 140352677827192->140352677827248 140352677827640->140352677827808 140352677827416 SigmoidBackward 140352677827416->140352677827640 140352677827248->140352677827416 140352677828088 0.1.0.module_list.10.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677828088->140352677828424 140352677828144 0.1.0.module_list.10.unit.unit.1.conv.bias (109) 140352677828144->140352677828424 140352677828480 0.1.0.module_list.10.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677828480->140352677828312 140352677827920 0.1.0.module_list.10.unit.unit.1.pointwise.bias (109) 140352677827920->140352677828312 140352677828256 0.1.0.module_list.10.unit.unit.2.weight (109) 140352677828256->140352677830608 140352677828200 0.1.0.module_list.10.unit.unit.2.bias (109) 140352677828200->140352677830608 140352677829208 SigmoidBackward 140352677829208->140352677831008 140352677828368->140352677829208 140352677831064 0.1.0.module_list.11.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677831064->140352677831288 140352677831120 0.1.0.module_list.11.unit.unit.1.conv.bias (109) 140352677831120->140352677831288 140352677831344 0.1.0.module_list.11.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677831344->140352677831680 140352677831400 0.1.0.module_list.11.unit.unit.1.pointwise.bias (109) 140352677831400->140352677831680 140352677831736 0.1.0.module_list.11.unit.unit.2.weight (109) 140352677831736->140352677832296 140352677831792 0.1.0.module_list.11.unit.unit.2.bias (109) 140352677831792->140352677832296 140352677832128 SigmoidBackward 140352677832128->140352677832352 140352677831624->140352677832128 140352677832912 MulBackward0 140352677832912->140352677832688 140352677832408 CudnnBatchNormBackward 140352677832408->140352677832912 140352677830784 CudnnConvolutionBackward 140352677830784->140352677832408 140352677827976 ThnnConvDepthwise2DBackward 140352677827976->140352677830784 140352677827528 ThresholdBackward0 140352677827528->140352677827976 140352677826968 AddBackward0 140352677826968->140352677827528 140352677826800 AddBackward0 140352677826800->140352677826968 140352677826632 AddBackward0 140352677826632->140352677826800 140352677813944->140352677826632 140352677814112 SigmoidBackward 140352677814112->140352677813944 140352677813720 SelectBackward 140352677813720->140352677814112 140352677813832 0.1.0.module_list.13.weights (4) 140352677813832->140352677813720 140352677813888 SelectBackward 140352677813832->140352677813888 140352677813328 SelectBackward 140352677813832->140352677813328 140352677813608 SelectBackward 140352677813832->140352677813608 140352677814000->140352677826632 140352677813664 SigmoidBackward 140352677813664->140352677814000 140352677813888->140352677813664 140352677814168->140352677826800 140352677814056 SigmoidBackward 140352677814056->140352677814168 140352677813328->140352677814056 140352677826856 MulBackward0 140352677826856->140352677826968 140352677814224 CudnnBatchNormBackward 140352677814224->140352677826856 140352677813440 CudnnConvolutionBackward 140352677813440->140352677814224 140352677813104 ThnnConvDepthwise2DBackward 140352677813104->140352677813440 140352677812936->140352677813104 140352677812992 0.1.0.module_list.12.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677812992->140352677813104 140352677813048 0.1.0.module_list.12.unit.unit.1.conv.bias (109) 140352677813048->140352677813104 140352677813216 0.1.0.module_list.12.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677813216->140352677813440 140352677813272 0.1.0.module_list.12.unit.unit.1.pointwise.bias (109) 140352677813272->140352677813440 140352677813496 0.1.0.module_list.12.unit.unit.2.weight (109) 140352677813496->140352677814224 140352677813552 0.1.0.module_list.12.unit.unit.2.bias (109) 140352677813552->140352677814224 140352677813776 SigmoidBackward 140352677813776->140352677826856 140352677813608->140352677813776 140352677827080 0.1.0.module_list.13.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677827080->140352677827976 140352677827136 0.1.0.module_list.13.unit.unit.1.conv.bias (109) 140352677827136->140352677827976 140352677827696 0.1.0.module_list.13.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677827696->140352677830784 140352677827864 0.1.0.module_list.13.unit.unit.1.pointwise.bias (109) 140352677827864->140352677830784 140352677830896 0.1.0.module_list.13.unit.unit.2.weight (109) 140352677830896->140352677832408 140352677831176 0.1.0.module_list.13.unit.unit.2.bias (109) 140352677831176->140352677832408 140352677831904 SigmoidBackward 140352677831904->140352677832912 140352677828872->140352677831904 140352677832744->140352677833080 140352677832520 SigmoidBackward 140352677832520->140352677832744 140352677827752->140352677832520 140352677833360 0.1.0.module_list.16.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833360->140352677878304 140352677832968 0.1.0.module_list.16.unit.unit.1.conv.bias (109) 140352677832968->140352677878304 140352677834032 0.1.0.module_list.16.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677834032->140352677878864 140352677833472 0.1.0.module_list.16.unit.unit.1.pointwise.bias (109) 140352677833472->140352677878864 140352677878472 0.1.0.module_list.16.unit.unit.2.weight (109) 140352677878472->140352677879088 140352677877912 0.1.0.module_list.16.unit.unit.2.bias (109) 140352677877912->140352677879088 140352677879200 0.2.0.module_list.0.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677879200->140352677879760 140352677879256 0.2.0.module_list.0.unit.unit.1.conv.bias (109) 140352677879256->140352677879760 140352677879592 0.2.0.module_list.0.unit.unit.1.pointwise.weight (218, 109, 1, 1) 140352677879592->140352677879992 140352677879648 0.2.0.module_list.0.unit.unit.1.pointwise.bias (218) 140352677879648->140352677879992 140352677880048 0.2.0.module_list.0.unit.unit.2.weight (218) 140352677880048->140352677880272 140352677879880 0.2.0.module_list.0.unit.unit.2.bias (218) 140352677879880->140352677880272 140352677880104 0.2.0.module_list.5.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677880104->140352677880384 140352677880160 0.2.0.module_list.5.unit.unit.1.conv.bias (218) 140352677880160->140352677880384 140352677880440 0.2.0.module_list.5.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677880440->140352677880832 140352677880496 0.2.0.module_list.5.unit.unit.1.pointwise.bias (218) 140352677880496->140352677880832 140352677880664 0.2.0.module_list.5.unit.unit.2.weight (218) 140352677880664->140352677881112 140352677880720 0.2.0.module_list.5.unit.unit.2.bias (218) 140352677880720->140352677881112 140352677880888 SigmoidBackward 140352677880888->140352677881280 140352677880328 SelectBackward 140352677880328->140352677880888 140352677879936 0.2.0.module_list.21.weights (5) 140352677879936->140352677880328 140352677879424 SelectBackward 140352677879936->140352677879424 140352677811760 SelectBackward 140352677879936->140352677811760 140352677810360 SelectBackward 140352677879936->140352677810360 140352677808168 SelectBackward 140352677879936->140352677808168 140352677880944 MulBackward0 140352677880944->140352677881504 140352677880776 CudnnBatchNormBackward 140352677880776->140352677880944 140352677799584 MulBackward0 140352677880776->140352677799584 140352677770520 MulBackward0 140352677880776->140352677770520 140352677767488 MulBackward0 140352677880776->140352677767488 140352677879704 CudnnConvolutionBackward 140352677879704->140352677880776 140352677879312 ThnnConvDepthwise2DBackward 140352677879312->140352677879704 140352677832800 ThresholdBackward0 140352677832800->140352677879312 140352677826688 AddBackward0 140352677826688->140352677832800 140352677826912 MulBackward0 140352677826912->140352677826688 140352677812712 CudnnBatchNormBackward 140352677812712->140352677826912 140352677788304 MulBackward0 140352677812712->140352677788304 140352677770744 MulBackward0 140352677812712->140352677770744 140352677812768 CudnnConvolutionBackward 140352677812768->140352677812712 140352677812600 ThnnConvDepthwise2DBackward 140352677812600->140352677812768 140352677812320->140352677812600 140352677812376 0.2.0.module_list.6.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677812376->140352677812600 140352677812040 0.2.0.module_list.6.unit.unit.1.conv.bias (218) 140352677812040->140352677812600 140352677812152 0.2.0.module_list.6.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677812152->140352677812768 140352677812208 0.2.0.module_list.6.unit.unit.1.pointwise.bias (218) 140352677812208->140352677812768 140352677812432 0.2.0.module_list.6.unit.unit.2.weight (218) 140352677812432->140352677812712 140352677812488 0.2.0.module_list.6.unit.unit.2.bias (218) 140352677812488->140352677812712 140352677812656 SigmoidBackward 140352677812656->140352677826912 140352677812544 SelectBackward 140352677812544->140352677812656 140352677811816 0.2.0.module_list.8.weights (2) 140352677811816->140352677812544 140352677811984 SelectBackward 140352677811816->140352677811984 140352677813384 MulBackward0 140352677813384->140352677826688 140352677812824 CudnnBatchNormBackward 140352677812824->140352677813384 140352677807384 MulBackward0 140352677812824->140352677807384 140352677795656 MulBackward0 140352677812824->140352677795656 140352677788920 MulBackward0 140352677812824->140352677788920 140352677812096 CudnnConvolutionBackward 140352677812096->140352677812824 140352677811592 ThnnConvDepthwise2DBackward 140352677811592->140352677812096 140352677811368->140352677811592 140352677811424 0.2.0.module_list.7.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677811424->140352677811592 140352677811480 0.2.0.module_list.7.unit.unit.1.conv.bias (218) 140352677811480->140352677811592 140352677811648 0.2.0.module_list.7.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677811648->140352677812096 140352677811704 0.2.0.module_list.7.unit.unit.1.pointwise.bias (218) 140352677811704->140352677812096 140352677811872 0.2.0.module_list.7.unit.unit.2.weight (218) 140352677811872->140352677812824 140352677811928 0.2.0.module_list.7.unit.unit.2.bias (218) 140352677811928->140352677812824 140352677812264 SigmoidBackward 140352677812264->140352677813384 140352677811984->140352677812264 140352677832632 0.2.0.module_list.8.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677832632->140352677879312 140352677833024 0.2.0.module_list.8.unit.unit.1.conv.bias (218) 140352677833024->140352677879312 140352677879144 0.2.0.module_list.8.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677879144->140352677879704 140352677878024 0.2.0.module_list.8.unit.unit.1.pointwise.bias (218) 140352677878024->140352677879704 140352677879480 0.2.0.module_list.8.unit.unit.2.weight (218) 140352677879480->140352677880776 140352677878976 0.2.0.module_list.8.unit.unit.2.bias (218) 140352677878976->140352677880776 140352677880552 SigmoidBackward 140352677880552->140352677880944 140352677879424->140352677880552 140352677881168 MulBackward0 140352677881168->140352677881336 140352677881000 CudnnBatchNormBackward 140352677881000->140352677881168 140352677796048 MulBackward0 140352677881000->140352677796048 140352677833192 CudnnConvolutionBackward 140352677833192->140352677881000 140352677811312 ThnnConvDepthwise2DBackward 140352677811312->140352677833192 140352677811144 ThresholdBackward0 140352677811144->140352677811312 140352677810864 CudnnBatchNormBackward 140352677810864->140352677811144 140352677800648 ThresholdBackward0 140352677810864->140352677800648 140352677767376 MulBackward0 140352677810864->140352677767376 140352677766200 MulBackward0 140352677810864->140352677766200 140352677810976 CudnnConvolutionBackward 140352677810976->140352677810864 140352677810752 ThnnConvDepthwise2DBackward 140352677810752->140352677810976 140352677810416->140352677810752 140352677810248 0.2.0.module_list.12.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677810248->140352677810752 140352677810072 0.2.0.module_list.12.unit.unit.1.conv.bias (218) 140352677810072->140352677810752 140352677810528 0.2.0.module_list.12.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677810528->140352677810976 140352677810304 0.2.0.module_list.12.unit.unit.1.pointwise.bias (218) 140352677810304->140352677810976 140352677810584 0.2.0.module_list.12.unit.unit.2.weight (218) 140352677810584->140352677810864 140352677810640 0.2.0.module_list.12.unit.unit.2.bias (218) 140352677810640->140352677810864 140352677811200 0.2.0.module_list.13.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677811200->140352677811312 140352677811256 0.2.0.module_list.13.unit.unit.1.conv.bias (218) 140352677811256->140352677811312 140352677811088 0.2.0.module_list.13.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677811088->140352677833192 140352677811032 0.2.0.module_list.13.unit.unit.1.pointwise.bias (218) 140352677811032->140352677833192 140352677831456 0.2.0.module_list.13.unit.unit.2.weight (218) 140352677831456->140352677881000 140352677812880 0.2.0.module_list.13.unit.unit.2.bias (218) 140352677812880->140352677881000 140352677880216 SigmoidBackward 140352677880216->140352677881168 140352677811760->140352677880216 140352677881392 MulBackward0 140352677881392->140352677881616 140352677881224 CudnnBatchNormBackward 140352677881224->140352677881392 140352677800200 MulBackward0 140352677881224->140352677800200 140352677810696 CudnnConvolutionBackward 140352677810696->140352677881224 140352677809792 ThnnConvDepthwise2DBackward 140352677809792->140352677810696 140352677809904 ThresholdBackward0 140352677809904->140352677809792 140352677809736 AddBackward0 140352677809736->140352677809904 140352677809512 AddBackward0 140352677809512->140352677809736 140352677809288 MulBackward0 140352677809288->140352677809512 140352677809008 CudnnBatchNormBackward 140352677809008->140352677809288 140352677807440 MulBackward0 140352677809008->140352677807440 140352677809176 CudnnConvolutionBackward 140352677809176->140352677809008 140352677808672 ThnnConvDepthwise2DBackward 140352677808672->140352677809176 140352677808448->140352677808672 140352677808504 0.2.0.module_list.10.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677808504->140352677808672 140352677808560 0.2.0.module_list.10.unit.unit.1.conv.bias (218) 140352677808560->140352677808672 140352677808728 0.2.0.module_list.10.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677808728->140352677809176 140352677808784 0.2.0.module_list.10.unit.unit.1.pointwise.bias (218) 140352677808784->140352677809176 140352677808896 0.2.0.module_list.10.unit.unit.2.weight (218) 140352677808896->140352677809008 140352677808952 0.2.0.module_list.10.unit.unit.2.bias (218) 140352677808952->140352677809008 140352677809064 SigmoidBackward 140352677809064->140352677809288 140352677808616 SelectBackward 140352677808616->140352677809064 140352677808336 0.2.0.module_list.19.weights (3) 140352677808336->140352677808616 140352677807944 SelectBackward 140352677808336->140352677807944 140352677807272 SelectBackward 140352677808336->140352677807272 140352677809344 MulBackward0 140352677809344->140352677809512 140352677809120 CudnnBatchNormBackward 140352677809120->140352677809344 140352677799808 MulBackward0 140352677809120->140352677799808 140352677766256 MulBackward0 140352677809120->140352677766256 140352677808224 CudnnConvolutionBackward 140352677808224->140352677809120 140352677808000 ThnnConvDepthwise2DBackward 140352677808000->140352677808224 140352677807552 ThresholdBackward0 140352677807552->140352677808000 140352677807832 AddBackward0 140352677807832->140352677807552 140352677807384->140352677807832 140352677807104 SigmoidBackward 140352677807104->140352677807384 140352677807216 SelectBackward 140352677807216->140352677807104 140352677807328 0.2.0.module_list.17.weights (2) 140352677807328->140352677807216 140352677806824 SelectBackward 140352677807328->140352677806824 140352677807440->140352677807832 140352677807160 SigmoidBackward 140352677807160->140352677807440 140352677806824->140352677807160 140352677807608 0.2.0.module_list.17.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677807608->140352677808000 140352677807720 0.2.0.module_list.17.unit.unit.1.conv.bias (218) 140352677807720->140352677808000 140352677808056 0.2.0.module_list.17.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677808056->140352677808224 140352677808112 0.2.0.module_list.17.unit.unit.1.pointwise.bias (218) 140352677808112->140352677808224 140352677808392 0.2.0.module_list.17.unit.unit.2.weight (218) 140352677808392->140352677809120 140352677807888 0.2.0.module_list.17.unit.unit.2.bias (218) 140352677807888->140352677809120 140352677808840 SigmoidBackward 140352677808840->140352677809344 140352677807944->140352677808840 140352677809568 MulBackward0 140352677809568->140352677809736 140352677809400 CudnnBatchNormBackward 140352677809400->140352677809568 140352677788976 MulBackward0 140352677809400->140352677788976 140352677807048 CudnnConvolutionBackward 140352677807048->140352677809400 140352677806880 ThnnConvDepthwise2DBackward 140352677806880->140352677807048 140352677806768 ThresholdBackward0 140352677806768->140352677806880 140352677806488 AddBackward0 140352677806488->140352677806768 140352677806600 MulBackward0 140352677806600->140352677806488 140352677806264 CudnnBatchNormBackward 140352677806264->140352677806600 140352677766984 MulBackward0 140352677806264->140352677766984 140352677801936 CudnnConvolutionBackward 140352677801936->140352677806264 140352677801768 ThnnConvDepthwise2DBackward 140352677801768->140352677801936 140352677801544->140352677801768 140352677801208 0.2.0.module_list.11.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677801208->140352677801768 140352677801264 0.2.0.module_list.11.unit.unit.1.conv.bias (218) 140352677801264->140352677801768 140352677801376 0.2.0.module_list.11.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677801376->140352677801936 140352677801432 0.2.0.module_list.11.unit.unit.1.pointwise.bias (218) 140352677801432->140352677801936 140352677801600 0.2.0.module_list.11.unit.unit.2.weight (218) 140352677801600->140352677806264 140352677801656 0.2.0.module_list.11.unit.unit.2.bias (218) 140352677801656->140352677806264 140352677801824 SigmoidBackward 140352677801824->140352677806600 140352677801712 SelectBackward 140352677801712->140352677801824 140352677801096 0.2.0.module_list.18.weights (2) 140352677801096->140352677801712 140352677800872 SelectBackward 140352677801096->140352677800872 140352677806152 MulBackward0 140352677806152->140352677806488 140352677801880 CudnnBatchNormBackward 140352677801880->140352677806152 140352677799976 MulBackward0 140352677801880->140352677799976 140352677801320 CudnnConvolutionBackward 140352677801320->140352677801880 140352677800928 ThnnConvDepthwise2DBackward 140352677800928->140352677801320 140352677800648->140352677800928 140352677800368 0.2.0.module_list.15.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677800368->140352677800928 140352677800424 0.2.0.module_list.15.unit.unit.1.conv.bias (218) 140352677800424->140352677800928 140352677800704 0.2.0.module_list.15.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677800704->140352677801320 140352677800760 0.2.0.module_list.15.unit.unit.1.pointwise.bias (218) 140352677800760->140352677801320 140352677800984 0.2.0.module_list.15.unit.unit.2.weight (218) 140352677800984->140352677801880 140352677800816 0.2.0.module_list.15.unit.unit.2.bias (218) 140352677800816->140352677801880 140352677801488 SigmoidBackward 140352677801488->140352677806152 140352677800872->140352677801488 140352677806320 0.2.0.module_list.18.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677806320->140352677806880 140352677806376 0.2.0.module_list.18.unit.unit.1.conv.bias (218) 140352677806376->140352677806880 140352677806936 0.2.0.module_list.18.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677806936->140352677807048 140352677806656 0.2.0.module_list.18.unit.unit.1.pointwise.bias (218) 140352677806656->140352677807048 140352677807496 0.2.0.module_list.18.unit.unit.2.weight (218) 140352677807496->140352677809400 140352677807776 0.2.0.module_list.18.unit.unit.2.bias (218) 140352677807776->140352677809400 140352677808280 SigmoidBackward 140352677808280->140352677809568 140352677807272->140352677808280 140352677809960 0.2.0.module_list.19.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677809960->140352677809792 140352677809624 0.2.0.module_list.19.unit.unit.1.conv.bias (218) 140352677809624->140352677809792 140352677810016 0.2.0.module_list.19.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677810016->140352677810696 140352677810128 0.2.0.module_list.19.unit.unit.1.pointwise.bias (218) 140352677810128->140352677810696 140352677810920 0.2.0.module_list.19.unit.unit.2.weight (218) 140352677810920->140352677881224 140352677810808 0.2.0.module_list.19.unit.unit.2.bias (218) 140352677810808->140352677881224 140352677827024 SigmoidBackward 140352677827024->140352677881392 140352677810360->140352677827024 140352677881672 MulBackward0 140352677881672->140352677881840 140352677881448 CudnnBatchNormBackward 140352677881448->140352677881672 140352677809232 CudnnConvolutionBackward 140352677809232->140352677881448 140352677806712 ThnnConvDepthwise2DBackward 140352677806712->140352677809232 140352677801040 ThresholdBackward0 140352677801040->140352677806712 140352677800480 AddBackward0 140352677800480->140352677801040 140352677800144 AddBackward0 140352677800144->140352677800480 140352677800088 AddBackward0 140352677800088->140352677800144 140352677799920 AddBackward0 140352677799920->140352677800088 140352677799752 AddBackward0 140352677799752->140352677799920 140352677799528 MulBackward0 140352677799528->140352677799752 140352677799192 CudnnBatchNormBackward 140352677799192->140352677799528 140352677796832 ThresholdBackward0 140352677799192->140352677796832 140352677772704 MulBackward0 140352677799192->140352677772704 140352677771864 ThresholdBackward0 140352677799192->140352677771864 140352677799360 CudnnConvolutionBackward 140352677799360->140352677799192 140352677798800 ThnnConvDepthwise2DBackward 140352677798800->140352677799360 140352677798632 ThresholdBackward0 140352677798632->140352677798800 140352677798520 CudnnBatchNormBackward 140352677798520->140352677798632 140352677795600 MulBackward0 140352677798520->140352677795600 140352677786120 MulBackward0 140352677798520->140352677786120 140352677798240 CudnnConvolutionBackward 140352677798240->140352677798520 140352677798016 ThnnConvDepthwise2DBackward 140352677798016->140352677798240 140352677797960 ThresholdBackward0 140352677797960->140352677798016 140352677797672 CudnnBatchNormBackward 140352677797672->140352677797960 140352677786064 MulBackward0 140352677797672->140352677786064 140352677769056 MulBackward0 140352677797672->140352677769056 140352677797784 CudnnConvolutionBackward 140352677797784->140352677797672 140352677797224 ThnnConvDepthwise2DBackward 140352677797224->140352677797784 140352677796888->140352677797224 140352677796944 0.2.0.module_list.1.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677796944->140352677797224 140352677797000 0.2.0.module_list.1.unit.unit.1.conv.bias (218) 140352677797000->140352677797224 140352677797280 0.2.0.module_list.1.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677797280->140352677797784 140352677797336 0.2.0.module_list.1.unit.unit.1.pointwise.bias (218) 140352677797336->140352677797784 140352677797448 0.2.0.module_list.1.unit.unit.2.weight (218) 140352677797448->140352677797672 140352677797504 0.2.0.module_list.1.unit.unit.2.bias (218) 140352677797504->140352677797672 140352677797840 0.2.0.module_list.2.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677797840->140352677798016 140352677797560 0.2.0.module_list.2.unit.unit.1.conv.bias (218) 140352677797560->140352677798016 140352677798072 0.2.0.module_list.2.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677798072->140352677798240 140352677798128 0.2.0.module_list.2.unit.unit.1.pointwise.bias (218) 140352677798128->140352677798240 140352677798296 0.2.0.module_list.2.unit.unit.2.weight (218) 140352677798296->140352677798520 140352677798352 0.2.0.module_list.2.unit.unit.2.bias (218) 140352677798352->140352677798520 140352677798688 0.2.0.module_list.3.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677798688->140352677798800 140352677798744 0.2.0.module_list.3.unit.unit.1.conv.bias (218) 140352677798744->140352677798800 140352677798856 0.2.0.module_list.3.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677798856->140352677799360 140352677798912 0.2.0.module_list.3.unit.unit.1.pointwise.bias (218) 140352677798912->140352677799360 140352677799024 0.2.0.module_list.3.unit.unit.2.weight (218) 140352677799024->140352677799192 140352677799080 0.2.0.module_list.3.unit.unit.2.bias (218) 140352677799080->140352677799192 140352677799248 SigmoidBackward 140352677799248->140352677799528 140352677799136 SelectBackward 140352677799136->140352677799248 140352677798408 0.2.0.module_list.20.weights (6) 140352677798408->140352677799136 140352677798576 SelectBackward 140352677798408->140352677798576 140352677797616 SelectBackward 140352677798408->140352677797616 140352677797056 SelectBackward 140352677798408->140352677797056 140352677796440 SelectBackward 140352677798408->140352677796440 140352677796720 SelectBackward 140352677798408->140352677796720 140352677799584->140352677799752 140352677799304 SigmoidBackward 140352677799304->140352677799584 140352677798576->140352677799304 140352677799416 MulBackward0 140352677799416->140352677799920 140352677799640 CudnnBatchNormBackward 140352677799640->140352677799416 140352677794312 MulBackward0 140352677799640->140352677794312 140352677798184 CudnnConvolutionBackward 140352677798184->140352677799640 140352677797392 ThnnConvDepthwise2DBackward 140352677797392->140352677798184 140352677796832->140352677797392 140352677796552 0.2.0.module_list.14.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677796552->140352677797392 140352677796608 0.2.0.module_list.14.unit.unit.1.conv.bias (218) 140352677796608->140352677797392 140352677796776 0.2.0.module_list.14.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677796776->140352677798184 140352677797112 0.2.0.module_list.14.unit.unit.1.pointwise.bias (218) 140352677797112->140352677798184 140352677797168 0.2.0.module_list.14.unit.unit.2.weight (218) 140352677797168->140352677799640 140352677797728 0.2.0.module_list.14.unit.unit.2.bias (218) 140352677797728->140352677799640 140352677798968 SigmoidBackward 140352677798968->140352677799416 140352677797616->140352677798968 140352677799976->140352677800088 140352677799472 SigmoidBackward 140352677799472->140352677799976 140352677797056->140352677799472 140352677799808->140352677800144 140352677799696 SigmoidBackward 140352677799696->140352677799808 140352677796440->140352677799696 140352677800200->140352677800480 140352677799864 SigmoidBackward 140352677799864->140352677800200 140352677796720->140352677799864 140352677800592 0.2.0.module_list.20.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677800592->140352677806712 140352677800256 0.2.0.module_list.20.unit.unit.1.conv.bias (218) 140352677800256->140352677806712 140352677806208 0.2.0.module_list.20.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677806208->140352677809232 140352677806544 0.2.0.module_list.20.unit.unit.1.pointwise.bias (218) 140352677806544->140352677809232 140352677809456 0.2.0.module_list.20.unit.unit.2.weight (218) 140352677809456->140352677881448 140352677809680 0.2.0.module_list.20.unit.unit.2.bias (218) 140352677809680->140352677881448 140352677811536 SigmoidBackward 140352677811536->140352677881672 140352677808168->140352677811536 140352677881952 0.2.0.module_list.21.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677881952->140352677882400 140352677882008 0.2.0.module_list.21.unit.unit.1.conv.bias (218) 140352677882008->140352677882400 140352677882064 0.2.0.module_list.21.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677882064->140352677882512 140352677882120 0.2.0.module_list.21.unit.unit.1.pointwise.bias (218) 140352677882120->140352677882512 140352677882232 0.2.0.module_list.21.unit.unit.2.weight (218) 140352677882232->140352677882568 140352677882288 0.2.0.module_list.21.unit.unit.2.bias (218) 140352677882288->140352677882568 140352677882624 CudnnBatchNormBackward 140352677882624->140352677882904 140352677882344 CudnnConvolutionBackward 140352677882344->140352677882624 140352677881784 ThnnConvDepthwise2DBackward 140352677881784->140352677882344 140352677800312 ThresholdBackward0 140352677800312->140352677881784 140352677796496 AddBackward0 140352677796496->140352677800312 140352677796328 AddBackward0 140352677796328->140352677796496 140352677796216 AddBackward0 140352677796216->140352677796328 140352677795992 AddBackward0 140352677795992->140352677796216 140352677795600->140352677795992 140352677795768 SigmoidBackward 140352677795768->140352677795600 140352677795488 SelectBackward 140352677795488->140352677795768 140352677795320 0.2.0.module_list.26.weights (5) 140352677795320->140352677795488 140352677795376 SelectBackward 140352677795320->140352677795376 140352677795432 SelectBackward 140352677795320->140352677795432 140352677794816 SelectBackward 140352677795320->140352677794816 140352677793864 SelectBackward 140352677795320->140352677793864 140352677795656->140352677795992 140352677795824 SigmoidBackward 140352677795824->140352677795656 140352677795376->140352677795824 140352677796048->140352677796216 140352677795712 SigmoidBackward 140352677795712->140352677796048 140352677795432->140352677795712 140352677795880 MulBackward0 140352677795880->140352677796328 140352677796104 CudnnBatchNormBackward 140352677796104->140352677795880 140352677756040 MulBackward0 140352677796104->140352677756040 140352677795096 CudnnConvolutionBackward 140352677795096->140352677796104 140352677794872 ThnnConvDepthwise2DBackward 140352677794872->140352677795096 140352677794536 ThresholdBackward0 140352677794536->140352677794872 140352677794760 AddBackward0 140352677794760->140352677794536 140352677794312->140352677794760 140352677794480 SigmoidBackward 140352677794480->140352677794312 140352677794088 SelectBackward 140352677794088->140352677794480 140352677793976 0.2.0.module_list.24.weights (2) 140352677793976->140352677794088 140352677789592 SelectBackward 140352677793976->140352677789592 140352677794368 MulBackward0 140352677794368->140352677794760 140352677794032 CudnnBatchNormBackward 140352677794032->140352677794368 140352677770856 MulBackward0 140352677794032->140352677770856 140352677793920 CudnnConvolutionBackward 140352677793920->140352677794032 140352677789648 ThnnConvDepthwise2DBackward 140352677789648->140352677793920 140352677789256 ThresholdBackward0 140352677789256->140352677789648 140352677789144 AddBackward0 140352677789144->140352677789256 140352677788920->140352677789144 140352677788808 SigmoidBackward 140352677788808->140352677788920 140352677788584 SelectBackward 140352677788584->140352677788808 140352677788696 0.2.0.module_list.22.weights (2) 140352677788696->140352677788584 140352677788360 SelectBackward 140352677788696->140352677788360 140352677788976->140352677789144 140352677788528 SigmoidBackward 140352677788528->140352677788976 140352677788360->140352677788528 140352677789312 0.2.0.module_list.22.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677789312->140352677789648 140352677789032 0.2.0.module_list.22.unit.unit.1.conv.bias (218) 140352677789032->140352677789648 140352677789368 0.2.0.module_list.22.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677789368->140352677793920 140352677789424 0.2.0.module_list.22.unit.unit.1.pointwise.bias (218) 140352677789424->140352677793920 140352677789480 0.2.0.module_list.22.unit.unit.2.weight (218) 140352677789480->140352677794032 140352677789536 0.2.0.module_list.22.unit.unit.2.bias (218) 140352677789536->140352677794032 140352677794144 SigmoidBackward 140352677794144->140352677794368 140352677789592->140352677794144 140352677794592 0.2.0.module_list.24.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677794592->140352677794872 140352677794648 0.2.0.module_list.24.unit.unit.1.conv.bias (218) 140352677794648->140352677794872 140352677794928 0.2.0.module_list.24.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677794928->140352677795096 140352677794984 0.2.0.module_list.24.unit.unit.1.pointwise.bias (218) 140352677794984->140352677795096 140352677795152 0.2.0.module_list.24.unit.unit.2.weight (218) 140352677795152->140352677796104 140352677795208 0.2.0.module_list.24.unit.unit.2.bias (218) 140352677795208->140352677796104 140352677795544 SigmoidBackward 140352677795544->140352677795880 140352677794816->140352677795544 140352677796384 MulBackward0 140352677796384->140352677796496 140352677795936 CudnnBatchNormBackward 140352677795936->140352677796384 140352677794424 CudnnConvolutionBackward 140352677794424->140352677795936 140352677789200 ThnnConvDepthwise2DBackward 140352677789200->140352677794424 140352677788640 ThresholdBackward0 140352677788640->140352677789200 140352677788136 AddBackward0 140352677788136->140352677788640 140352677788248->140352677788136 140352677788024 SigmoidBackward 140352677788024->140352677788248 140352677787856 SelectBackward 140352677787856->140352677788024 140352677787464 0.2.0.module_list.25.weights (2) 140352677787464->140352677787856 140352677787520 SelectBackward 140352677787464->140352677787520 140352677788304->140352677788136 140352677787800 SigmoidBackward 140352677787800->140352677788304 140352677787520->140352677787800 140352677788416 0.2.0.module_list.25.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677788416->140352677789200 140352677788472 0.2.0.module_list.25.unit.unit.1.conv.bias (218) 140352677788472->140352677789200 140352677788752 0.2.0.module_list.25.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677788752->140352677794424 140352677788864 0.2.0.module_list.25.unit.unit.1.pointwise.bias (218) 140352677788864->140352677794424 140352677794256 0.2.0.module_list.25.unit.unit.2.weight (218) 140352677794256->140352677795936 140352677794704 0.2.0.module_list.25.unit.unit.2.bias (218) 140352677794704->140352677795936 140352677795264 SigmoidBackward 140352677795264->140352677796384 140352677793864->140352677795264 140352677800536 0.2.0.module_list.26.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677800536->140352677881784 140352677798464 0.2.0.module_list.26.unit.unit.1.conv.bias (218) 140352677798464->140352677881784 140352677809848 0.2.0.module_list.26.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677809848->140352677882344 140352677806432 0.2.0.module_list.26.unit.unit.1.pointwise.bias (218) 140352677806432->140352677882344 140352677882176 0.2.0.module_list.26.unit.unit.2.weight (218) 140352677882176->140352677882624 140352677881728 0.2.0.module_list.26.unit.unit.2.bias (218) 140352677881728->140352677882624 140352677882680 CudnnBatchNormBackward 140352677882680->140352677883072 140352677882456 CudnnConvolutionBackward 140352677882456->140352677882680 140352677796272 ThnnConvDepthwise2DBackward 140352677796272->140352677882456 140352677787968 ThresholdBackward0 140352677787968->140352677796272 140352677787576 AddBackward0 140352677787576->140352677787968 140352677787688 AddBackward0 140352677787688->140352677787576 140352677787352 MulBackward0 140352677787352->140352677787688 140352677787240 CudnnBatchNormBackward 140352677787240->140352677787352 140352677768608 MulBackward0 140352677787240->140352677768608 140352677786904 CudnnConvolutionBackward 140352677786904->140352677787240 140352677786792 ThnnConvDepthwise2DBackward 140352677786792->140352677786904 140352677786232 ThresholdBackward0 140352677786232->140352677786792 140352677786456 AddBackward0 140352677786456->140352677786232 140352677786064->140352677786456 140352677785896 SigmoidBackward 140352677785896->140352677786064 140352677786008 SelectBackward 140352677786008->140352677785896 140352677785840 0.2.0.module_list.4.weights (2) 140352677785840->140352677786008 140352677785672 SelectBackward 140352677785840->140352677785672 140352677786120->140352677786456 140352677785952 SigmoidBackward 140352677785952->140352677786120 140352677785672->140352677785952 140352677786288 0.2.0.module_list.4.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677786288->140352677786792 140352677786344 0.2.0.module_list.4.unit.unit.1.conv.bias (218) 140352677786344->140352677786792 140352677786848 0.2.0.module_list.4.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677786848->140352677786904 140352677786568 0.2.0.module_list.4.unit.unit.1.pointwise.bias (218) 140352677786568->140352677786904 140352677786960 0.2.0.module_list.4.unit.unit.2.weight (218) 140352677786960->140352677787240 140352677786680 0.2.0.module_list.4.unit.unit.2.bias (218) 140352677786680->140352677787240 140352677787016 SigmoidBackward 140352677787016->140352677787352 140352677786736 SelectBackward 140352677786736->140352677787016 140352677786176 0.2.0.module_list.28.weights (3) 140352677786176->140352677786736 140352677773264 SelectBackward 140352677786176->140352677773264 140352677772200 SelectBackward 140352677786176->140352677772200 140352677787408 MulBackward0 140352677787408->140352677787688 140352677787072 CudnnBatchNormBackward 140352677787072->140352677787408 140352677786400 CudnnConvolutionBackward 140352677786400->140352677787072 140352677773096 ThnnConvDepthwise2DBackward 140352677773096->140352677786400 140352677772816 ThresholdBackward0 140352677772816->140352677773096 140352677773040 AddBackward0 140352677773040->140352677772816 140352677772704->140352677773040 140352677772368 SigmoidBackward 140352677772368->140352677772704 140352677772480 SelectBackward 140352677772480->140352677772368 140352677772256 0.2.0.module_list.9.weights (2) 140352677772256->140352677772480 140352677772312 SelectBackward 140352677772256->140352677772312 140352677772536->140352677773040 140352677772424 SigmoidBackward 140352677772424->140352677772536 140352677772312->140352677772424 140352677772872 0.2.0.module_list.9.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677772872->140352677773096 140352677772928 0.2.0.module_list.9.unit.unit.1.conv.bias (218) 140352677772928->140352677773096 140352677773152 0.2.0.module_list.9.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677773152->140352677786400 140352677773208 0.2.0.module_list.9.unit.unit.1.pointwise.bias (218) 140352677773208->140352677786400 140352677785784 0.2.0.module_list.9.unit.unit.2.weight (218) 140352677785784->140352677787072 140352677785728 0.2.0.module_list.9.unit.unit.2.bias (218) 140352677785728->140352677787072 140352677786624 SigmoidBackward 140352677786624->140352677787408 140352677773264->140352677786624 140352677787744 MulBackward0 140352677787744->140352677787576 140352677787184 CudnnBatchNormBackward 140352677787184->140352677787744 140352677769112 MulBackward0 140352677787184->140352677769112 140352677772592 CudnnConvolutionBackward 140352677772592->140352677787184 140352677772088 ThnnConvDepthwise2DBackward 140352677772088->140352677772592 140352677771864->140352677772088 140352677771920 0.2.0.module_list.23.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677771920->140352677772088 140352677771696 0.2.0.module_list.23.unit.unit.1.conv.bias (218) 140352677771696->140352677772088 140352677772144 0.2.0.module_list.23.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677772144->140352677772592 140352677771976 0.2.0.module_list.23.unit.unit.1.pointwise.bias (218) 140352677771976->140352677772592 140352677772648 0.2.0.module_list.23.unit.unit.2.weight (218) 140352677772648->140352677787184 140352677772984 0.2.0.module_list.23.unit.unit.2.bias (218) 140352677772984->140352677787184 140352677786512 SigmoidBackward 140352677786512->140352677787744 140352677772200->140352677786512 140352677788192 0.2.0.module_list.28.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677788192->140352677796272 140352677788080 0.2.0.module_list.28.unit.unit.1.conv.bias (218) 140352677788080->140352677796272 140352677796664 0.2.0.module_list.28.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677796664->140352677882456 140352677795040 0.2.0.module_list.28.unit.unit.1.pointwise.bias (218) 140352677795040->140352677882456 140352677881560 0.2.0.module_list.28.unit.unit.2.weight (218) 140352677881560->140352677882680 140352677800032 0.2.0.module_list.28.unit.unit.2.bias (218) 140352677800032->140352677882680 140352677882792 CudnnBatchNormBackward 140352677882792->140352677882960 140352677882736 CudnnConvolutionBackward 140352677882736->140352677882792 140352677787632 ThnnConvDepthwise2DBackward 140352677787632->140352677882736 140352677771528 ThresholdBackward0 140352677771528->140352677787632 140352677771640 AddBackward0 140352677771640->140352677771528 140352677771472 AddBackward0 140352677771472->140352677771640 140352677771360 AddBackward0 140352677771360->140352677771472 140352677770968 AddBackward0 140352677770968->140352677771360 140352677770800 AddBackward0 140352677770800->140352677770968 140352677770744->140352677770800 140352677770632 SigmoidBackward 140352677770632->140352677770744 140352677770352 SelectBackward 140352677770352->140352677770632 140352677770184 0.2.0.module_list.32.weights (6) 140352677770184->140352677770352 140352677770240 SelectBackward 140352677770184->140352677770240 140352677770296 SelectBackward 140352677770184->140352677770296 140352677769848 SelectBackward 140352677770184->140352677769848 140352677768272 SelectBackward 140352677770184->140352677768272 140352677765808 SelectBackward 140352677770184->140352677765808 140352677770520->140352677770800 140352677770688 SigmoidBackward 140352677770688->140352677770520 140352677770240->140352677770688 140352677770856->140352677770968 140352677770576 SigmoidBackward 140352677770576->140352677770856 140352677770296->140352677770576 140352677771024 MulBackward0 140352677771024->140352677771360 140352677770912 CudnnBatchNormBackward 140352677770912->140352677771024 140352677770072 CudnnConvolutionBackward 140352677770072->140352677770912 140352677769904 ThnnConvDepthwise2DBackward 140352677769904->140352677770072 140352677769736 ThresholdBackward0 140352677769736->140352677769904 140352677769512 AddBackward0 140352677769512->140352677769736 140352677769288 AddBackward0 140352677769288->140352677769512 140352677768888 AddBackward0 140352677768888->140352677769288 140352677769056->140352677768888 140352677768776 SigmoidBackward 140352677768776->140352677769056 140352677768440 SelectBackward 140352677768440->140352677768776 140352677768552 0.2.0.module_list.27.weights (4) 140352677768552->140352677768440 140352677768216 SelectBackward 140352677768552->140352677768216 140352677768104 SelectBackward 140352677768552->140352677768104 140352677767936 SelectBackward 140352677768552->140352677767936 140352677768608->140352677768888 140352677768832 SigmoidBackward 140352677768832->140352677768608 140352677768216->140352677768832 140352677768944 MulBackward0 140352677768944->140352677769288 140352677768720 CudnnBatchNormBackward 140352677768720->140352677768944 140352677765304 ThresholdBackward0 140352677768720->140352677765304 140352677768328 CudnnConvolutionBackward 140352677768328->140352677768720 140352677768160 ThnnConvDepthwise2DBackward 140352677768160->140352677768328 140352677767992 ThresholdBackward0 140352677767992->140352677768160 140352677767600 AddBackward0 140352677767600->140352677767992 140352677767320 AddBackward0 140352677767320->140352677767600 140352677767488->140352677767320 140352677767096 SigmoidBackward 140352677767096->140352677767488 140352677767208 SelectBackward 140352677767208->140352677767096 140352677766760 0.2.0.module_list.16.weights (3) 140352677766760->140352677767208 140352677766816 SelectBackward 140352677766760->140352677766816 140352677766872 SelectBackward 140352677766760->140352677766872 140352677766984->140352677767320 140352677767152 SigmoidBackward 140352677767152->140352677766984 140352677766816->140352677767152 140352677767376->140352677767600 140352677767040 SigmoidBackward 140352677767040->140352677767376 140352677766872->140352677767040 140352677767712 0.2.0.module_list.16.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677767712->140352677768160 140352677767768 0.2.0.module_list.16.unit.unit.1.conv.bias (218) 140352677767768->140352677768160 140352677767824 0.2.0.module_list.16.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677767824->140352677768328 140352677767880 0.2.0.module_list.16.unit.unit.1.pointwise.bias (218) 140352677767880->140352677768328 140352677768384 0.2.0.module_list.16.unit.unit.2.weight (218) 140352677768384->140352677768720 140352677768048 0.2.0.module_list.16.unit.unit.2.bias (218) 140352677768048->140352677768720 140352677768496 SigmoidBackward 140352677768496->140352677768944 140352677768104->140352677768496 140352677769112->140352677769512 140352677769000 SigmoidBackward 140352677769000->140352677769112 140352677767936->140352677769000 140352677769344 0.2.0.module_list.27.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677769344->140352677769904 140352677769400 0.2.0.module_list.27.unit.unit.1.conv.bias (218) 140352677769400->140352677769904 140352677769960 0.2.0.module_list.27.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677769960->140352677770072 140352677769624 0.2.0.module_list.27.unit.unit.1.pointwise.bias (218) 140352677769624->140352677770072 140352677770128 0.2.0.module_list.27.unit.unit.2.weight (218) 140352677770128->140352677770912 140352677769792 0.2.0.module_list.27.unit.unit.2.bias (218) 140352677769792->140352677770912 140352677770464 SigmoidBackward 140352677770464->140352677771024 140352677769848->140352677770464 140352677771136 MulBackward0 140352677771136->140352677771472 140352677771080 CudnnBatchNormBackward 140352677771080->140352677771136 140352677756264 MulBackward0 140352677771080->140352677756264 140352677769568 CudnnConvolutionBackward 140352677769568->140352677771080 140352677767432 ThnnConvDepthwise2DBackward 140352677767432->140352677769568 140352677766928 ThresholdBackward0 140352677766928->140352677767432 140352677766368 AddBackward0 140352677766368->140352677766928 140352677766480 AddBackward0 140352677766480->140352677766368 140352677766200->140352677766480 140352677766144 SigmoidBackward 140352677766144->140352677766200 140352677766032 SelectBackward 140352677766032->140352677766144 140352677765920 0.2.0.module_list.30.weights (3) 140352677765920->140352677766032 140352677765752 SelectBackward 140352677765920->140352677765752 140352677765472 SelectBackward 140352677765920->140352677765472 140352677766256->140352677766480 140352677765976 SigmoidBackward 140352677765976->140352677766256 140352677765752->140352677765976 140352677766536 MulBackward0 140352677766536->140352677766368 140352677766088 CudnnBatchNormBackward 140352677766088->140352677766536 140352677756096 MulBackward0 140352677766088->140352677756096 140352677765640 CudnnConvolutionBackward 140352677765640->140352677766088 140352677765528 ThnnConvDepthwise2DBackward 140352677765528->140352677765640 140352677765304->140352677765528 140352677765360 0.2.0.module_list.29.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677765360->140352677765528 140352677756880 0.2.0.module_list.29.unit.unit.1.conv.bias (218) 140352677756880->140352677765528 140352677765584 0.2.0.module_list.29.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677765584->140352677765640 140352677765192 0.2.0.module_list.29.unit.unit.1.pointwise.bias (218) 140352677765192->140352677765640 140352677765696 0.2.0.module_list.29.unit.unit.2.weight (218) 140352677765696->140352677766088 140352677765416 0.2.0.module_list.29.unit.unit.2.bias (218) 140352677765416->140352677766088 140352677765864 SigmoidBackward 140352677765864->140352677766536 140352677765472->140352677765864 140352677766648 0.2.0.module_list.30.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677766648->140352677767432 140352677766704 0.2.0.module_list.30.unit.unit.1.conv.bias (218) 140352677766704->140352677767432 140352677767656 0.2.0.module_list.30.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677767656->140352677769568 140352677767544 0.2.0.module_list.30.unit.unit.1.pointwise.bias (218) 140352677767544->140352677769568 140352677769456 0.2.0.module_list.30.unit.unit.2.weight (218) 140352677769456->140352677771080 140352677769168 0.2.0.module_list.30.unit.unit.2.bias (218) 140352677769168->140352677771080 140352677770016 SigmoidBackward 140352677770016->140352677771136 140352677768272->140352677770016 140352677771248 MulBackward0 140352677771248->140352677771640 140352677771192 CudnnBatchNormBackward 140352677771192->140352677771248 140352677766592 CudnnConvolutionBackward 140352677766592->140352677771192 140352677765248 ThnnConvDepthwise2DBackward 140352677765248->140352677766592 140352677756768 ThresholdBackward0 140352677756768->140352677765248 140352677756488 AddBackward0 140352677756488->140352677756768 140352677756208 AddBackward0 140352677756208->140352677756488 140352677756040->140352677756208 140352677755928 SigmoidBackward 140352677755928->140352677756040 140352677755816 SelectBackward 140352677755816->140352677755928 140352677755704 0.2.0.module_list.31.weights (3) 140352677755704->140352677755816 140352677755480 SelectBackward 140352677755704->140352677755480 140352677755536 SelectBackward 140352677755704->140352677755536 140352677756096->140352677756208 140352677755984 SigmoidBackward 140352677755984->140352677756096 140352677755480->140352677755984 140352677756264->140352677756488 140352677756152 SigmoidBackward 140352677756152->140352677756264 140352677755536->140352677756152 140352677756824 0.2.0.module_list.31.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677756824->140352677765248 140352677756376 0.2.0.module_list.31.unit.unit.1.conv.bias (218) 140352677756376->140352677765248 140352677756712 0.2.0.module_list.31.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677756712->140352677766592 140352677756656 0.2.0.module_list.31.unit.unit.1.pointwise.bias (218) 140352677756656->140352677766592 140352677766424 0.2.0.module_list.31.unit.unit.2.weight (218) 140352677766424->140352677771192 140352677766312 0.2.0.module_list.31.unit.unit.2.bias (218) 140352677766312->140352677771192 140352677769680 SigmoidBackward 140352677769680->140352677771248 140352677765808->140352677769680 140352677771808 0.2.0.module_list.32.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677771808->140352677787632 140352677771752 0.2.0.module_list.32.unit.unit.1.conv.bias (218) 140352677771752->140352677787632 140352677787912 0.2.0.module_list.32.unit.unit.1.pointwise.weight (218, 218, 1, 1) 140352677787912->140352677882736 140352677772760 0.2.0.module_list.32.unit.unit.1.pointwise.bias (218) 140352677772760->140352677882736 140352677796160 0.2.0.module_list.32.unit.unit.2.weight (218) 140352677796160->140352677882792 140352677789088 0.2.0.module_list.32.unit.unit.2.bias (218) 140352677789088->140352677882792 140352677883464 0.3.0.module_list.0.unit.unit.1.conv.weight (218, 1, 3, 3) 140352677883464->140352677883632 140352677883184 0.3.0.module_list.0.unit.unit.1.conv.bias (218) 140352677883184->140352677883632 140352677883688 0.3.0.module_list.0.unit.unit.1.pointwise.weight (436, 218, 1, 1) 140352677883688->140352677883800 140352677883744 0.3.0.module_list.0.unit.unit.1.pointwise.bias (436) 140352677883744->140352677883800 140352677883856 0.3.0.module_list.0.unit.unit.2.weight (436) 140352677883856->140352677888072 140352677883520 0.3.0.module_list.0.unit.unit.2.bias (436) 140352677883520->140352677888072 140352677888184 0.3.0.module_list.1.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677888184->140352677888520 140352677888240 0.3.0.module_list.1.unit.unit.1.conv.bias (436) 140352677888240->140352677888520 140352677888576 0.3.0.module_list.1.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677888576->140352677888744 140352677888352 0.3.0.module_list.1.unit.unit.1.pointwise.bias (436) 140352677888352->140352677888744 140352677888800 0.3.0.module_list.1.unit.unit.2.weight (436) 140352677888800->140352677888912 140352677888632 0.3.0.module_list.1.unit.unit.2.bias (436) 140352677888632->140352677888912 140352677888968 SigmoidBackward 140352677888968->140352677889192 140352677888688 SelectBackward 140352677888688->140352677888968 140352677888128 0.3.0.module_list.22.weights (5) 140352677888128->140352677888688 140352677883128 SelectBackward 140352677888128->140352677883128 140352677755368 SelectBackward 140352677888128->140352677755368 140352677754304 SelectBackward 140352677888128->140352677754304 140352677752784 SelectBackward 140352677888128->140352677752784 140352677889248 MulBackward0 140352677889248->140352677889416 140352677889024 CudnnBatchNormBackward 140352677889024->140352677889248 140352677752392 MulBackward0 140352677889024->140352677752392 140352677750936 MulBackward0 140352677889024->140352677750936 140352677742240 MulBackward0 140352677889024->140352677742240 140352677883576 CudnnConvolutionBackward 140352677883576->140352677889024 140352677883240 ThnnConvDepthwise2DBackward 140352677883240->140352677883576 140352677771304 ThresholdBackward0 140352677771304->140352677883240 140352677756600 CudnnBatchNormBackward 140352677756600->140352677771304 140352678245544 MulBackward0 140352677756600->140352678245544 140352678241784 MulBackward0 140352677756600->140352678241784 140352678226968 MulBackward0 140352677756600->140352678226968 140352677756544 CudnnConvolutionBackward 140352677756544->140352677756600 140352677755648 ThnnConvDepthwise2DBackward 140352677755648->140352677756544 140352677755424->140352677755648 140352677754920 0.3.0.module_list.2.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677754920->140352677755648 140352677754976 0.3.0.module_list.2.unit.unit.1.conv.bias (436) 140352677754976->140352677755648 140352677755256 0.3.0.module_list.2.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677755256->140352677756544 140352677755312 0.3.0.module_list.2.unit.unit.1.pointwise.bias (436) 140352677755312->140352677756544 140352677756432 0.3.0.module_list.2.unit.unit.2.weight (436) 140352677756432->140352677756600 140352677755872 0.3.0.module_list.2.unit.unit.2.bias (436) 140352677755872->140352677756600 140352677771416 0.3.0.module_list.5.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677771416->140352677883240 140352677771584 0.3.0.module_list.5.unit.unit.1.conv.bias (436) 140352677771584->140352677883240 140352677882848 0.3.0.module_list.5.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677882848->140352677883576 140352677787296 0.3.0.module_list.5.unit.unit.1.pointwise.bias (436) 140352677787296->140352677883576 140352677883352 0.3.0.module_list.5.unit.unit.2.weight (436) 140352677883352->140352677889024 140352677883016 0.3.0.module_list.5.unit.unit.2.bias (436) 140352677883016->140352677889024 140352677888408 SigmoidBackward 140352677888408->140352677889248 140352677883128->140352677888408 140352677889080 MulBackward0 140352677889080->140352677889472 140352677888856 CudnnBatchNormBackward 140352677888856->140352677889080 140352677743528 MulBackward0 140352677888856->140352677743528 140352677740896 MulBackward0 140352677888856->140352677740896 140352677767264 CudnnConvolutionBackward 140352677767264->140352677888856 140352677755144 ThnnConvDepthwise2DBackward 140352677755144->140352677767264 140352677754808->140352677755144 140352677754864 0.3.0.module_list.12.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677754864->140352677755144 140352677754528 0.3.0.module_list.12.unit.unit.1.conv.bias (436) 140352677754528->140352677755144 140352677755088 0.3.0.module_list.12.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677755088->140352677767264 140352677755032 0.3.0.module_list.12.unit.unit.1.pointwise.bias (436) 140352677755032->140352677767264 140352677755592 0.3.0.module_list.12.unit.unit.2.weight (436) 140352677755592->140352677888856 140352677756320 0.3.0.module_list.12.unit.unit.2.bias (436) 140352677756320->140352677888856 140352677888296 SigmoidBackward 140352677888296->140352677889080 140352677755368->140352677888296 140352677889304 MulBackward0 140352677889304->140352677889528 140352677889136 CudnnBatchNormBackward 140352677889136->140352677889304 140352678254464 MulBackward0 140352677889136->140352678254464 140352677754696 CudnnConvolutionBackward 140352677754696->140352677889136 140352677754360 ThnnConvDepthwise2DBackward 140352677754360->140352677754696 140352677754192 ThresholdBackward0 140352677754192->140352677754360 140352677754080 AddBackward0 140352677754080->140352677754192 140352677753744 MulBackward0 140352677753744->140352677754080 140352677753576 CudnnBatchNormBackward 140352677753576->140352677753744 140352677750656 MulBackward0 140352677753576->140352677750656 140352677753520 CudnnConvolutionBackward 140352677753520->140352677753576 140352677753352 ThnnConvDepthwise2DBackward 140352677753352->140352677753520 140352677753072 ThresholdBackward0 140352677753072->140352677753352 140352677752728 AddBackward0 140352677752728->140352677753072 140352677752392->140352677752728 140352677752560 SigmoidBackward 140352677752560->140352677752392 140352677752056 SelectBackward 140352677752056->140352677752560 140352677752168 0.3.0.module_list.10.weights (2) 140352677752168->140352677752056 140352677751944 SelectBackward 140352677752168->140352677751944 140352677752448 MulBackward0 140352677752448->140352677752728 140352677752616 CudnnBatchNormBackward 140352677752616->140352677752448 140352678247952 MulBackward0 140352677752616->140352678247952 140352678246552 MulBackward0 140352677752616->140352678246552 140352678241840 MulBackward0 140352677752616->140352678241840 140352677752280 CudnnConvolutionBackward 140352677752280->140352677752616 140352677752000 ThnnConvDepthwise2DBackward 140352677752000->140352677752280 140352677751720->140352677752000 140352677751552 0.3.0.module_list.9.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677751552->140352677752000 140352677751608 0.3.0.module_list.9.unit.unit.1.conv.bias (436) 140352677751608->140352677752000 140352677751776 0.3.0.module_list.9.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677751776->140352677752280 140352677751832 0.3.0.module_list.9.unit.unit.1.pointwise.bias (436) 140352677751832->140352677752280 140352677752336 0.3.0.module_list.9.unit.unit.2.weight (436) 140352677752336->140352677752616 140352677751888 0.3.0.module_list.9.unit.unit.2.bias (436) 140352677751888->140352677752616 140352677752112 SigmoidBackward 140352677752112->140352677752448 140352677751944->140352677752112 140352677753128 0.3.0.module_list.10.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677753128->140352677753352 140352677752904 0.3.0.module_list.10.unit.unit.1.conv.bias (436) 140352677752904->140352677753352 140352677753408 0.3.0.module_list.10.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677753408->140352677753520 140352677752960 0.3.0.module_list.10.unit.unit.1.pointwise.bias (436) 140352677752960->140352677753520 140352677753184 0.3.0.module_list.10.unit.unit.2.weight (436) 140352677753184->140352677753576 140352677753240 0.3.0.module_list.10.unit.unit.2.bias (436) 140352677753240->140352677753576 140352677753632 SigmoidBackward 140352677753632->140352677753744 140352677753296 SelectBackward 140352677753296->140352677753632 140352677752504 0.3.0.module_list.17.weights (2) 140352677752504->140352677753296 140352677751384 SelectBackward 140352677752504->140352677751384 140352677753856 MulBackward0 140352677753856->140352677754080 140352677753464 CudnnBatchNormBackward 140352677753464->140352677753856 140352677743584 MulBackward0 140352677753464->140352677743584 140352678242792 MulBackward0 140352677753464->140352678242792 140352677752672 CudnnConvolutionBackward 140352677752672->140352677753464 140352677751328 ThnnConvDepthwise2DBackward 140352677751328->140352677752672 140352677751104 ThresholdBackward0 140352677751104->140352677751328 140352677750824 AddBackward0 140352677750824->140352677751104 140352677750936->140352677750824 140352677750768 SigmoidBackward 140352677750768->140352677750936 140352677750488 SelectBackward 140352677750488->140352677750768 140352677750600 0.3.0.module_list.16.weights (2) 140352677750600->140352677750488 140352677750264 SelectBackward 140352677750600->140352677750264 140352677750656->140352677750824 140352677750432 SigmoidBackward 140352677750432->140352677750656 140352677750264->140352677750432 140352677751160 0.3.0.module_list.16.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677751160->140352677751328 140352677751216 0.3.0.module_list.16.unit.unit.1.conv.bias (436) 140352677751216->140352677751328 140352677751496 0.3.0.module_list.16.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677751496->140352677752672 140352677750992 0.3.0.module_list.16.unit.unit.1.pointwise.bias (436) 140352677750992->140352677752672 140352677752224 0.3.0.module_list.16.unit.unit.2.weight (436) 140352677752224->140352677753464 140352677751664 0.3.0.module_list.16.unit.unit.2.bias (436) 140352677751664->140352677753464 140352677753016 SigmoidBackward 140352677753016->140352677753856 140352677751384->140352677753016 140352677754248 0.3.0.module_list.17.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677754248->140352677754360 140352677753968 0.3.0.module_list.17.unit.unit.1.conv.bias (436) 140352677753968->140352677754360 140352677754416 0.3.0.module_list.17.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677754416->140352677754696 140352677754472 0.3.0.module_list.17.unit.unit.1.pointwise.bias (436) 140352677754472->140352677754696 140352677754640 0.3.0.module_list.17.unit.unit.2.weight (436) 140352677754640->140352677889136 140352677754584 0.3.0.module_list.17.unit.unit.2.bias (436) 140352677754584->140352677889136 140352677772032 SigmoidBackward 140352677772032->140352677889304 140352677754304->140352677772032 140352677889584 MulBackward0 140352677889584->140352677889808 140352677889360 CudnnBatchNormBackward 140352677889360->140352677889584 140352677743808 MulBackward0 140352677889360->140352677743808 140352677753912 CudnnConvolutionBackward 140352677753912->140352677889360 140352677751048 ThnnConvDepthwise2DBackward 140352677751048->140352677753912 140352677750544 ThresholdBackward0 140352677750544->140352677751048 140352677749984 CudnnBatchNormBackward 140352677749984->140352677750544 140352677739432 MulBackward0 140352677749984->140352677739432 140352678240720 MulBackward0 140352677749984->140352678240720 140352677750096 CudnnConvolutionBackward 140352677750096->140352677749984 140352677749592 ThnnConvDepthwise2DBackward 140352677749592->140352677750096 140352677749816 ThresholdBackward0 140352677749816->140352677749592 140352677749368 CudnnBatchNormBackward 140352677749368->140352677749816 140352677740784 MulBackward0 140352677749368->140352677740784 140352678242904 MulBackward0 140352677749368->140352678242904 140352677749480 CudnnConvolutionBackward 140352677749480->140352677749368 140352677749032 ThnnConvDepthwise2DBackward 140352677749032->140352677749480 140352677748920 ThresholdBackward0 140352677748920->140352677749032 140352677744256 CudnnBatchNormBackward 140352677744256->140352677748920 140352678254352 MulBackward0 140352677744256->140352678254352 140352677744368 CudnnConvolutionBackward 140352677744368->140352677744256 140352677744032 ThnnConvDepthwise2DBackward 140352677744032->140352677744368 140352677743864->140352677744032 140352677743920 0.3.0.module_list.4.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677743920->140352677744032 140352677743976 0.3.0.module_list.4.unit.unit.1.conv.bias (436) 140352677743976->140352677744032 140352677744088 0.3.0.module_list.4.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677744088->140352677744368 140352677743752 0.3.0.module_list.4.unit.unit.1.pointwise.bias (436) 140352677743752->140352677744368 140352677744424 0.3.0.module_list.4.unit.unit.2.weight (436) 140352677744424->140352677744256 140352677744144 0.3.0.module_list.4.unit.unit.2.bias (436) 140352677744144->140352677744256 140352677744592 0.3.0.module_list.18.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677744592->140352677749032 140352677744480 0.3.0.module_list.18.unit.unit.1.conv.bias (436) 140352677744480->140352677749032 140352677749088 0.3.0.module_list.18.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677749088->140352677749480 140352677748808 0.3.0.module_list.18.unit.unit.1.pointwise.bias (436) 140352677748808->140352677749480 140352677749144 0.3.0.module_list.18.unit.unit.2.weight (436) 140352677749144->140352677749368 140352677749200 0.3.0.module_list.18.unit.unit.2.bias (436) 140352677749200->140352677749368 140352677749872 0.3.0.module_list.20.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677749872->140352677749592 140352677749256 0.3.0.module_list.20.unit.unit.1.conv.bias (436) 140352677749256->140352677749592 140352677749648 0.3.0.module_list.20.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677749648->140352677750096 140352677749704 0.3.0.module_list.20.unit.unit.1.pointwise.bias (436) 140352677749704->140352677750096 140352677750152 0.3.0.module_list.20.unit.unit.2.weight (436) 140352677750152->140352677749984 140352677750208 0.3.0.module_list.20.unit.unit.2.bias (436) 140352677750208->140352677749984 140352677750320 0.3.0.module_list.21.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677750320->140352677751048 140352677750376 0.3.0.module_list.21.unit.unit.1.conv.bias (436) 140352677750376->140352677751048 140352677750712 0.3.0.module_list.21.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677750712->140352677753912 140352677750880 0.3.0.module_list.21.unit.unit.1.pointwise.bias (436) 140352677750880->140352677753912 140352677753688 0.3.0.module_list.21.unit.unit.2.weight (436) 140352677753688->140352677889360 140352677754024 0.3.0.module_list.21.unit.unit.2.bias (436) 140352677754024->140352677889360 140352677754752 SigmoidBackward 140352677754752->140352677889584 140352677752784->140352677754752 140352677890032 0.3.0.module_list.22.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677890032->140352677890200 140352677889696 0.3.0.module_list.22.unit.unit.1.conv.bias (436) 140352677889696->140352677890200 140352677890256 0.3.0.module_list.22.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677890256->140352677890368 140352677890312 0.3.0.module_list.22.unit.unit.1.pointwise.bias (436) 140352677890312->140352677890368 140352677890424 0.3.0.module_list.22.unit.unit.2.weight (436) 140352677890424->140352677890536 140352677890088 0.3.0.module_list.22.unit.unit.2.bias (436) 140352677890088->140352677890536 140352677890592 CudnnBatchNormBackward 140352677890592->140352677890984 140352677890144 CudnnConvolutionBackward 140352677890144->140352677890592 140352677889752 ThnnConvDepthwise2DBackward 140352677889752->140352677890144 140352677750040 ThresholdBackward0 140352677750040->140352677889752 140352677749424 AddBackward0 140352677749424->140352677750040 140352677748864 AddBackward0 140352677748864->140352677749424 140352677744536 AddBackward0 140352677744536->140352677748864 140352677743640 AddBackward0 140352677743640->140352677744536 140352677743472 MulBackward0 140352677743472->140352677743640 140352677743192 CudnnBatchNormBackward 140352677743192->140352677743472 140352678253400 ThresholdBackward0 140352677743192->140352678253400 140352677742968 CudnnConvolutionBackward 140352677742968->140352677743192 140352677742744 ThnnConvDepthwise2DBackward 140352677742744->140352677742968 140352677742464 ThresholdBackward0 140352677742464->140352677742744 140352677742688 AddBackward0 140352677742688->140352677742464 140352677742184->140352677742688 140352677742352 SigmoidBackward 140352677742352->140352677742184 140352677742072 SelectBackward 140352677742072->140352677742352 140352677741904 0.3.0.module_list.7.weights (2) 140352677741904->140352677742072 140352677741960 SelectBackward 140352677741904->140352677741960 140352677742240->140352677742688 140352677742408 SigmoidBackward 140352677742408->140352677742240 140352677741960->140352677742408 140352677742520 0.3.0.module_list.7.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677742520->140352677742744 140352677742576 0.3.0.module_list.7.unit.unit.1.conv.bias (436) 140352677742576->140352677742744 140352677742800 0.3.0.module_list.7.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677742800->140352677742968 140352677742856 0.3.0.module_list.7.unit.unit.1.pointwise.bias (436) 140352677742856->140352677742968 140352677743024 0.3.0.module_list.7.unit.unit.2.weight (436) 140352677743024->140352677743192 140352677743080 0.3.0.module_list.7.unit.unit.2.bias (436) 140352677743080->140352677743192 140352677743248 SigmoidBackward 140352677743248->140352677743472 140352677743136 SelectBackward 140352677743136->140352677743248 140352677742296 0.3.0.module_list.26.weights (5) 140352677742296->140352677743136 140352677742128 SelectBackward 140352677742296->140352677742128 140352677742632 SelectBackward 140352677742296->140352677742632 140352677741848 SelectBackward 140352677742296->140352677741848 140352677741456 SelectBackward 140352677742296->140352677741456 140352677743528->140352677743640 140352677743304 SigmoidBackward 140352677743304->140352677743528 140352677742128->140352677743304 140352677743584->140352677744536 140352677743360 SigmoidBackward 140352677743360->140352677743584 140352677742632->140352677743360 140352677743808->140352677748864 140352677743416 SigmoidBackward 140352677743416->140352677743808 140352677741848->140352677743416 140352677744200 MulBackward0 140352677744200->140352677749424 140352677743696 CudnnBatchNormBackward 140352677743696->140352677744200 140352678240832 MulBackward0 140352677743696->140352678240832 140352677741736 CudnnConvolutionBackward 140352677741736->140352677743696 140352677741512 ThnnConvDepthwise2DBackward 140352677741512->140352677741736 140352677741344 ThresholdBackward0 140352677741344->140352677741512 140352677741008 AddBackward0 140352677741008->140352677741344 140352677740728 AddBackward0 140352677740728->140352677741008 140352677740896->140352677740728 140352677740616 SigmoidBackward 140352677740616->140352677740896 140352677740328 SelectBackward 140352677740328->140352677740616 140352677740440 0.3.0.module_list.25.weights (3) 140352677740440->140352677740328 140352677739992 SelectBackward 140352677740440->140352677739992 140352677739880 SelectBackward 140352677740440->140352677739880 140352677740952 MulBackward0 140352677740952->140352677740728 140352677740496 CudnnBatchNormBackward 140352677740496->140352677740952 140352678246608 MulBackward0 140352677740496->140352678246608 140352678241952 MulBackward0 140352677740496->140352678241952 140352677740160 CudnnConvolutionBackward 140352677740160->140352677740496 140352677740048 ThnnConvDepthwise2DBackward 140352677740048->140352677740160 140352677739936->140352677740048 140352677739656 0.3.0.module_list.13.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677739656->140352677740048 140352677739712 0.3.0.module_list.13.unit.unit.1.conv.bias (436) 140352677739712->140352677740048 140352677739768 0.3.0.module_list.13.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677739768->140352677740160 140352677739824 0.3.0.module_list.13.unit.unit.1.pointwise.bias (436) 140352677739824->140352677740160 140352677740216 0.3.0.module_list.13.unit.unit.2.weight (436) 140352677740216->140352677740496 140352677740272 0.3.0.module_list.13.unit.unit.2.bias (436) 140352677740272->140352677740496 140352677740384 SigmoidBackward 140352677740384->140352677740952 140352677739992->140352677740384 140352677740784->140352677741008 140352677740672 SigmoidBackward 140352677740672->140352677740784 140352677739880->140352677740672 140352677741120 0.3.0.module_list.25.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677741120->140352677741512 140352677741176 0.3.0.module_list.25.unit.unit.1.conv.bias (436) 140352677741176->140352677741512 140352677741624 0.3.0.module_list.25.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677741624->140352677741736 140352677741680 0.3.0.module_list.25.unit.unit.1.pointwise.bias (436) 140352677741680->140352677741736 140352677741792 0.3.0.module_list.25.unit.unit.2.weight (436) 140352677741792->140352677743696 140352677741400 0.3.0.module_list.25.unit.unit.2.bias (436) 140352677741400->140352677743696 140352677742912 SigmoidBackward 140352677742912->140352677744200 140352677741456->140352677742912 140352677749928 0.3.0.module_list.26.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677749928->140352677889752 140352677749760 0.3.0.module_list.26.unit.unit.1.conv.bias (436) 140352677749760->140352677889752 140352677754136 0.3.0.module_list.26.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677754136->140352677890144 140352677751272 0.3.0.module_list.26.unit.unit.1.pointwise.bias (436) 140352677751272->140352677890144 140352677889920 0.3.0.module_list.26.unit.unit.2.weight (436) 140352677889920->140352677890592 140352677889640 0.3.0.module_list.26.unit.unit.2.bias (436) 140352677889640->140352677890592 140352677891040 CudnnBatchNormBackward 140352677891040->140352677890816 140352677890648 CudnnConvolutionBackward 140352677890648->140352677891040 140352677748976 ThnnConvDepthwise2DBackward 140352677748976->140352677890648 140352677740840 ThresholdBackward0 140352677740840->140352677748976 140352677739600 AddBackward0 140352677739600->140352677740840 140352677739488 AddBackward0 140352677739488->140352677739600 140352677739376 AddBackward0 140352677739376->140352677739488 140352677739208 MulBackward0 140352677739208->140352677739376 140352677739096 CudnnBatchNormBackward 140352677739096->140352677739208 140352677737136 MulBackward0 140352677739096->140352677737136 140352677738816 CudnnConvolutionBackward 140352677738816->140352677739096 140352677738648 ThnnConvDepthwise2DBackward 140352677738648->140352677738816 140352677738256->140352677738648 140352677738312 0.3.0.module_list.6.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677738312->140352677738648 140352677738368 0.3.0.module_list.6.unit.unit.1.conv.bias (436) 140352677738368->140352677738648 140352677738536 0.3.0.module_list.6.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677738536->140352677738816 140352677738144 0.3.0.module_list.6.unit.unit.1.pointwise.bias (436) 140352677738144->140352677738816 140352677738872 0.3.0.module_list.6.unit.unit.2.weight (436) 140352677738872->140352677739096 140352677738928 0.3.0.module_list.6.unit.unit.2.bias (436) 140352677738928->140352677739096 140352677738704 SigmoidBackward 140352677738704->140352677739208 140352677738592 SelectBackward 140352677738592->140352677738704 140352677738088 0.3.0.module_list.28.weights (4) 140352677738088->140352677738592 140352677737864 SelectBackward 140352677738088->140352677737864 140352677737640 SelectBackward 140352677738088->140352677737640 140352678256200 SelectBackward 140352677738088->140352678256200 140352677738984 MulBackward0 140352677738984->140352677739376 140352677738760 CudnnBatchNormBackward 140352677738760->140352677738984 140352678227584 MulBackward0 140352677738760->140352678227584 140352677738424 CudnnConvolutionBackward 140352677738424->140352677738760 140352677737920 ThnnConvDepthwise2DBackward 140352677737920->140352677738424 140352677737696 ThresholdBackward0 140352677737696->140352677737920 140352677737304 AddBackward0 140352677737304->140352677737696 140352677737080 MulBackward0 140352677737080->140352677737304 140352677737248 CudnnBatchNormBackward 140352677737248->140352677737080 140352678255528 MulBackward0 140352677737248->140352678255528 140352678247896 MulBackward0 140352677737248->140352678247896 140352678240664 MulBackward0 140352677737248->140352678240664 140352677736744 CudnnConvolutionBackward 140352677736744->140352677737248 140352677736632 ThnnConvDepthwise2DBackward 140352677736632->140352677736744 140352678256480->140352677736632 140352678256536 0.3.0.module_list.3.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678256536->140352677736632 140352678256592 0.3.0.module_list.3.unit.unit.1.conv.bias (436) 140352678256592->140352677736632 140352677736688 0.3.0.module_list.3.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677736688->140352677736744 140352677736520 0.3.0.module_list.3.unit.unit.1.pointwise.bias (436) 140352677736520->140352677736744 140352677736800 0.3.0.module_list.3.unit.unit.2.weight (436) 140352677736800->140352677737248 140352677736856 0.3.0.module_list.3.unit.unit.2.bias (436) 140352677736856->140352677737248 140352677736912 SigmoidBackward 140352677736912->140352677737080 140352677736576 SelectBackward 140352677736576->140352677736912 140352678256312 0.3.0.module_list.11.weights (2) 140352678256312->140352677736576 140352678256256 SelectBackward 140352678256312->140352678256256 140352677737136->140352677737304 140352677736968 SigmoidBackward 140352677736968->140352677737136 140352678256256->140352677736968 140352677737416 0.3.0.module_list.11.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677737416->140352677737920 140352677737472 0.3.0.module_list.11.unit.unit.1.conv.bias (436) 140352677737472->140352677737920 140352677737976 0.3.0.module_list.11.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677737976->140352677738424 140352677737584 0.3.0.module_list.11.unit.unit.1.pointwise.bias (436) 140352677737584->140352677738424 140352677737752 0.3.0.module_list.11.unit.unit.2.weight (436) 140352677737752->140352677738760 140352677737808 0.3.0.module_list.11.unit.unit.2.bias (436) 140352677737808->140352677738760 140352677738200 SigmoidBackward 140352677738200->140352677738984 140352677737864->140352677738200 140352677739432->140352677739488 140352677739040 SigmoidBackward 140352677739040->140352677739432 140352677737640->140352677739040 140352677739264 MulBackward0 140352677739264->140352677739600 140352677739152 CudnnBatchNormBackward 140352677739152->140352677739264 140352678242344 MulBackward0 140352677739152->140352678242344 140352677737360 CudnnConvolutionBackward 140352677737360->140352677739152 140352678256032 ThnnConvDepthwise2DBackward 140352678256032->140352677737360 140352678255976 ThresholdBackward0 140352678255976->140352678256032 140352678255808 AddBackward0 140352678255808->140352678255976 140352678255472->140352678255808 140352678255192 SigmoidBackward 140352678255192->140352678255472 140352678255304 SelectBackward 140352678255304->140352678255192 140352678255416 0.3.0.module_list.27.weights (2) 140352678255416->140352678255304 140352678255024 SelectBackward 140352678255416->140352678255024 140352678255528->140352678255808 140352678255248 SigmoidBackward 140352678255248->140352678255528 140352678255024->140352678255248 140352678255640 0.3.0.module_list.27.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678255640->140352678256032 140352678255696 0.3.0.module_list.27.unit.unit.1.conv.bias (436) 140352678255696->140352678256032 140352678256088 0.3.0.module_list.27.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678256088->140352677737360 140352678256144 0.3.0.module_list.27.unit.unit.1.pointwise.bias (436) 140352678256144->140352677737360 140352677737528 0.3.0.module_list.27.unit.unit.2.weight (436) 140352677737528->140352677739152 140352678256424 0.3.0.module_list.27.unit.unit.2.bias (436) 140352678256424->140352677739152 140352677738032 SigmoidBackward 140352677738032->140352677739264 140352678256200->140352677738032 140352677741064 0.3.0.module_list.28.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677741064->140352677748976 140352677741232 0.3.0.module_list.28.unit.unit.1.conv.bias (436) 140352677741232->140352677748976 140352677744312 0.3.0.module_list.28.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677744312->140352677890648 140352677742016 0.3.0.module_list.28.unit.unit.1.pointwise.bias (436) 140352677742016->140352677890648 140352677889864 0.3.0.module_list.28.unit.unit.2.weight (436) 140352677889864->140352677891040 140352677749536 0.3.0.module_list.28.unit.unit.2.bias (436) 140352677749536->140352677891040 140352677890872 CudnnBatchNormBackward 140352677890872->140352677891208 140352677890480 CudnnConvolutionBackward 140352677890480->140352677890872 140352677739544 ThnnConvDepthwise2DBackward 140352677739544->140352677890480 140352678255584 ThresholdBackward0 140352678255584->140352677739544 140352678255080 AddBackward0 140352678255080->140352678255584 140352678254912 AddBackward0 140352678254912->140352678255080 140352678254744 AddBackward0 140352678254744->140352678254912 140352678254408 AddBackward0 140352678254408->140352678254744 140352678254576 AddBackward0 140352678254576->140352678254408 140352678254352->140352678254576 140352678254072 SigmoidBackward 140352678254072->140352678254352 140352678254184 SelectBackward 140352678254184->140352678254072 140352678253848 0.3.0.module_list.30.weights (6) 140352678253848->140352678254184 140352678253680 SelectBackward 140352678253848->140352678253680 140352678252896 SelectBackward 140352678253848->140352678252896 140352678252784 SelectBackward 140352678253848->140352678252784 140352678246832 SelectBackward 140352678253848->140352678246832 140352678245320 SelectBackward 140352678253848->140352678245320 140352678253904 MulBackward0 140352678253904->140352678254576 140352678254128 CudnnBatchNormBackward 140352678254128->140352678253904 140352678244424 MulBackward0 140352678254128->140352678244424 140352678227136 MulBackward0 140352678254128->140352678227136 140352678253792 CudnnConvolutionBackward 140352678253792->140352678254128 140352678253456 ThnnConvDepthwise2DBackward 140352678253456->140352678253792 140352678253400->140352678253456 140352678253176 0.3.0.module_list.8.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678253176->140352678253456 140352678253232 0.3.0.module_list.8.unit.unit.1.conv.bias (436) 140352678253232->140352678253456 140352678253512 0.3.0.module_list.8.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678253512->140352678253792 140352678253288 0.3.0.module_list.8.unit.unit.1.pointwise.bias (436) 140352678253288->140352678253792 140352678253568 0.3.0.module_list.8.unit.unit.2.weight (436) 140352678253568->140352678254128 140352678253624 0.3.0.module_list.8.unit.unit.2.bias (436) 140352678253624->140352678254128 140352678254240 SigmoidBackward 140352678254240->140352678253904 140352678253680->140352678254240 140352678254632 MulBackward0 140352678254632->140352678254408 140352678254016 CudnnBatchNormBackward 140352678254016->140352678254632 140352678253120 CudnnConvolutionBackward 140352678253120->140352678254016 140352678252952 ThnnConvDepthwise2DBackward 140352678252952->140352678253120 140352678252840 ThresholdBackward0 140352678252840->140352678252952 140352678248344 AddBackward0 140352678248344->140352678252840 140352678248176 AddBackward0 140352678248176->140352678248344 140352678247896->140352678248176 140352678248064 SigmoidBackward 140352678248064->140352678247896 140352678247728 SelectBackward 140352678247728->140352678248064 140352678247504 0.3.0.module_list.15.weights (3) 140352678247504->140352678247728 140352678247560 SelectBackward 140352678247504->140352678247560 140352678247168 SelectBackward 140352678247504->140352678247168 140352678247952->140352678248176 140352678247672 SigmoidBackward 140352678247672->140352678247952 140352678247560->140352678247672 140352678247784 MulBackward0 140352678247784->140352678248344 140352678248008 CudnnBatchNormBackward 140352678248008->140352678247784 140352678243016 MulBackward0 140352678248008->140352678243016 140352678242120 MulBackward0 140352678248008->140352678242120 140352678247392 CudnnConvolutionBackward 140352678247392->140352678248008 140352678247224 ThnnConvDepthwise2DBackward 140352678247224->140352678247392 140352678246888 ThresholdBackward0 140352678246888->140352678247224 140352678246776 AddBackward0 140352678246776->140352678246888 140352678246552->140352678246776 140352678246160 SigmoidBackward 140352678246160->140352678246552 140352678246272 SelectBackward 140352678246272->140352678246160 140352678246384 0.3.0.module_list.14.weights (2) 140352678246384->140352678246272 140352678246440 SelectBackward 140352678246384->140352678246440 140352678246608->140352678246776 140352678246216 SigmoidBackward 140352678246216->140352678246608 140352678246440->140352678246216 140352678246944 0.3.0.module_list.14.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678246944->140352678247224 140352678247000 0.3.0.module_list.14.unit.unit.1.conv.bias (436) 140352678247000->140352678247224 140352678247280 0.3.0.module_list.14.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678247280->140352678247392 140352678247336 0.3.0.module_list.14.unit.unit.1.pointwise.bias (436) 140352678247336->140352678247392 140352678247056 0.3.0.module_list.14.unit.unit.2.weight (436) 140352678247056->140352678248008 140352678247112 0.3.0.module_list.14.unit.unit.2.bias (436) 140352678247112->140352678248008 140352678247448 SigmoidBackward 140352678247448->140352678247784 140352678247168->140352678247448 140352678252616 0.3.0.module_list.15.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678252616->140352678252952 140352678248400 0.3.0.module_list.15.unit.unit.1.conv.bias (436) 140352678248400->140352678252952 140352678252672 0.3.0.module_list.15.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678252672->140352678253120 140352678252728 0.3.0.module_list.15.unit.unit.1.pointwise.bias (436) 140352678252728->140352678253120 140352678253064 0.3.0.module_list.15.unit.unit.2.weight (436) 140352678253064->140352678254016 140352678253008 0.3.0.module_list.15.unit.unit.2.bias (436) 140352678253008->140352678254016 140352678253736 SigmoidBackward 140352678253736->140352678254632 140352678252896->140352678253736 140352678254464->140352678254744 140352678254296 SigmoidBackward 140352678254296->140352678254464 140352678252784->140352678254296 140352678254800 MulBackward0 140352678254800->140352678254912 140352678254520 CudnnBatchNormBackward 140352678254520->140352678254800 140352678248120 CudnnConvolutionBackward 140352678248120->140352678254520 140352678246664 ThnnConvDepthwise2DBackward 140352678246664->140352678248120 140352678246048 ThresholdBackward0 140352678246048->140352678246664 140352678245768 AddBackward0 140352678245768->140352678246048 140352678245544->140352678245768 140352678245712 SigmoidBackward 140352678245712->140352678245544 140352678245432 SelectBackward 140352678245432->140352678245712 140352678245264 0.3.0.module_list.24.weights (2) 140352678245264->140352678245432 140352678245152 SelectBackward 140352678245264->140352678245152 140352678245600 MulBackward0 140352678245600->140352678245768 140352678245376 CudnnBatchNormBackward 140352678245376->140352678245600 140352678244984 CudnnConvolutionBackward 140352678244984->140352678245376 140352678245208 ThnnConvDepthwise2DBackward 140352678245208->140352678244984 140352678244816 ThresholdBackward0 140352678244816->140352678245208 140352678244480 AddBackward0 140352678244480->140352678244816 140352678244424->140352678244480 140352678244304 SigmoidBackward 140352678244304->140352678244424 140352678244080 SelectBackward 140352678244080->140352678244304 140352678243856 0.3.0.module_list.23.weights (2) 140352678243856->140352678244080 140352678243800 SelectBackward 140352678243856->140352678243800 140352678244192 MulBackward0 140352678244192->140352678244480 140352678244024 CudnnBatchNormBackward 140352678244024->140352678244192 140352678243968 CudnnConvolutionBackward 140352678243968->140352678244024 140352678243520 ThnnConvDepthwise2DBackward 140352678243520->140352678243968 140352678243408 ThresholdBackward0 140352678243408->140352678243520 140352678243072 AddBackward0 140352678243072->140352678243408 140352678243184 AddBackward0 140352678243184->140352678243072 140352678243016->140352678243184 140352678242680 SigmoidBackward 140352678242680->140352678243016 140352678242568 SelectBackward 140352678242568->140352678242680 140352678242456 0.3.0.module_list.19.weights (3) 140352678242456->140352678242568 140352678242512 SelectBackward 140352678242456->140352678242512 140352678242232 SelectBackward 140352678242456->140352678242232 140352678242792->140352678243184 140352678242736 SigmoidBackward 140352678242736->140352678242792 140352678242512->140352678242736 140352678242904->140352678243072 140352678242848 SigmoidBackward 140352678242848->140352678242904 140352678242232->140352678242848 140352678243464 0.3.0.module_list.19.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678243464->140352678243520 140352678243240 0.3.0.module_list.19.unit.unit.1.conv.bias (436) 140352678243240->140352678243520 140352678243576 0.3.0.module_list.19.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678243576->140352678243968 140352678243632 0.3.0.module_list.19.unit.unit.1.pointwise.bias (436) 140352678243632->140352678243968 140352678243688 0.3.0.module_list.19.unit.unit.2.weight (436) 140352678243688->140352678244024 140352678243744 0.3.0.module_list.19.unit.unit.2.bias (436) 140352678243744->140352678244024 140352678244136 SigmoidBackward 140352678244136->140352678244192 140352678243800->140352678244136 140352678244648 0.3.0.module_list.23.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678244648->140352678245208 140352678244704 0.3.0.module_list.23.unit.unit.1.conv.bias (436) 140352678244704->140352678245208 140352678244872 0.3.0.module_list.23.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678244872->140352678244984 140352678244928 0.3.0.module_list.23.unit.unit.1.pointwise.bias (436) 140352678244928->140352678244984 140352678245040 0.3.0.module_list.23.unit.unit.2.weight (436) 140352678245040->140352678245376 140352678245096 0.3.0.module_list.23.unit.unit.2.bias (436) 140352678245096->140352678245376 140352678245488 SigmoidBackward 140352678245488->140352678245600 140352678245152->140352678245488 140352678246104 0.3.0.module_list.24.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678246104->140352678246664 140352678245936 0.3.0.module_list.24.unit.unit.1.conv.bias (436) 140352678245936->140352678246664 140352678246496 0.3.0.module_list.24.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678246496->140352678248120 140352678246720 0.3.0.module_list.24.unit.unit.1.pointwise.bias (436) 140352678246720->140352678248120 140352678248232 0.3.0.module_list.24.unit.unit.2.weight (436) 140352678248232->140352678254520 140352678247616 0.3.0.module_list.24.unit.unit.2.bias (436) 140352678247616->140352678254520 140352678253344 SigmoidBackward 140352678253344->140352678254800 140352678246832->140352678253344 140352678254968 MulBackward0 140352678254968->140352678255080 140352678254856 CudnnBatchNormBackward 140352678254856->140352678254968 140352678245656 CudnnConvolutionBackward 140352678245656->140352678254856 140352678244760 ThnnConvDepthwise2DBackward 140352678244760->140352678245656 140352678243912 ThresholdBackward0 140352678243912->140352678244760 140352678243296 AddBackward0 140352678243296->140352678243912 140352678242288 AddBackward0 140352678242288->140352678243296 140352678242064 AddBackward0 140352678242064->140352678242288 140352678241896 AddBackward0 140352678241896->140352678242064 140352678241784->140352678241896 140352678241560 SigmoidBackward 140352678241560->140352678241784 140352678241672 SelectBackward 140352678241672->140352678241560 140352678241392 0.3.0.module_list.29.weights (5) 140352678241392->140352678241672 140352678241448 SelectBackward 140352678241392->140352678241448 140352678241224 SelectBackward 140352678241392->140352678241224 140352678241280 SelectBackward 140352678241392->140352678241280 140352678240944 SelectBackward 140352678241392->140352678240944 140352678241840->140352678241896 140352678241616 SigmoidBackward 140352678241616->140352678241840 140352678241448->140352678241616 140352678241952->140352678242064 140352678241504 SigmoidBackward 140352678241504->140352678241952 140352678241224->140352678241504 140352678242120->140352678242288 140352678241728 SigmoidBackward 140352678241728->140352678242120 140352678241280->140352678241728 140352678242344->140352678243296 140352678242176 SigmoidBackward 140352678242176->140352678242344 140352678240944->140352678242176 140352678243352 0.3.0.module_list.29.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678243352->140352678244760 140352678242960 0.3.0.module_list.29.unit.unit.1.conv.bias (436) 140352678242960->140352678244760 140352678244536 0.3.0.module_list.29.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678244536->140352678245656 140352678244592 0.3.0.module_list.29.unit.unit.1.pointwise.bias (436) 140352678244592->140352678245656 140352678245880 0.3.0.module_list.29.unit.unit.2.weight (436) 140352678245880->140352678254856 140352678245992 0.3.0.module_list.29.unit.unit.2.bias (436) 140352678245992->140352678254856 140352678247840 SigmoidBackward 140352678247840->140352678254968 140352678245320->140352678247840 140352678255864 0.3.0.module_list.30.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678255864->140352677739544 140352678255752 0.3.0.module_list.30.unit.unit.1.conv.bias (436) 140352678255752->140352677739544 140352677740104 0.3.0.module_list.30.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352677740104->140352677890480 140352677737192 0.3.0.module_list.30.unit.unit.1.pointwise.bias (436) 140352677737192->140352677890480 140352677749312 0.3.0.module_list.30.unit.unit.2.weight (436) 140352677749312->140352677890872 140352677741288 0.3.0.module_list.30.unit.unit.2.bias (436) 140352677741288->140352677890872 140352677890704 CudnnBatchNormBackward 140352677890704->140352677891376 140352677890928 CudnnConvolutionBackward 140352677890928->140352677890704 140352678255136 ThnnConvDepthwise2DBackward 140352678255136->140352677890928 140352678242400 ThresholdBackward0 140352678242400->140352678255136 140352678241056 AddBackward0 140352678241056->140352678242400 140352678241168 AddBackward0 140352678241168->140352678241056 140352678240664->140352678241168 140352678240552 SigmoidBackward 140352678240552->140352678240664 140352678240440 SelectBackward 140352678240440->140352678240552 140352678240328 0.3.0.module_list.31.weights (3) 140352678240328->140352678240440 140352678240384 SelectBackward 140352678240328->140352678240384 140352678227920 SelectBackward 140352678240328->140352678227920 140352678240720->140352678241168 140352678240608 SigmoidBackward 140352678240608->140352678240720 140352678240384->140352678240608 140352678240832->140352678241056 140352678240776 SigmoidBackward 140352678240776->140352678240832 140352678227920->140352678240776 140352678242624 0.3.0.module_list.31.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678242624->140352678255136 140352678243128 0.3.0.module_list.31.unit.unit.1.conv.bias (436) 140352678243128->140352678255136 140352678255360 0.3.0.module_list.31.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678255360->140352677890928 140352678246328 0.3.0.module_list.31.unit.unit.1.pointwise.bias (436) 140352678246328->140352677890928 140352677739320 0.3.0.module_list.31.unit.unit.2.weight (436) 140352677739320->140352677890704 140352678255920 0.3.0.module_list.31.unit.unit.2.bias (436) 140352678255920->140352677890704 140352677891432 CudnnBatchNormBackward 140352677891432->140352677891264 140352677890760 CudnnConvolutionBackward 140352677890760->140352677891432 140352678241112 ThnnConvDepthwise2DBackward 140352678241112->140352677890760 140352678227864 ThresholdBackward0 140352678227864->140352678241112 140352678227416 AddBackward0 140352678227416->140352678227864 140352678227528 AddBackward0 140352678227528->140352678227416 140352678227360 AddBackward0 140352678227360->140352678227528 140352678227248->140352678227360 140352678227080 SigmoidBackward 140352678227080->140352678227248 140352678226912 SelectBackward 140352678226912->140352678227080 140352678226744 0.3.0.module_list.32.weights (4) 140352678226744->140352678226912 140352678226800 SelectBackward 140352678226744->140352678226800 140352678226464 SelectBackward 140352678226744->140352678226464 140352678226520 SelectBackward 140352678226744->140352678226520 140352678226968->140352678227360 140352678226856 SigmoidBackward 140352678226856->140352678226968 140352678226800->140352678226856 140352678227136->140352678227528 140352678227024 SigmoidBackward 140352678227024->140352678227136 140352678226464->140352678227024 140352678227584->140352678227416 140352678227192 SigmoidBackward 140352678227192->140352678227584 140352678226520->140352678227192 140352678227640 0.3.0.module_list.32.unit.unit.1.conv.weight (436, 1, 3, 3) 140352678227640->140352678241112 140352678227696 0.3.0.module_list.32.unit.unit.1.conv.bias (436) 140352678227696->140352678241112 140352678241336 0.3.0.module_list.32.unit.unit.1.pointwise.weight (436, 436, 1, 1) 140352678241336->140352677890760 140352678240496 0.3.0.module_list.32.unit.unit.1.pointwise.bias (436) 140352678240496->140352677890760 140352678254688 0.3.0.module_list.32.unit.unit.2.weight (436) 140352678254688->140352677891432 140352678244248 0.3.0.module_list.32.unit.unit.2.bias (436) 140352678244248->140352677891432 140352677891936 0.4.0.module_list.0.unit.unit.1.conv.weight (436, 1, 3, 3) 140352677891936->140352677892048 140352677891600 0.4.0.module_list.0.unit.unit.1.conv.bias (436) 140352677891600->140352677892048 140352677891712 0.4.0.module_list.0.unit.unit.1.pointwise.weight (872, 436, 1, 1) 140352677891712->140352677892448 140352677891768 0.4.0.module_list.0.unit.unit.1.pointwise.bias (872) 140352677891768->140352677892448 140352677892504 0.4.0.module_list.0.unit.unit.2.weight (872) 140352677892504->140352677892280 140352677892168 0.4.0.module_list.0.unit.unit.2.bias (872) 140352677892168->140352677892280 140352677892672 0.4.0.module_list.1.unit.unit.1.conv.weight (872, 1, 3, 3) 140352677892672->140352677892840 140352677892728 0.4.0.module_list.1.unit.unit.1.conv.bias (872) 140352677892728->140352677892840 140352677892896 0.4.0.module_list.1.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352677892896->140352677893064 140352677892952 0.4.0.module_list.1.unit.unit.1.pointwise.bias (872) 140352677892952->140352677893064 140352677893120 0.4.0.module_list.1.unit.unit.2.weight (872) 140352677893120->140352677893288 140352677893176 0.4.0.module_list.1.unit.unit.2.bias (872) 140352677893176->140352677893288 140352677893344 SigmoidBackward 140352677893344->140352677893456 140352677892784 SelectBackward 140352677892784->140352677893344 140352677892392 0.4.0.module_list.26.weights (2) 140352677892392->140352677892784 140352677891544 SelectBackward 140352677892392->140352677891544 140352677893512 MulBackward0 140352677893512->140352677893624 140352677893008 CudnnBatchNormBackward 140352677893008->140352677893512 140352678182864 MulBackward0 140352677893008->140352678182864 140352678170184 MulBackward0 140352677893008->140352678170184 140352678168616 MulBackward0 140352677893008->140352678168616 140352677891992 CudnnConvolutionBackward 140352677891992->140352677893008 140352677891656 ThnnConvDepthwise2DBackward 140352677891656->140352677891992 140352678227304 ThresholdBackward0 140352678227304->140352677891656 140352678226576 CudnnBatchNormBackward 140352678226576->140352678227304 140352678224952 MulBackward0 140352678226576->140352678224952 140352678201664 MulBackward0 140352678226576->140352678201664 140352678163176 MulBackward0 140352678226576->140352678163176 140352678226296 CudnnConvolutionBackward 140352678226296->140352678226576 140352678226240 ThnnConvDepthwise2DBackward 140352678226240->140352678226296 140352678225904->140352678226240 140352678225960 0.4.0.module_list.3.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678225960->140352678226240 140352678225624 0.4.0.module_list.3.unit.unit.1.conv.bias (872) 140352678225624->140352678226240 140352678226016 0.4.0.module_list.3.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678226016->140352678226296 140352678226072 0.4.0.module_list.3.unit.unit.1.pointwise.bias (872) 140352678226072->140352678226296 140352678226352 0.4.0.module_list.3.unit.unit.2.weight (872) 140352678226352->140352678226576 140352678226408 0.4.0.module_list.3.unit.unit.2.bias (872) 140352678226408->140352678226576 140352678227472 0.4.0.module_list.4.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678227472->140352677891656 140352678227752 0.4.0.module_list.4.unit.unit.1.conv.bias (872) 140352678227752->140352677891656 140352677891096 0.4.0.module_list.4.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352677891096->140352677891992 140352678240888 0.4.0.module_list.4.unit.unit.1.pointwise.bias (872) 140352678240888->140352677891992 140352677891824 0.4.0.module_list.4.unit.unit.2.weight (872) 140352677891824->140352677893008 140352677891320 0.4.0.module_list.4.unit.unit.2.bias (872) 140352677891320->140352677893008 140352677892560 SigmoidBackward 140352677892560->140352677893512 140352677891544->140352677892560 140352677893680 0.4.0.module_list.26.unit.unit.1.conv.weight (872, 1, 3, 3) 140352677893680->140352677894072 140352677893736 0.4.0.module_list.26.unit.unit.1.conv.bias (872) 140352677893736->140352677894072 140352677893792 0.4.0.module_list.26.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352677893792->140352677894184 140352677893848 0.4.0.module_list.26.unit.unit.1.pointwise.bias (872) 140352677893848->140352677894184 140352677894240 0.4.0.module_list.26.unit.unit.2.weight (872) 140352677894240->140352677894408 140352677894296 0.4.0.module_list.26.unit.unit.2.bias (872) 140352677894296->140352677894408 140352677894464 CudnnBatchNormBackward 140352677894464->140352677894576 140352677894016 CudnnConvolutionBackward 140352677894016->140352677894464 140352677893568 ThnnConvDepthwise2DBackward 140352677893568->140352677894016 140352678226632 ThresholdBackward0 140352678226632->140352677893568 140352678225736 AddBackward0 140352678225736->140352678226632 140352678225848 AddBackward0 140352678225848->140352678225736 140352678225232 AddBackward0 140352678225232->140352678225848 140352678225400 AddBackward0 140352678225400->140352678225232 140352678225176->140352678225400 140352678225064 SigmoidBackward 140352678225064->140352678225176 140352678224896 SelectBackward 140352678224896->140352678225064 140352678224784 0.4.0.module_list.28.weights (5) 140352678224784->140352678224896 140352678224616 SelectBackward 140352678224784->140352678224616 140352678224280 SelectBackward 140352678224784->140352678224280 140352678219560 SelectBackward 140352678224784->140352678219560 140352678218216 SelectBackward 140352678224784->140352678218216 140352678224952->140352678225400 140352678224840 SigmoidBackward 140352678224840->140352678224952 140352678224616->140352678224840 140352678225456 MulBackward0 140352678225456->140352678225232 140352678225008 CudnnBatchNormBackward 140352678225008->140352678225456 140352678218776 MulBackward0 140352678225008->140352678218776 140352678157168 MulBackward0 140352678225008->140352678157168 140352678224448 CudnnConvolutionBackward 140352678224448->140352678225008 140352678224336 ThnnConvDepthwise2DBackward 140352678224336->140352678224448 140352678223944->140352678224336 140352678224000 0.4.0.module_list.6.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678224000->140352678224336 140352678224056 0.4.0.module_list.6.unit.unit.1.conv.bias (872) 140352678224056->140352678224336 140352678224392 0.4.0.module_list.6.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678224392->140352678224448 140352678224112 0.4.0.module_list.6.unit.unit.1.pointwise.bias (872) 140352678224112->140352678224448 140352678224560 0.4.0.module_list.6.unit.unit.2.weight (872) 140352678224560->140352678225008 140352678224224 0.4.0.module_list.6.unit.unit.2.bias (872) 140352678224224->140352678225008 140352678224728 SigmoidBackward 140352678224728->140352678225456 140352678224280->140352678224728 140352678225288 MulBackward0 140352678225288->140352678225848 140352678225120 CudnnBatchNormBackward 140352678225120->140352678225288 140352678219728 CudnnConvolutionBackward 140352678219728->140352678225120 140352678219392 ThnnConvDepthwise2DBackward 140352678219392->140352678219728 140352678219336 ThresholdBackward0 140352678219336->140352678219392 140352678219224 AddBackward0 140352678219224->140352678219336 140352678219000 MulBackward0 140352678219000->140352678219224 140352678218888 CudnnBatchNormBackward 140352678218888->140352678219000 140352678210808 ThresholdBackward0 140352678218888->140352678210808 140352678199704 ThresholdBackward0 140352678218888->140352678199704 140352678182696 MulBackward0 140352678218888->140352678182696 140352678218608 CudnnConvolutionBackward 140352678218608->140352678218888 140352678218328 ThnnConvDepthwise2DBackward 140352678218328->140352678218608 140352678218272 ThresholdBackward0 140352678218272->140352678218328 140352678217656 CudnnBatchNormBackward 140352678217656->140352678218272 140352678210192 ThresholdBackward0 140352678217656->140352678210192 140352678170128 MulBackward0 140352678217656->140352678170128 140352678157448 MulBackward0 140352678217656->140352678157448 140352678217768 CudnnConvolutionBackward 140352678217768->140352678217656 140352678217432 ThnnConvDepthwise2DBackward 140352678217432->140352678217768 140352678217208->140352678217432 140352678217264 0.4.0.module_list.2.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678217264->140352678217432 140352678217320 0.4.0.module_list.2.unit.unit.1.conv.bias (872) 140352678217320->140352678217432 140352678217488 0.4.0.module_list.2.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678217488->140352678217768 140352678217544 0.4.0.module_list.2.unit.unit.1.pointwise.bias (872) 140352678217544->140352678217768 140352678217824 0.4.0.module_list.2.unit.unit.2.weight (872) 140352678217824->140352678217656 140352678217880 0.4.0.module_list.2.unit.unit.2.bias (872) 140352678217880->140352678217656 140352678217992 0.4.0.module_list.5.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678217992->140352678218328 140352678218048 0.4.0.module_list.5.unit.unit.1.conv.bias (872) 140352678218048->140352678218328 140352678218384 0.4.0.module_list.5.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678218384->140352678218608 140352678218160 0.4.0.module_list.5.unit.unit.1.pointwise.bias (872) 140352678218160->140352678218608 140352678218664 0.4.0.module_list.5.unit.unit.2.weight (872) 140352678218664->140352678218888 140352678218440 0.4.0.module_list.5.unit.unit.2.bias (872) 140352678218440->140352678218888 140352678218720 SigmoidBackward 140352678218720->140352678219000 140352678218496 SelectBackward 140352678218496->140352678218720 140352678217936 0.4.0.module_list.9.weights (2) 140352678217936->140352678218496 140352678217712 SelectBackward 140352678217936->140352678217712 140352678218776->140352678219224 140352678218552 SigmoidBackward 140352678218552->140352678218776 140352678217712->140352678218552 140352678219056 0.4.0.module_list.9.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678219056->140352678219392 140352678219112 0.4.0.module_list.9.unit.unit.1.conv.bias (872) 140352678219112->140352678219392 140352678219448 0.4.0.module_list.9.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678219448->140352678219728 140352678219504 0.4.0.module_list.9.unit.unit.1.pointwise.bias (872) 140352678219504->140352678219728 140352678219672 0.4.0.module_list.9.unit.unit.2.weight (872) 140352678219672->140352678225120 140352678219616 0.4.0.module_list.9.unit.unit.2.bias (872) 140352678219616->140352678225120 140352678224672 SigmoidBackward 140352678224672->140352678225288 140352678219560->140352678224672 140352678225512 MulBackward0 140352678225512->140352678225736 140352678225344 CudnnBatchNormBackward 140352678225344->140352678225512 140352678216704 MulBackward0 140352678225344->140352678216704 140352678218832 CudnnConvolutionBackward 140352678218832->140352678225344 140352678218104 ThnnConvDepthwise2DBackward 140352678218104->140352678218832 140352678217376->140352678218104 140352678216928 0.4.0.module_list.27.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678216928->140352678218104 140352678216984 0.4.0.module_list.27.unit.unit.1.conv.bias (872) 140352678216984->140352678218104 140352678217600 0.4.0.module_list.27.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678217600->140352678218832 140352678217152 0.4.0.module_list.27.unit.unit.1.pointwise.bias (872) 140352678217152->140352678218832 140352678218944 0.4.0.module_list.27.unit.unit.2.weight (872) 140352678218944->140352678225344 140352678219168 0.4.0.module_list.27.unit.unit.2.bias (872) 140352678219168->140352678225344 140352678224168 SigmoidBackward 140352678224168->140352678225512 140352678218216->140352678224168 140352678226688 0.4.0.module_list.28.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678226688->140352677893568 140352678226128 0.4.0.module_list.28.unit.unit.1.conv.bias (872) 140352678226128->140352677893568 140352677892224 0.4.0.module_list.28.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352677892224->140352677894016 140352678227808 0.4.0.module_list.28.unit.unit.1.pointwise.bias (872) 140352678227808->140352677894016 140352677893904 0.4.0.module_list.28.unit.unit.2.weight (872) 140352677893904->140352677894464 140352677893232 0.4.0.module_list.28.unit.unit.2.bias (872) 140352677893232->140352677894464 140352677894632 CudnnBatchNormBackward 140352677894632->140352677894800 140352677894128 CudnnConvolutionBackward 140352677894128->140352677894632 140352678225680 ThnnConvDepthwise2DBackward 140352678225680->140352677894128 140352678216816 ThresholdBackward0 140352678216816->140352678225680 140352678216536 AddBackward0 140352678216536->140352678216816 140352678216648 AddBackward0 140352678216648->140352678216536 140352678216424 AddBackward0 140352678216424->140352678216648 140352678216256 AddBackward0 140352678216256->140352678216424 140352678215864 MulBackward0 140352678215864->140352678216256 140352678216032 CudnnBatchNormBackward 140352678216032->140352678215864 140352678181408 MulBackward0 140352678216032->140352678181408 140352678166368 ThresholdBackward0 140352678216032->140352678166368 140352678211480 CudnnConvolutionBackward 140352678211480->140352678216032 140352678211312 ThnnConvDepthwise2DBackward 140352678211312->140352678211480 140352678210808->140352678211312 140352678210864 0.4.0.module_list.11.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678210864->140352678211312 140352678210920 0.4.0.module_list.11.unit.unit.1.conv.bias (872) 140352678210920->140352678211312 140352678211368 0.4.0.module_list.11.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678211368->140352678211480 140352678211424 0.4.0.module_list.11.unit.unit.1.pointwise.bias (872) 140352678211424->140352678211480 140352678211536 0.4.0.module_list.11.unit.unit.2.weight (872) 140352678211536->140352678216032 140352678211200 0.4.0.module_list.11.unit.unit.2.bias (872) 140352678211200->140352678216032 140352678215752 SigmoidBackward 140352678215752->140352678215864 140352678211256 SelectBackward 140352678211256->140352678215752 140352678211088 0.4.0.module_list.29.weights (5) 140352678211088->140352678211256 140352678210640 SelectBackward 140352678211088->140352678210640 140352678209968 SelectBackward 140352678211088->140352678209968 140352678208512 SelectBackward 140352678211088->140352678208512 140352678203064 SelectBackward 140352678211088->140352678203064 140352678215920 MulBackward0 140352678215920->140352678216256 140352678215808 CudnnBatchNormBackward 140352678215808->140352678215920 140352678203344 MulBackward0 140352678215808->140352678203344 140352678201888 MulBackward0 140352678215808->140352678201888 140352678180680 MulBackward0 140352678215808->140352678180680 140352678167776 ThresholdBackward0 140352678215808->140352678167776 140352678210976 CudnnConvolutionBackward 140352678210976->140352678215808 140352678210696 ThnnConvDepthwise2DBackward 140352678210696->140352678210976 140352678210192->140352678210696 140352678210248 0.4.0.module_list.12.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678210248->140352678210696 140352678210304 0.4.0.module_list.12.unit.unit.1.conv.bias (872) 140352678210304->140352678210696 140352678210472 0.4.0.module_list.12.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678210472->140352678210976 140352678210528 0.4.0.module_list.12.unit.unit.1.pointwise.bias (872) 140352678210528->140352678210976 140352678211144 0.4.0.module_list.12.unit.unit.2.weight (872) 140352678211144->140352678215808 140352678210584 0.4.0.module_list.12.unit.unit.2.bias (872) 140352678210584->140352678215808 140352678210752 SigmoidBackward 140352678210752->140352678215920 140352678210640->140352678210752 140352678216088 MulBackward0 140352678216088->140352678216424 140352678215976 CudnnBatchNormBackward 140352678215976->140352678216088 140352678181240 MulBackward0 140352678215976->140352678181240 140352678209912 CudnnConvolutionBackward 140352678209912->140352678215976 140352678210024 ThnnConvDepthwise2DBackward 140352678210024->140352678209912 140352678209632 ThresholdBackward0 140352678209632->140352678210024 140352678209408 AddBackward0 140352678209408->140352678209632 140352678209520 MulBackward0 140352678209520->140352678209408 140352678209296 CudnnBatchNormBackward 140352678209296->140352678209520 140352678200656 MulBackward0 140352678209296->140352678200656 140352678199424 MulBackward0 140352678209296->140352678199424 140352678170576 MulBackward0 140352678209296->140352678170576 140352678209128 CudnnConvolutionBackward 140352678209128->140352678209296 140352678208960 ThnnConvDepthwise2DBackward 140352678208960->140352678209128 140352678208568->140352678208960 140352678208624 0.4.0.module_list.8.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678208624->140352678208960 140352678208400 0.4.0.module_list.8.unit.unit.1.conv.bias (872) 140352678208400->140352678208960 140352678209016 0.4.0.module_list.8.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678209016->140352678209128 140352678208680 0.4.0.module_list.8.unit.unit.1.pointwise.bias (872) 140352678208680->140352678209128 140352678208792 0.4.0.module_list.8.unit.unit.2.weight (872) 140352678208792->140352678209296 140352678208848 0.4.0.module_list.8.unit.unit.2.bias (872) 140352678208848->140352678209296 140352678209352 SigmoidBackward 140352678209352->140352678209520 140352678208904 SelectBackward 140352678208904->140352678209352 140352678208288 0.4.0.module_list.16.weights (2) 140352678208288->140352678208904 140352678208232 SelectBackward 140352678208288->140352678208232 140352678209184 MulBackward0 140352678209184->140352678209408 140352678209072 CudnnBatchNormBackward 140352678209072->140352678209184 140352678181184 MulBackward0 140352678209072->140352678181184 140352678157784 MulBackward0 140352678209072->140352678157784 140352678208456 CudnnConvolutionBackward 140352678208456->140352678209072 140352678207840 ThnnConvDepthwise2DBackward 140352678207840->140352678208456 140352678208120 ThresholdBackward0 140352678208120->140352678207840 140352678207784 AddBackward0 140352678207784->140352678208120 140352678203344->140352678207784 140352678203120 SigmoidBackward 140352678203120->140352678203344 140352678203008 SelectBackward 140352678203008->140352678203120 140352678202840 0.4.0.module_list.14.weights (2) 140352678202840->140352678203008 140352678202672 SelectBackward 140352678202840->140352678202672 140352678203288 MulBackward0 140352678203288->140352678207784 140352678203176 CudnnBatchNormBackward 140352678203176->140352678203288 140352678157504 MulBackward0 140352678203176->140352678157504 140352678202952 CudnnConvolutionBackward 140352678202952->140352678203176 140352678202728 ThnnConvDepthwise2DBackward 140352678202728->140352678202952 140352678202336 ThresholdBackward0 140352678202336->140352678202728 140352678202112 AddBackward0 140352678202112->140352678202336 140352678202224 AddBackward0 140352678202224->140352678202112 140352678201664->140352678202224 140352678201832 SigmoidBackward 140352678201832->140352678201664 140352678201552 SelectBackward 140352678201552->140352678201832 140352678201160 0.4.0.module_list.13.weights (3) 140352678201160->140352678201552 140352678201440 SelectBackward 140352678201160->140352678201440 140352678201104 SelectBackward 140352678201160->140352678201104 140352678201720 MulBackward0 140352678201720->140352678202224 140352678201496 CudnnBatchNormBackward 140352678201496->140352678201720 140352678163960 ThresholdBackward0 140352678201496->140352678163960 140352678201272 CudnnConvolutionBackward 140352678201272->140352678201496 140352678200936 ThnnConvDepthwise2DBackward 140352678200936->140352678201272 140352678200712 ThresholdBackward0 140352678200712->140352678200936 140352678200488 AddBackward0 140352678200488->140352678200712 140352678200600 MulBackward0 140352678200600->140352678200488 140352678200376 CudnnBatchNormBackward 140352678200376->140352678200600 140352678182752 MulBackward0 140352678200376->140352678182752 140352678170016 MulBackward0 140352678200376->140352678170016 140352678165080 MulBackward0 140352678200376->140352678165080 140352678157336 MulBackward0 140352678200376->140352678157336 140352678200152 CudnnConvolutionBackward 140352678200152->140352678200376 140352678199928 ThnnConvDepthwise2DBackward 140352678199928->140352678200152 140352678199704->140352678199928 140352678199760 0.4.0.module_list.7.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678199760->140352678199928 140352678199816 0.4.0.module_list.7.unit.unit.1.conv.bias (872) 140352678199816->140352678199928 140352678199984 0.4.0.module_list.7.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678199984->140352678200152 140352678200040 0.4.0.module_list.7.unit.unit.1.pointwise.bias (872) 140352678200040->140352678200152 140352678200208 0.4.0.module_list.7.unit.unit.2.weight (872) 140352678200208->140352678200376 140352678200264 0.4.0.module_list.7.unit.unit.2.bias (872) 140352678200264->140352678200376 140352678200432 SigmoidBackward 140352678200432->140352678200600 140352678199872 SelectBackward 140352678199872->140352678200432 140352678199536 0.4.0.module_list.10.weights (2) 140352678199536->140352678199872 140352678199480 SelectBackward 140352678199536->140352678199480 140352678200656->140352678200488 140352678200096 SigmoidBackward 140352678200096->140352678200656 140352678199480->140352678200096 140352678200768 0.4.0.module_list.10.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678200768->140352678200936 140352678200824 0.4.0.module_list.10.unit.unit.1.conv.bias (872) 140352678200824->140352678200936 140352678200992 0.4.0.module_list.10.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678200992->140352678201272 140352678201048 0.4.0.module_list.10.unit.unit.1.pointwise.bias (872) 140352678201048->140352678201272 140352678201328 0.4.0.module_list.10.unit.unit.2.weight (872) 140352678201328->140352678201496 140352678201384 0.4.0.module_list.10.unit.unit.2.bias (872) 140352678201384->140352678201496 140352678201608 SigmoidBackward 140352678201608->140352678201720 140352678201440->140352678201608 140352678201888->140352678202112 140352678201776 SigmoidBackward 140352678201776->140352678201888 140352678201104->140352678201776 140352678202392 0.4.0.module_list.13.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678202392->140352678202728 140352678202000 0.4.0.module_list.13.unit.unit.1.conv.bias (872) 140352678202000->140352678202728 140352678202448 0.4.0.module_list.13.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678202448->140352678202952 140352678202504 0.4.0.module_list.13.unit.unit.1.pointwise.bias (872) 140352678202504->140352678202952 140352678202560 0.4.0.module_list.13.unit.unit.2.weight (872) 140352678202560->140352678203176 140352678202616 0.4.0.module_list.13.unit.unit.2.bias (872) 140352678202616->140352678203176 140352678202784 SigmoidBackward 140352678202784->140352678203288 140352678202672->140352678202784 140352678207616 0.4.0.module_list.14.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678207616->140352678207840 140352678207672 0.4.0.module_list.14.unit.unit.1.conv.bias (872) 140352678207672->140352678207840 140352678207896 0.4.0.module_list.14.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678207896->140352678208456 140352678207952 0.4.0.module_list.14.unit.unit.1.pointwise.bias (872) 140352678207952->140352678208456 140352678208344 0.4.0.module_list.14.unit.unit.2.weight (872) 140352678208344->140352678209072 140352678208176 0.4.0.module_list.14.unit.unit.2.bias (872) 140352678208176->140352678209072 140352678208736 SigmoidBackward 140352678208736->140352678209184 140352678208232->140352678208736 140352678209688 0.4.0.module_list.16.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678209688->140352678210024 140352678209744 0.4.0.module_list.16.unit.unit.1.conv.bias (872) 140352678209744->140352678210024 140352678210080 0.4.0.module_list.16.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678210080->140352678209912 140352678210136 0.4.0.module_list.16.unit.unit.1.pointwise.bias (872) 140352678210136->140352678209912 140352678209856 0.4.0.module_list.16.unit.unit.2.weight (872) 140352678209856->140352678215976 140352678210360 0.4.0.module_list.16.unit.unit.2.bias (872) 140352678210360->140352678215976 140352678211032 SigmoidBackward 140352678211032->140352678216088 140352678209968->140352678211032 140352678216480 MulBackward0 140352678216480->140352678216648 140352678216144 CudnnBatchNormBackward 140352678216144->140352678216480 140352678167272 MulBackward0 140352678216144->140352678167272 140352678209240 CudnnConvolutionBackward 140352678209240->140352678216144 140352678208064 ThnnConvDepthwise2DBackward 140352678208064->140352678209240 140352678202896 ThresholdBackward0 140352678202896->140352678208064 140352678202056 AddBackward0 140352678202056->140352678202896 140352678200320 AddBackward0 140352678200320->140352678202056 140352678199648 AddBackward0 140352678199648->140352678200320 140352678199368 AddBackward0 140352678199368->140352678199648 140352678182864->140352678199368 140352678182584 SigmoidBackward 140352678182584->140352678182864 140352678182416 SelectBackward 140352678182416->140352678182584 140352678182080 0.4.0.module_list.24.weights (5) 140352678182080->140352678182416 140352678182136 SelectBackward 140352678182080->140352678182136 140352678182192 SelectBackward 140352678182080->140352678182192 140352678182248 SelectBackward 140352678182080->140352678182248 140352678182024 SelectBackward 140352678182080->140352678182024 140352678182696->140352678199368 140352678182640 SigmoidBackward 140352678182640->140352678182696 140352678182136->140352678182640 140352678182752->140352678199648 140352678182528 SigmoidBackward 140352678182528->140352678182752 140352678182192->140352678182528 140352678199424->140352678200320 140352678182808 SigmoidBackward 140352678182808->140352678199424 140352678182248->140352678182808 140352678200544 MulBackward0 140352678200544->140352678202056 140352678199592 CudnnBatchNormBackward 140352678199592->140352678200544 140352678164856 MulBackward0 140352678199592->140352678164856 140352678182360 CudnnConvolutionBackward 140352678182360->140352678199592 140352678181688 ThnnConvDepthwise2DBackward 140352678181688->140352678182360 140352678181520 ThresholdBackward0 140352678181520->140352678181688 140352678181464 AddBackward0 140352678181464->140352678181520 140352678181352 AddBackward0 140352678181352->140352678181464 140352678181184->140352678181352 140352678180960 SigmoidBackward 140352678180960->140352678181184 140352678180736 SelectBackward 140352678180736->140352678180960 140352678180848 0.4.0.module_list.21.weights (3) 140352678180848->140352678180736 140352678180624 SelectBackward 140352678180848->140352678180624 140352678180456 SelectBackward 140352678180848->140352678180456 140352678181240->140352678181352 140352678181016 SigmoidBackward 140352678181016->140352678181240 140352678180624->140352678181016 140352678181072 MulBackward0 140352678181072->140352678181464 140352678180904 CudnnBatchNormBackward 140352678180904->140352678181072 140352678179168 MulBackward0 140352678180904->140352678179168 140352678180512 CudnnConvolutionBackward 140352678180512->140352678180904 140352678180288 ThnnConvDepthwise2DBackward 140352678180288->140352678180512 140352678180232->140352678180288 140352678179728 0.4.0.module_list.20.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678179728->140352678180288 140352678179840 0.4.0.module_list.20.unit.unit.1.conv.bias (872) 140352678179840->140352678180288 140352678180064 0.4.0.module_list.20.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678180064->140352678180512 140352678180120 0.4.0.module_list.20.unit.unit.1.pointwise.bias (872) 140352678180120->140352678180512 140352678180568 0.4.0.module_list.20.unit.unit.2.weight (872) 140352678180568->140352678180904 140352678180400 0.4.0.module_list.20.unit.unit.2.bias (872) 140352678180400->140352678180904 140352678180792 SigmoidBackward 140352678180792->140352678181072 140352678180456->140352678180792 140352678181576 0.4.0.module_list.21.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678181576->140352678181688 140352678181632 0.4.0.module_list.21.unit.unit.1.conv.bias (872) 140352678181632->140352678181688 140352678181744 0.4.0.module_list.21.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678181744->140352678182360 140352678181800 0.4.0.module_list.21.unit.unit.1.pointwise.bias (872) 140352678181800->140352678182360 140352678181912 0.4.0.module_list.21.unit.unit.2.weight (872) 140352678181912->140352678199592 140352678181968 0.4.0.module_list.21.unit.unit.2.bias (872) 140352678181968->140352678199592 140352678182472 SigmoidBackward 140352678182472->140352678200544 140352678182024->140352678182472 140352678202280 0.4.0.module_list.24.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678202280->140352678208064 140352678201944 0.4.0.module_list.24.unit.unit.1.conv.bias (872) 140352678201944->140352678208064 140352678207560 0.4.0.module_list.24.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678207560->140352678209240 140352678207728 0.4.0.module_list.24.unit.unit.1.pointwise.bias (872) 140352678207728->140352678209240 140352678209464 0.4.0.module_list.24.unit.unit.2.weight (872) 140352678209464->140352678216144 140352678209800 0.4.0.module_list.24.unit.unit.2.bias (872) 140352678209800->140352678216144 140352678210416 SigmoidBackward 140352678210416->140352678216480 140352678208512->140352678210416 140352678216704->140352678216536 140352678216200 SigmoidBackward 140352678216200->140352678216704 140352678203064->140352678216200 140352678216760 0.4.0.module_list.29.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678216760->140352678225680 140352678217040 0.4.0.module_list.29.unit.unit.1.conv.bias (872) 140352678217040->140352678225680 140352678225792 0.4.0.module_list.29.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678225792->140352677894128 140352678219280 0.4.0.module_list.29.unit.unit.1.pointwise.bias (872) 140352678219280->140352677894128 140352677893400 0.4.0.module_list.29.unit.unit.2.weight (872) 140352677893400->140352677894632 140352678226184 0.4.0.module_list.29.unit.unit.2.bias (872) 140352678226184->140352677894632 140352677894856 CudnnBatchNormBackward 140352677894856->140352677895024 140352677894352 CudnnConvolutionBackward 140352677894352->140352677894856 140352678216592 ThnnConvDepthwise2DBackward 140352678216592->140352677894352 140352678201216 ThresholdBackward0 140352678201216->140352678216592 140352678181128 AddBackward0 140352678181128->140352678201216 140352678181408->140352678181128 140352678180008 SigmoidBackward 140352678180008->140352678181408 140352678179896 SelectBackward 140352678179896->140352678180008 140352678179560 0.4.0.module_list.30.weights (2) 140352678179560->140352678179896 140352678179616 SelectBackward 140352678179560->140352678179616 140352678180680->140352678181128 140352678179952 SigmoidBackward 140352678179952->140352678180680 140352678179616->140352678179952 140352678202168 0.4.0.module_list.30.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678202168->140352678216592 140352678182304 0.4.0.module_list.30.unit.unit.1.conv.bias (872) 140352678182304->140352678216592 140352678216872 0.4.0.module_list.30.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678216872->140352677894352 140352678209576 0.4.0.module_list.30.unit.unit.1.pointwise.bias (872) 140352678209576->140352677894352 140352678225568 0.4.0.module_list.30.unit.unit.2.weight (872) 140352678225568->140352677894856 140352678217096 0.4.0.module_list.30.unit.unit.2.bias (872) 140352678217096->140352677894856 140352677894688 CudnnBatchNormBackward 140352677894688->140352677895192 140352677894520 CudnnConvolutionBackward 140352677894520->140352677894688 140352678181296 ThnnConvDepthwise2DBackward 140352678181296->140352677894520 140352678179280 ThresholdBackward0 140352678179280->140352678181296 140352678179000 AddBackward0 140352678179000->140352678179280 140352678179112 AddBackward0 140352678179112->140352678179000 140352678178888 AddBackward0 140352678178888->140352678179112 140352678170520 AddBackward0 140352678170520->140352678178888 140352678170408 AddBackward0 140352678170408->140352678170520 140352678170128->140352678170408 140352678170296 SigmoidBackward 140352678170296->140352678170128 140352678169960 SelectBackward 140352678169960->140352678170296 140352678169792 0.4.0.module_list.31.weights (6) 140352678169792->140352678169960 140352678169848 SelectBackward 140352678169792->140352678169848 140352678169568 SelectBackward 140352678169792->140352678169568 140352678169624 SelectBackward 140352678169792->140352678169624 140352678169120 SelectBackward 140352678169792->140352678169120 140352678169344 SelectBackward 140352678169792->140352678169344 140352678170184->140352678170408 140352678169904 SigmoidBackward 140352678169904->140352678170184 140352678169848->140352678169904 140352678170016->140352678170520 140352678170240 SigmoidBackward 140352678170240->140352678170016 140352678169568->140352678170240 140352678170576->140352678178888 140352678170072 SigmoidBackward 140352678170072->140352678170576 140352678169624->140352678170072 140352678178944 MulBackward0 140352678178944->140352678179112 140352678170352 CudnnBatchNormBackward 140352678170352->140352678178944 140352678169400 CudnnConvolutionBackward 140352678169400->140352678170352 140352678169176 ThnnConvDepthwise2DBackward 140352678169176->140352678169400 140352678169008 ThresholdBackward0 140352678169008->140352678169176 140352678168784 AddBackward0 140352678168784->140352678169008 140352678168616->140352678168784 140352678168448 SigmoidBackward 140352678168448->140352678168616 140352678168560 SelectBackward 140352678168560->140352678168448 140352678168336 0.4.0.module_list.19.weights (2) 140352678168336->140352678168560 140352678168000 SelectBackward 140352678168336->140352678168000 140352678168672 MulBackward0 140352678168672->140352678168784 140352678168504 CudnnBatchNormBackward 140352678168504->140352678168672 140352678168112 CudnnConvolutionBackward 140352678168112->140352678168504 140352678168056 ThnnConvDepthwise2DBackward 140352678168056->140352678168112 140352678167776->140352678168056 140352678167832 0.4.0.module_list.17.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678167832->140352678168056 140352678167608 0.4.0.module_list.17.unit.unit.1.conv.bias (872) 140352678167608->140352678168056 140352678167888 0.4.0.module_list.17.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678167888->140352678168112 140352678167944 0.4.0.module_list.17.unit.unit.1.pointwise.bias (872) 140352678167944->140352678168112 140352678168168 0.4.0.module_list.17.unit.unit.2.weight (872) 140352678168168->140352678168504 140352678168224 0.4.0.module_list.17.unit.unit.2.bias (872) 140352678168224->140352678168504 140352678168280 SigmoidBackward 140352678168280->140352678168672 140352678168000->140352678168280 140352678169064 0.4.0.module_list.19.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678169064->140352678169176 140352678168896 0.4.0.module_list.19.unit.unit.1.conv.bias (872) 140352678168896->140352678169176 140352678169232 0.4.0.module_list.19.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678169232->140352678169400 140352678169288 0.4.0.module_list.19.unit.unit.1.pointwise.bias (872) 140352678169288->140352678169400 140352678169456 0.4.0.module_list.19.unit.unit.2.weight (872) 140352678169456->140352678170352 140352678169512 0.4.0.module_list.19.unit.unit.2.bias (872) 140352678169512->140352678170352 140352678169736 SigmoidBackward 140352678169736->140352678178944 140352678169120->140352678169736 140352678179168->140352678179000 140352678170464 SigmoidBackward 140352678170464->140352678179168 140352678169344->140352678170464 140352678179336 0.4.0.module_list.31.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678179336->140352678181296 140352678179392 0.4.0.module_list.31.unit.unit.1.conv.bias (872) 140352678179392->140352678181296 140352678181856 0.4.0.module_list.31.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678181856->140352677894520 140352678179504 0.4.0.module_list.31.unit.unit.1.pointwise.bias (872) 140352678179504->140352677894520 140352678216368 0.4.0.module_list.31.unit.unit.2.weight (872) 140352678216368->140352677894688 140352678200880 0.4.0.module_list.31.unit.unit.2.bias (872) 140352678200880->140352677894688 140352677894912 CudnnBatchNormBackward 140352677894912->140352677895080 140352677894744 CudnnConvolutionBackward 140352677894744->140352677894912 140352678179056 ThnnConvDepthwise2DBackward 140352678179056->140352677894744 140352678168840 ThresholdBackward0 140352678168840->140352678179056 140352678167552 AddBackward0 140352678167552->140352678168840 140352678167440 AddBackward0 140352678167440->140352678167552 140352678167216 AddBackward0 140352678167216->140352678167440 140352678167160 MulBackward0 140352678167160->140352678167216 140352678166880 CudnnBatchNormBackward 140352678166880->140352678167160 140352678166824 CudnnConvolutionBackward 140352678166824->140352678166880 140352678166480 ThnnConvDepthwise2DBackward 140352678166480->140352678166824 140352678166368->140352678166480 140352678166424 0.4.0.module_list.18.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678166424->140352678166480 140352678165864 0.4.0.module_list.18.unit.unit.1.conv.bias (872) 140352678165864->140352678166480 140352678166200 0.4.0.module_list.18.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678166200->140352678166824 140352678166256 0.4.0.module_list.18.unit.unit.1.pointwise.bias (872) 140352678166256->140352678166824 140352678166600 0.4.0.module_list.18.unit.unit.2.weight (872) 140352678166600->140352678166880 140352678166656 0.4.0.module_list.18.unit.unit.2.bias (872) 140352678166656->140352678166880 140352678166936 SigmoidBackward 140352678166936->140352678167160 140352678166712 SelectBackward 140352678166712->140352678166936 140352678166032 0.4.0.module_list.32.weights (4) 140352678166032->140352678166712 140352678165752 SelectBackward 140352678166032->140352678165752 140352678165640 SelectBackward 140352678166032->140352678165640 140352678163904 SelectBackward 140352678166032->140352678163904 140352678166992 MulBackward0 140352678166992->140352678167216 140352678166768 CudnnBatchNormBackward 140352678166768->140352678166992 140352678165920 CudnnConvolutionBackward 140352678165920->140352678166768 140352678165808 ThnnConvDepthwise2DBackward 140352678165808->140352678165920 140352678165472 ThresholdBackward0 140352678165472->140352678165808 140352678165360 AddBackward0 140352678165360->140352678165472 140352678165136 AddBackward0 140352678165136->140352678165360 140352678165080->140352678165136 140352678164968 SigmoidBackward 140352678164968->140352678165080 140352678164632 SelectBackward 140352678164632->140352678164968 140352678164744 0.4.0.module_list.23.weights (3) 140352678164744->140352678164632 140352678164408 SelectBackward 140352678164744->140352678164408 140352678164072 SelectBackward 140352678164744->140352678164072 140352678164856->140352678165136 140352678164576 SigmoidBackward 140352678164576->140352678164856 140352678164408->140352678164576 140352678165192 MulBackward0 140352678165192->140352678165360 140352678164912 CudnnBatchNormBackward 140352678164912->140352678165192 140352678164520 CudnnConvolutionBackward 140352678164520->140352678164912 140352678164128 ThnnConvDepthwise2DBackward 140352678164128->140352678164520 140352678163960->140352678164128 140352678164016 0.4.0.module_list.22.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678164016->140352678164128 140352678163792 0.4.0.module_list.22.unit.unit.1.conv.bias (872) 140352678163792->140352678164128 140352678164184 0.4.0.module_list.22.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678164184->140352678164520 140352678164240 0.4.0.module_list.22.unit.unit.1.pointwise.bias (872) 140352678164240->140352678164520 140352678164296 0.4.0.module_list.22.unit.unit.2.weight (872) 140352678164296->140352678164912 140352678164352 0.4.0.module_list.22.unit.unit.2.bias (872) 140352678164352->140352678164912 140352678164688 SigmoidBackward 140352678164688->140352678165192 140352678164072->140352678164688 140352678165528 0.4.0.module_list.23.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678165528->140352678165808 140352678165248 0.4.0.module_list.23.unit.unit.1.conv.bias (872) 140352678165248->140352678165808 140352678165696 0.4.0.module_list.23.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678165696->140352678165920 140352678165584 0.4.0.module_list.23.unit.unit.1.pointwise.bias (872) 140352678165584->140352678165920 140352678166088 0.4.0.module_list.23.unit.unit.2.weight (872) 140352678166088->140352678166768 140352678166144 0.4.0.module_list.23.unit.unit.2.bias (872) 140352678166144->140352678166768 140352678166312 SigmoidBackward 140352678166312->140352678166992 140352678165752->140352678166312 140352678167272->140352678167440 140352678167048 SigmoidBackward 140352678167048->140352678167272 140352678165640->140352678167048 140352678167328 MulBackward0 140352678167328->140352678167552 140352678167104 CudnnBatchNormBackward 140352678167104->140352678167328 140352678165416 CudnnConvolutionBackward 140352678165416->140352678167104 140352678163680 ThnnConvDepthwise2DBackward 140352678163680->140352678165416 140352678163512 ThresholdBackward0 140352678163512->140352678163680 140352678163456 AddBackward0 140352678163456->140352678163512 140352678163176->140352678163456 140352678162952 SigmoidBackward 140352678162952->140352678163176 140352678163064 SelectBackward 140352678163064->140352678162952 140352678162840 0.4.0.module_list.25.weights (2) 140352678162840->140352678163064 140352678162560 SelectBackward 140352678162840->140352678162560 140352678163232 MulBackward0 140352678163232->140352678163456 140352678163008 CudnnBatchNormBackward 140352678163008->140352678163232 140352678162672 CudnnConvolutionBackward 140352678162672->140352678163008 140352678162616 ThnnConvDepthwise2DBackward 140352678162616->140352678162672 140352678158120 ThresholdBackward0 140352678158120->140352678162616 140352678157616 AddBackward0 140352678157616->140352678158120 140352678157728 AddBackward0 140352678157728->140352678157616 140352678157896 AddBackward0 140352678157896->140352678157728 140352678157280 AddBackward0 140352678157280->140352678157896 140352678157448->140352678157280 140352678157056 SigmoidBackward 140352678157056->140352678157448 140352678156944 SelectBackward 140352678156944->140352678157056 140352678156776 0.4.0.module_list.15.weights (5) 140352678156776->140352678156944 140352678156832 SelectBackward 140352678156776->140352678156832 140352678156888 SelectBackward 140352678156776->140352678156888 140352678156664 SelectBackward 140352678156776->140352678156664 140352678156720 SelectBackward 140352678156776->140352678156720 140352678157168->140352678157280 140352678157112 SigmoidBackward 140352678157112->140352678157168 140352678156832->140352678157112 140352678157336->140352678157896 140352678157224 SigmoidBackward 140352678157224->140352678157336 140352678156888->140352678157224 140352678157504->140352678157728 140352678157392 SigmoidBackward 140352678157392->140352678157504 140352678156664->140352678157392 140352678157784->140352678157616 140352678157560 SigmoidBackward 140352678157560->140352678157784 140352678156720->140352678157560 140352678158176 0.4.0.module_list.15.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678158176->140352678162616 140352678157952 0.4.0.module_list.15.unit.unit.1.conv.bias (872) 140352678157952->140352678162616 140352678158232 0.4.0.module_list.15.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678158232->140352678162672 140352678158288 0.4.0.module_list.15.unit.unit.1.pointwise.bias (872) 140352678158288->140352678162672 140352678162728 0.4.0.module_list.15.unit.unit.2.weight (872) 140352678162728->140352678163008 140352678162504 0.4.0.module_list.15.unit.unit.2.bias (872) 140352678162504->140352678163008 140352678162784 SigmoidBackward 140352678162784->140352678163232 140352678162560->140352678162784 140352678163568 0.4.0.module_list.25.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678163568->140352678163680 140352678163344 0.4.0.module_list.25.unit.unit.1.conv.bias (872) 140352678163344->140352678163680 140352678163624 0.4.0.module_list.25.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678163624->140352678165416 140352678163848 0.4.0.module_list.25.unit.unit.1.pointwise.bias (872) 140352678163848->140352678165416 140352678165304 0.4.0.module_list.25.unit.unit.2.weight (872) 140352678165304->140352678167104 140352678164464 0.4.0.module_list.25.unit.unit.2.bias (872) 140352678164464->140352678167104 140352678165976 SigmoidBackward 140352678165976->140352678167328 140352678163904->140352678165976 140352678168952 0.4.0.module_list.32.unit.unit.1.conv.weight (872, 1, 3, 3) 140352678168952->140352678179056 140352678168392 0.4.0.module_list.32.unit.unit.1.conv.bias (872) 140352678168392->140352678179056 140352678179448 0.4.0.module_list.32.unit.unit.1.pointwise.weight (872, 872, 1, 1) 140352678179448->140352677894744 140352678169680 0.4.0.module_list.32.unit.unit.1.pointwise.bias (872) 140352678169680->140352677894744 140352678180176 0.4.0.module_list.32.unit.unit.2.weight (872) 140352678180176->140352677894912 140352678179672 0.4.0.module_list.32.unit.unit.2.bias (872) 140352678179672->140352677894912 140352677895360 0.5.0.weight (1280, 872, 1, 1) 140352677895360->140352677895584 140352677895416 0.5.0.bias (1280) 140352677895416->140352677895584 140352677895640 0.5.1.weight (1280) 140352677895640->140352677896088 140352677895696 0.5.1.bias (1280) 140352677895696->140352677896088 140352677895976->140352677895808 140352677900360 1.2.weight (2560) 140352677900360->140352677900416 140352677896144 1.2.bias (2560) 140352677896144->140352677900416 140352677900472 TBackward 140352677900472->140352677900640 140352678179224 1.4.weight (512, 2560) 140352678179224->140352677900472 140352677901032 1.6.weight (512) 140352677901032->140352677901312 140352677900808 1.6.bias (512) 140352677900808->140352677901312 140352677901368 TBackward 140352677901368->140352677901200 140352677900864 1.8.weight (1103, 512) 140352677900864->140352677901368
In [23]:
x = torch.randn(2,3,64,64).half().cuda()
make_dot(learn.model[0][0:2](x), params=dict(learn.model[0][0:2].named_parameters()))
Out[23]:
%3 140352678154592 DivBackward0 140352678154536 AddBackward0 140352678154536->140352678154592 140352678154424 CudnnBatchNormBackward 140352678154424->140352678154536 140352678154192 CudnnConvolutionBackward 140352678154192->140352678154424 140352678154080 ThnnConvDepthwise2DBackward 140352678154080->140352678154192 140352678153856 ThresholdBackward0 140352678153856->140352678154080 140352678153968 AddBackward0 140352678153968->140352678153856 140352678153688 AddBackward0 140352678153688->140352678153968 140352678153408 AddBackward0 140352678153408->140352678153688 140352678153576 MulBackward0 140352678153576->140352678153408 140352678153128 CudnnBatchNormBackward 140352678153128->140352678153576 140352678150832 MulBackward0 140352678153128->140352678150832 140352678140504 MulBackward0 140352678153128->140352678140504 140352678153296 CudnnConvolutionBackward 140352678153296->140352678153128 140352678152904 ThnnConvDepthwise2DBackward 140352678152904->140352678153296 140352678152680 ThresholdBackward0 140352678152680->140352678152904 140352678152792 AddBackward0 140352678152792->140352678152680 140352678152512 MulBackward0 140352678152512->140352678152792 140352678152232 CudnnBatchNormBackward 140352678152232->140352678152512 140352678150608 MulBackward0 140352678152232->140352678150608 140352678152400 CudnnConvolutionBackward 140352678152400->140352678152232 140352678152176 ThnnConvDepthwise2DBackward 140352678152176->140352678152400 140352678151952 ThresholdBackward0 140352678151952->140352678152176 140352678152064 CudnnBatchNormBackward 140352678152064->140352678151952 140352678150720 ThresholdBackward0 140352678152064->140352678150720 140352678137984 ThresholdBackward0 140352678152064->140352678137984 140352678151784 CudnnConvolutionBackward 140352678151784->140352678152064 140352678151504 ThnnConvDepthwise2DBackward 140352678151504->140352678151784 140352678151616 ThresholdBackward0 140352678151616->140352678151504 140352678151392 CudnnBatchNormBackward 140352678151392->140352678151616 140352678151280 CudnnConvolutionBackward 140352678151280->140352678151392 140352677845760 0.0.weight (54, 3, 3, 3) 140352677845760->140352678151280 140352677845816 0.0.bias (54) 140352677845816->140352678151280 140352677845592 0.1.weight (54) 140352677845592->140352678151392 140352677845648 0.1.bias (54) 140352677845648->140352678151392 140352677846264 1.0.module_list.0.unit.unit.1.conv.weight (54, 1, 3, 3) 140352677846264->140352678151504 140352677845984 1.0.module_list.0.unit.unit.1.conv.bias (54) 140352677845984->140352678151504 140352677846432 1.0.module_list.0.unit.unit.1.pointwise.weight (109, 54, 1, 1) 140352677846432->140352678151784 140352677846488 1.0.module_list.0.unit.unit.1.pointwise.bias (109) 140352677846488->140352678151784 140352677846544 1.0.module_list.0.unit.unit.2.weight (109) 140352677846544->140352678152064 140352677846600 1.0.module_list.0.unit.unit.2.bias (109) 140352677846600->140352678152064 140352677846936 1.0.module_list.4.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677846936->140352678152176 140352677846768 1.0.module_list.4.unit.unit.1.conv.bias (109) 140352677846768->140352678152176 140352677875896 1.0.module_list.4.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677875896->140352678152400 140352677875952 1.0.module_list.4.unit.unit.1.pointwise.bias (109) 140352677875952->140352678152400 140352677876120 1.0.module_list.4.unit.unit.2.weight (109) 140352677876120->140352678152232 140352677876176 1.0.module_list.4.unit.unit.2.bias (109) 140352677876176->140352678152232 140352678152288 SigmoidBackward 140352678152288->140352678152512 140352678152120 SelectBackward 140352678152120->140352678152288 140352677846320 1.0.module_list.6.weights (2) 140352677846320->140352678152120 140352678152008 SelectBackward 140352677846320->140352678152008 140352678152568 MulBackward0 140352678152568->140352678152792 140352678152344 CudnnBatchNormBackward 140352678152344->140352678152568 140352678150440 MulBackward0 140352678152344->140352678150440 140352678151728 CudnnConvolutionBackward 140352678151728->140352678152344 140352678151560 ThnnConvDepthwise2DBackward 140352678151560->140352678151728 140352678151448 ThresholdBackward0 140352678151448->140352678151560 140352678151168 CudnnBatchNormBackward 140352678151168->140352678151448 140352678141736 ThresholdBackward0 140352678151168->140352678141736 140352678141568 ThresholdBackward0 140352678151168->140352678141568 140352678140448 MulBackward0 140352678151168->140352678140448 140352678139048 MulBackward0 140352678151168->140352678139048 140352678138096 ThresholdBackward0 140352678151168->140352678138096 140352678132760 MulBackward0 140352678151168->140352678132760 140352678151224 CudnnConvolutionBackward 140352678151224->140352678151168 140352678151112 ThnnConvDepthwise2DBackward 140352678151112->140352678151224 140352678150720->140352678151112 140352677844472 1.0.module_list.1.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677844472->140352678151112 140352677844528 1.0.module_list.1.unit.unit.1.conv.bias (109) 140352677844528->140352678151112 140352677844920 1.0.module_list.1.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677844920->140352678151224 140352677844640 1.0.module_list.1.unit.unit.1.pointwise.bias (109) 140352677844640->140352678151224 140352677845088 1.0.module_list.1.unit.unit.2.weight (109) 140352677845088->140352678151168 140352677844752 1.0.module_list.1.unit.unit.2.bias (109) 140352677844752->140352678151168 140352677845256 1.0.module_list.5.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677845256->140352678151560 140352677845312 1.0.module_list.5.unit.unit.1.conv.bias (109) 140352677845312->140352678151560 140352677845480 1.0.module_list.5.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677845480->140352678151728 140352677845368 1.0.module_list.5.unit.unit.1.pointwise.bias (109) 140352677845368->140352678151728 140352677846152 1.0.module_list.5.unit.unit.2.weight (109) 140352677846152->140352678152344 140352677845704 1.0.module_list.5.unit.unit.2.bias (109) 140352677845704->140352678152344 140352678151896 SigmoidBackward 140352678151896->140352678152568 140352678152008->140352678151896 140352677877072 1.0.module_list.6.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677877072->140352678152904 140352677876624 1.0.module_list.6.unit.unit.1.conv.bias (109) 140352677876624->140352678152904 140352677876848 1.0.module_list.6.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677876848->140352678153296 140352677876904 1.0.module_list.6.unit.unit.1.pointwise.bias (109) 140352677876904->140352678153296 140352677877240 1.0.module_list.6.unit.unit.2.weight (109) 140352677877240->140352678153128 140352677877296 1.0.module_list.6.unit.unit.2.bias (109) 140352677877296->140352678153128 140352678153184 SigmoidBackward 140352678153184->140352678153576 140352678152848 SelectBackward 140352678152848->140352678153184 140352677876400 1.0.module_list.15.weights (4) 140352677876400->140352678152848 140352678152736 SelectBackward 140352677876400->140352678152736 140352678150664 SelectBackward 140352677876400->140352678150664 140352678141400 SelectBackward 140352677876400->140352678141400 140352678153352 MulBackward0 140352678153352->140352678153408 140352678153240 CudnnBatchNormBackward 140352678153240->140352678153352 140352678152456 CudnnConvolutionBackward 140352678152456->140352678153240 140352678151840 ThnnConvDepthwise2DBackward 140352678151840->140352678152456 140352678151056 ThresholdBackward0 140352678151056->140352678151840 140352678151672 AddBackward0 140352678151672->140352678151056 140352678150888 AddBackward0 140352678150888->140352678151672 140352678150944 AddBackward0 140352678150944->140352678150888 140352678150552 MulBackward0 140352678150552->140352678150944 140352678150272 CudnnBatchNormBackward 140352678150272->140352678150552 140352678141176 ThresholdBackward0 140352678150272->140352678141176 140352678141904 CudnnConvolutionBackward 140352678141904->140352678150272 140352678141624 ThnnConvDepthwise2DBackward 140352678141624->140352678141904 140352678141736->140352678141624 140352677834536 1.0.module_list.2.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677834536->140352678141624 140352677834592 1.0.module_list.2.unit.unit.1.conv.bias (109) 140352677834592->140352678141624 140352677843184 1.0.module_list.2.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677843184->140352678141904 140352677843016 1.0.module_list.2.unit.unit.1.pointwise.bias (109) 140352677843016->140352678141904 140352677843352 1.0.module_list.2.unit.unit.2.weight (109) 140352677843352->140352678150272 140352677843408 1.0.module_list.2.unit.unit.2.bias (109) 140352677843408->140352678150272 140352678150328 SigmoidBackward 140352678150328->140352678150552 140352678141848 SelectBackward 140352678141848->140352678150328 140352677834368 1.0.module_list.7.weights (4) 140352677834368->140352678141848 140352678141512 SelectBackward 140352677834368->140352678141512 140352678141456 SelectBackward 140352677834368->140352678141456 140352678141792 SelectBackward 140352677834368->140352678141792 140352678150608->140352678150944 140352678150384 SigmoidBackward 140352678150384->140352678150608 140352678141512->140352678150384 140352678150440->140352678150888 140352678150216 SigmoidBackward 140352678150216->140352678150440 140352678141456->140352678150216 140352678150832->140352678151672 140352678150496 SigmoidBackward 140352678150496->140352678150832 140352678141792->140352678150496 140352677844584 1.0.module_list.7.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677844584->140352678151840 140352677844360 1.0.module_list.7.unit.unit.1.conv.bias (109) 140352677844360->140352678151840 140352677845144 1.0.module_list.7.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677845144->140352678152456 140352677844696 1.0.module_list.7.unit.unit.1.pointwise.bias (109) 140352677844696->140352678152456 140352677846656 1.0.module_list.7.unit.unit.2.weight (109) 140352677846656->140352678153240 140352677845536 1.0.module_list.7.unit.unit.2.bias (109) 140352677845536->140352678153240 140352678152960 SigmoidBackward 140352678152960->140352678153352 140352678152736->140352678152960 140352678153464 MulBackward0 140352678153464->140352678153688 140352678153072 CudnnBatchNormBackward 140352678153072->140352678153464 140352678138936 MulBackward0 140352678153072->140352678138936 140352678133544 MulBackward0 140352678153072->140352678133544 140352678150776 CudnnConvolutionBackward 140352678150776->140352678153072 140352678151000 ThnnConvDepthwise2DBackward 140352678151000->140352678150776 140352678141568->140352678151000 140352677833696 1.0.module_list.8.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833696->140352678151000 140352677833752 1.0.module_list.8.unit.unit.1.conv.bias (109) 140352677833752->140352678151000 140352677834200 1.0.module_list.8.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677834200->140352678150776 140352677834256 1.0.module_list.8.unit.unit.1.pointwise.bias (109) 140352677834256->140352678150776 140352677844024 1.0.module_list.8.unit.unit.2.weight (109) 140352677844024->140352678153072 140352677844136 1.0.module_list.8.unit.unit.2.bias (109) 140352677844136->140352678153072 140352678152624 SigmoidBackward 140352678152624->140352678153464 140352678150664->140352678152624 140352678153744 MulBackward0 140352678153744->140352678153968 140352678153520 CudnnBatchNormBackward 140352678153520->140352678153744 140352678141232 MulBackward0 140352678153520->140352678141232 140352678141064 CudnnConvolutionBackward 140352678141064->140352678153520 140352678141344 ThnnConvDepthwise2DBackward 140352678141344->140352678141064 140352678141176->140352678141344 140352677833248 1.0.module_list.14.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833248->140352678141344 140352677833304 1.0.module_list.14.unit.unit.1.conv.bias (109) 140352677833304->140352678141344 140352677833640 1.0.module_list.14.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677833640->140352678141064 140352677833416 1.0.module_list.14.unit.unit.1.pointwise.bias (109) 140352677833416->140352678141064 140352677833864 1.0.module_list.14.unit.unit.2.weight (109) 140352677833864->140352678153520 140352677833808 1.0.module_list.14.unit.unit.2.bias (109) 140352677833808->140352678153520 140352678151336 SigmoidBackward 140352678151336->140352678153744 140352678141400->140352678151336 140352677878136 1.0.module_list.15.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677878136->140352678154080 140352677878192 1.0.module_list.15.unit.unit.1.conv.bias (109) 140352677878192->140352678154080 140352677878640 1.0.module_list.15.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677878640->140352678154192 140352677878416 1.0.module_list.15.unit.unit.1.pointwise.bias (109) 140352677878416->140352678154192 140352677878752 1.0.module_list.15.unit.unit.2.weight (109) 140352677878752->140352678154424 140352677878808 1.0.module_list.15.unit.unit.2.bias (109) 140352677878808->140352678154424 140352678154480 CudnnBatchNormBackward 140352678154480->140352678154536 140352678154024 CudnnConvolutionBackward 140352678154024->140352678154480 140352678153800 ThnnConvDepthwise2DBackward 140352678153800->140352678154024 140352678153912 ThresholdBackward0 140352678153912->140352678153800 140352678141120 AddBackward0 140352678141120->140352678153912 140352678141288 AddBackward0 140352678141288->140352678141120 140352678140952 AddBackward0 140352678140952->140352678141288 140352678140672 AddBackward0 140352678140672->140352678140952 140352678140448->140352678140672 140352678140616 SigmoidBackward 140352678140616->140352678140448 140352678140224 SelectBackward 140352678140224->140352678140616 140352677832184 1.0.module_list.16.weights (5) 140352677832184->140352678140224 140352678140336 SelectBackward 140352677832184->140352678140336 140352678139944 SelectBackward 140352677832184->140352678139944 140352678139608 SelectBackward 140352677832184->140352678139608 140352678138376 SelectBackward 140352677832184->140352678138376 140352678140504->140352678140672 140352678140112 SigmoidBackward 140352678140112->140352678140504 140352678140336->140352678140112 140352678140728 MulBackward0 140352678140728->140352678140952 140352678140560 CudnnBatchNormBackward 140352678140560->140352678140728 140352678139888 CudnnConvolutionBackward 140352678139888->140352678140560 140352678140000 ThnnConvDepthwise2DBackward 140352678140000->140352678139888 140352678139832 ThresholdBackward0 140352678139832->140352678140000 140352678139552 AddBackward0 140352678139552->140352678139832 140352678139664 AddBackward0 140352678139664->140352678139552 140352678139440 AddBackward0 140352678139440->140352678139664 140352678138880 AddBackward0 140352678138880->140352678139440 140352678139048->140352678138880 140352678139216 SigmoidBackward 140352678139216->140352678139048 140352678138824 SelectBackward 140352678138824->140352678139216 140352677830104 1.0.module_list.11.weights (5) 140352677830104->140352678138824 140352678138432 SelectBackward 140352677830104->140352678138432 140352678138544 SelectBackward 140352677830104->140352678138544 140352678138152 SelectBackward 140352677830104->140352678138152 140352678138040 SelectBackward 140352677830104->140352678138040 140352678139104 MulBackward0 140352678139104->140352678138880 140352678138768 CudnnBatchNormBackward 140352678138768->140352678139104 140352678132312 MulBackward0 140352678138768->140352678132312 140352678131920 ThresholdBackward0 140352678138768->140352678131920 140352678138712 CudnnConvolutionBackward 140352678138712->140352678138768 140352678138488 ThnnConvDepthwise2DBackward 140352678138488->140352678138712 140352678138096->140352678138488 140352677829376 1.0.module_list.3.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677829376->140352678138488 140352677829432 1.0.module_list.3.unit.unit.1.conv.bias (109) 140352677829432->140352678138488 140352677829544 1.0.module_list.3.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677829544->140352678138712 140352677829600 1.0.module_list.3.unit.unit.1.pointwise.bias (109) 140352677829600->140352678138712 140352677829768 1.0.module_list.3.unit.unit.2.weight (109) 140352677829768->140352678138768 140352677829824 1.0.module_list.3.unit.unit.2.bias (109) 140352677829824->140352678138768 140352678138600 SigmoidBackward 140352678138600->140352678139104 140352678138432->140352678138600 140352678138936->140352678139440 140352678139160 SigmoidBackward 140352678139160->140352678138936 140352678138544->140352678139160 140352678139272 MulBackward0 140352678139272->140352678139664 140352678138992 CudnnBatchNormBackward 140352678138992->140352678139272 140352678133264 MulBackward0 140352678138992->140352678133264 140352678132648 MulBackward0 140352678138992->140352678132648 140352678138208 CudnnConvolutionBackward 140352678138208->140352678138992 140352678138320 ThnnConvDepthwise2DBackward 140352678138320->140352678138208 140352678137984->140352678138320 140352677828536 1.0.module_list.9.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677828536->140352678138320 140352677828592 1.0.module_list.9.unit.unit.1.conv.bias (109) 140352677828592->140352678138320 140352677828760 1.0.module_list.9.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677828760->140352678138208 140352677828816 1.0.module_list.9.unit.unit.1.pointwise.bias (109) 140352677828816->140352678138208 140352677829096 1.0.module_list.9.unit.unit.2.weight (109) 140352677829096->140352678138992 140352677829040 1.0.module_list.9.unit.unit.2.bias (109) 140352677829040->140352678138992 140352678138656 SigmoidBackward 140352678138656->140352678139272 140352678138152->140352678138656 140352678139720 MulBackward0 140352678139720->140352678139552 140352678139328 CudnnBatchNormBackward 140352678139328->140352678139720 140352678137928 CudnnConvolutionBackward 140352678137928->140352678139328 140352678133600 ThnnConvDepthwise2DBackward 140352678133600->140352678137928 140352678133712 ThresholdBackward0 140352678133712->140352678133600 140352678133432 AddBackward0 140352678133432->140352678133712 140352678133544->140352678133432 140352678132984 SigmoidBackward 140352678132984->140352678133544 140352678133096 SelectBackward 140352678133096->140352678132984 140352677827192 1.0.module_list.10.weights (2) 140352677827192->140352678133096 140352678133208 SelectBackward 140352677827192->140352678133208 140352678133264->140352678133432 140352678133040 SigmoidBackward 140352678133040->140352678133264 140352678133208->140352678133040 140352677828088 1.0.module_list.10.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677828088->140352678133600 140352677828144 1.0.module_list.10.unit.unit.1.conv.bias (109) 140352677828144->140352678133600 140352677828480 1.0.module_list.10.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677828480->140352678137928 140352677827920 1.0.module_list.10.unit.unit.1.pointwise.bias (109) 140352677827920->140352678137928 140352677828256 1.0.module_list.10.unit.unit.2.weight (109) 140352677828256->140352678139328 140352677828200 1.0.module_list.10.unit.unit.2.bias (109) 140352677828200->140352678139328 140352678138264 SigmoidBackward 140352678138264->140352678139720 140352678138040->140352678138264 140352677831064 1.0.module_list.11.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677831064->140352678140000 140352677831120 1.0.module_list.11.unit.unit.1.conv.bias (109) 140352677831120->140352678140000 140352677831344 1.0.module_list.11.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677831344->140352678139888 140352677831400 1.0.module_list.11.unit.unit.1.pointwise.bias (109) 140352677831400->140352678139888 140352677831736 1.0.module_list.11.unit.unit.2.weight (109) 140352677831736->140352678140560 140352677831792 1.0.module_list.11.unit.unit.2.bias (109) 140352677831792->140352678140560 140352678140280 SigmoidBackward 140352678140280->140352678140728 140352678139944->140352678140280 140352678140784 MulBackward0 140352678140784->140352678141288 140352678140392 CudnnBatchNormBackward 140352678140392->140352678140784 140352678139384 CudnnConvolutionBackward 140352678139384->140352678140392 140352678139496 ThnnConvDepthwise2DBackward 140352678139496->140352678139384 140352678133656 ThresholdBackward0 140352678133656->140352678139496 140352678133488 AddBackward0 140352678133488->140352678133656 140352678133152 AddBackward0 140352678133152->140352678133488 140352678132928 AddBackward0 140352678132928->140352678133152 140352678132760->140352678132928 140352678132424 SigmoidBackward 140352678132424->140352678132760 140352678132536 SelectBackward 140352678132536->140352678132424 140352677813832 1.0.module_list.13.weights (4) 140352677813832->140352678132536 140352678132200 SelectBackward 140352677813832->140352678132200 140352678132256 SelectBackward 140352677813832->140352678132256 140352678132088 SelectBackward 140352677813832->140352678132088 140352678132312->140352678132928 140352678132480 SigmoidBackward 140352678132480->140352678132312 140352678132200->140352678132480 140352678132648->140352678133152 140352678132368 SigmoidBackward 140352678132368->140352678132648 140352678132256->140352678132368 140352678132816 MulBackward0 140352678132816->140352678133488 140352678132704 CudnnBatchNormBackward 140352678132704->140352678132816 140352678132032 CudnnConvolutionBackward 140352678132032->140352678132704 140352678132144 ThnnConvDepthwise2DBackward 140352678132144->140352678132032 140352678131920->140352678132144 140352677812992 1.0.module_list.12.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677812992->140352678132144 140352677813048 1.0.module_list.12.unit.unit.1.conv.bias (109) 140352677813048->140352678132144 140352677813216 1.0.module_list.12.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677813216->140352678132032 140352677813272 1.0.module_list.12.unit.unit.1.pointwise.bias (109) 140352677813272->140352678132032 140352677813496 1.0.module_list.12.unit.unit.2.weight (109) 140352677813496->140352678132704 140352677813552 1.0.module_list.12.unit.unit.2.bias (109) 140352677813552->140352678132704 140352678132592 SigmoidBackward 140352678132592->140352678132816 140352678132088->140352678132592 140352677827080 1.0.module_list.13.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677827080->140352678139496 140352677827136 1.0.module_list.13.unit.unit.1.conv.bias (109) 140352677827136->140352678139496 140352677827696 1.0.module_list.13.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677827696->140352678139384 140352677827864 1.0.module_list.13.unit.unit.1.pointwise.bias (109) 140352677827864->140352678139384 140352677830896 1.0.module_list.13.unit.unit.2.weight (109) 140352677830896->140352678140392 140352677831176 1.0.module_list.13.unit.unit.2.bias (109) 140352677831176->140352678140392 140352678140056 SigmoidBackward 140352678140056->140352678140784 140352678139608->140352678140056 140352678141232->140352678141120 140352678140840 SigmoidBackward 140352678140840->140352678141232 140352678138376->140352678140840 140352677833360 1.0.module_list.16.unit.unit.1.conv.weight (109, 1, 3, 3) 140352677833360->140352678153800 140352677832968 1.0.module_list.16.unit.unit.1.conv.bias (109) 140352677832968->140352678153800 140352677834032 1.0.module_list.16.unit.unit.1.pointwise.weight (109, 109, 1, 1) 140352677834032->140352678154024 140352677833472 1.0.module_list.16.unit.unit.1.pointwise.bias (109) 140352677833472->140352678154024 140352677878472 1.0.module_list.16.unit.unit.2.weight (109) 140352677878472->140352678154480 140352677877912 1.0.module_list.16.unit.unit.2.bias (109) 140352677877912->140352678154480